AI 추천 시스템이 'Ask AI' 버튼을 통해 정보를 조작하는 새로운 공격 방식이 등장했다.
최근 상업 웹사이트에서 새로운 형태의 프롬프트 주입 공격이 발견됐다. 이 공격은 맬웨어, 도난된 자격 증명, 제로데이 익스플로잇 없이 발생한다. 주요 AI 어시스턴트의 표준 기능인 미리작성된 심층 링크를 악용하며, 웹사이트의 'Ask AI' 버튼에 숨겨진 프롬프트 주입 페이로드가 포함되어 있다. 이는 사용자 경험에 중대한 영향을 미칠 수 있는 문제로 여겨진다.
A new prompt injection attack leverages 'Ask AI' buttons to alter AI recommendations.
A new form of prompt injection attack has been discovered across commercial websites. This attack operates without malware, stolen credentials, or zero-day exploits, leveraging a standard feature of AI assistants: pre-filled deep links. Hidden prompt injection payloads are embedded within 'Ask AI' buttons on marketing and comparison pages, raising significant concerns about user experience and trust in AI systems.