Розробники виявили критичну вразливість у сучасному ШІ-асистенті Comet, який є браузером із вбудованими функціями штучного інтелекту від Perplexity. Ця серйозна проблема дозволяє зловмисникам маніпулювати ШІ за допомогою прихованих команд, вбудованих у вебсторінки. Це створює значну загрозу для безпеки користувацьких даних, оскільки приховані інструкції можуть бути використані для крадіжки інформації.

За словами експертів компанії Brave, які опублікували детальне дослідження, вразливість полягає в тому, як Comet обробляє контент вебсторінок. Коли користувач звертається до асистента з проханням, наприклад, «узагальнити цю сторінку», модель отримує текст сторінки разом із запитом користувача, але не розрізняє їх. Це відкриває шлях для атак непрямої ін’єкції промптів (indirect prompt injection), коли шкідливі команди непомітно вбудовуються в контент сайту. Зловмисники можуть приховати ці команди, використовуючи різні техніки, а також розміщувати їх у контенті, створеному самими користувачами, наприклад, у коментарях на Reddit чи дописах у Facebook.

Як відбувається атака

Процес атаки складається з кількох етапів. Спочатку зловмисник готує вебсторінку, розміщуючи на ній приховані шкідливі інструкції. На наступному етапі, коли користувач, нічого не підозрюючи, заходить на цю сторінку і просить AI-асистента узагальнити її вміст, відбувається так звана «ін’єкція». Під час обробки сторінки ШІ «бачить» приховані команди і виконує їх, сприймаючи як легітимні запити від користувача.

На етапі експлуатації ці шкідливі інструкції можуть змусити ШІ виконати небезпечні дії. Наприклад, ШІ може бути перенаправлений на фішинговий банківський сайт, змушений витягти збережені паролі користувача або надіслати конфіденційні дані на сервер зловмисника. Особливу небезпеку становить можливість викрадення даних з облікових записів.

Приклад: викрадення даних з акаунта

Для демонстрації цієї вразливості фахівці Brave розробили доказ концепції. Вони показали, як AI-асистент Comet, виконуючи приховані команди з коментаря на Reddit, може автоматично виконати низку небезпечних дій. Зокрема, він може перейти на сторінку акаунта користувача Perplexity, витягти адресу електронної пошти, використати її для входу, щоб отримати одноразовий пароль (OTP) з Gmail, і, зрештою, відправити викрадені дані (пошту та OTP) назад на Reddit у вигляді відповіді на коментар. Ця атака відбувається повністю без участі користувача, дозволяючи зловмисникові отримати контроль над його акаунтом.

Наслідки та можливі рішення

Традиційні механізми веббезпеки, такі як Same-Origin Policy, виявляються безсилими проти таких атак, оскільки штучний інтелект діє з повними правами користувача в його сесіях. Команда розробників пропонує кілька стратегій для захисту від подібних загроз. По-перше, браузер повинен чітко розмежовувати інструкції користувача від контенту вебсторінки, оскільки останній завжди є потенційно неперевіреним. По-друге, всі дії, які планує виконати ШІ, мають перевірятися на відповідність початковому запиту користувача. По-третє, для виконання чутливих дій, таких як надсилання електронної пошти або доступ до конфіденційної інформації, ШІ повинен завжди запитувати явне підтвердження від користувача. Нарешті, робота ШІ-асистента має бути ізольована від звичайного вебсерфінгу, щоб уникнути несанкціонованого доступу.