Кібератаки на нейромережі стають дедалі поширенішими

Вчені виявили новий спосіб атакувати ChatGPT та інші ШІ-сервіси через функцію довготривалої пам'яті. Метод під назвою GhostWriter дозволяє непомітно "отруювати" збережені дані і впливати на подальшу поведінку чат-бота.

Про це інформує РБК-Україна з посиланням на наукове дослідження, опубліковане на сервері препринтів arXiv.

Як атака GhostWriter впливає на довготривалу пам'ять ШІ?

Вчені пояснили: персональні ШІ-агенти поєднують функції діалогового бота та виконання дій (надсилання повідомлень, планування зустрічей, редагування коду).

Під час взаємодії з незахищеними джерелами інформації вони стають вразливими до отруєння "бази пам'яті".

Дослідники Джордж Торрес, Шарад Шрестха та Сатьяджаянт Місра у своїй праці детально описали механізм дії GhostWriter. Метод полягає у впровадженні у довготривалу пам'ять ШІ "фальшивих спогадів" або прихованих інструкцій.

Атака здійснюється у два етапи:

• Впровадження (Injection): зловмисник надсилає приховане шкідливе навантаження у цільовий ШІ-агент.
• Активація (Activation): отруєний спогад витягується з бази даних під час виконання легітимного запиту користувача.

Прикладом реалізації зловмисної атаки є внесення інструкції для ШІ-асистента, який керує електронною поштою. Модель отримує приховану вказівку регулярно створювати короткий зміст листів від банків чи фінансових установ і таємно пересилати їх на адресу зловмисника.

Експерименти науковців показали, що GhostWriter досягає рівня впровадження майже 98% та середнього рівня активації близько 60% проти сучасних ШІ-агентів.

Агенти LLM без пам’яті обробляють кожну взаємодію ізольовано. Агенти LLM із постійною пам’яттю дають змогу здійснювати запити та отримувати збережену інформацію (схема: Джордж Торрес, Шарад Шрестха та Сатьяджаянт Місра)

Читайте більше: Роботи перестали "думати" перед кожною перешкодою: у чому секрет Як нейтралізувати загрозу?

Вразливість виникає через відсутність орієнтованого на безпеку управління пам’яттю. Для вирішення цієї проблеми дослідники розробили систему захисту Agentic Memory Sentry (AM-Sentry).

Захисний механізм AM-Sentry базується на двох методах:

Політика збереження пам'яті (memory-saving policy): контролює процес запису нових даних у довготривале сховище.

Екран витягування пам'яті (memory-retrieval screen): перевіряє збережені інструкції безпосередньо перед їхньою активацією та виконанням.

За даними експериментів, застосування AM-Sentry суттєво знижує успішність атаки GhostWriter, зберігаючи при цьому загальну функціональність і продуктивність ШІ-агента.

Науковці переконані, що розроблені стратегії можуть бути адаптовані для підвищення безпеки інших ШІ-систем з довготривалою пам'яттю.

Ще більше цікавого:

• Роботом тепер можна керувати силою думки: нову технологію вже показали
• "Батько інтернету" взявся за головну проблему ШІ: у чому рішення