Агентный искусственный интеллект (далее – ИИ), который работает автономно без участия человека и заранее прописанных алгоритмов, имеет целый ряд уязвимостей. Эти слабые места могут быть использованы злоумышленниками для атак на пользователей подобных систем, в первую очередь корпоративных.
Атаки с применением агентного ИИ представляют собой серьезную угрозу. Потенциальный ущерб от их реализации может превысить последствия традиционных техник кибератак. В числе рисков – нежелательные действия, к совершению которых злоумышленники способны запрограммировать ИИ-агентов.
Отдельное внимание уделено угрозе «отравления памяти» ИИ. Такой сценарий стал возможен благодаря наличию у систем долговременной памяти. Использование техники «отравления памяти» позволяет злоумышленникам добиваться нужных им действий с вероятностью до 70%, при этом не требуя от атакующих высоких привилегий доступа.
Специалисты отмечают и другую проблему: современные ИИ-агенты получают доступ к конфиденциальным данным клиентов – финансовой информации, интеллектуальной собственности, юридическим документам и данным о транзакциях в цепочках поставок.
В результате существует риск несанкционированного раскрытия этих данных. По статистике, с этим сталкивались почти 25% компаний, а 80% организаций, использующих ИИ-агентов, фиксировали попытки неавторизованного доступа к закрытой информации.
Критически важными являются защитные шаги:
- ограничение функциональности расширений до минимально необходимого уровня;
- использование множественных агентов с раздельными ролями вместо универсальных;
- обеспечение независимости функций безопасности от работы самих ИИ-агентов;
- непрерывный мониторинг с применением ограничений скорости и механизмов автоматического отключения агентов при аномальном поведении.
Чтобы минимизировать риски, нужно:
1. Объяснить персоналу, что с ИИ-агентом нельзя делиться корпоративными сведениями. В крайнем случае можно использовать вымышленную информацию: фейковые имена, фамилии, почтовые адреса, другое.
2. Использовать нейросети только как вспомогательный инструмент. Лучше вносить в контент от ИИ-агента свои правки, улучшения и доработки.
3. Ввести правило обязательной перепроверки всех важных данных, которые предоставляет ИИ-агент. Постарайтесь объяснить сотрудникам, что нейросети не безупречны. Поэтому нужен ручной контроль за качеством работы ИИ-агента.