В "Росконгрессе" рассказали об угрозе агентного ИИ для корпораций

Согласно докладу "Росконгресса" "Агентный ИИ: маркетинговый ход или технологическая революция?", агентный ИИ, способный действовать автономно и без постоянного взаимодействия с человеком, представляет новый класс угроз для бизнес-процессов компаний, которые его внедряют.

Важно отметить, что архитектурные уязвимости агентных ИИ-систем могут привести к серьезным последствиям для корпоративной безопасности, превосходящим по потенциальному ущербу традиционные векторы атак. Это означает, что необходимо уделить особое внимание разработке и обеспечению безопасности таких систем, чтобы минимизировать риски для бизнеса.

Исследование показывает, что внедрение агентного ИИ может быть как мощным инструментом для улучшения эффективности и конкурентоспособности компании, так и потенциальным источником угроз и уязвимостей. Поэтому важно разрабатывать стратегии защиты данных и обучать персонал, чтобы обеспечить безопасность и надежность работы с такими технологиями.

В современном мире авторы обращают внимание на уязвимость многих искусственных интеллектов перед захватом. Одним из способов атаки является внедрение вредоносных инструкций в данные, которые обрабатывает ИИ-агент, что может привести к нежелательным последствиям.

Как отмечается в докладе, одной из критических особенностей агентных систем является наличие долгосрочной памяти, что открывает новые возможности для угроз, включая такие как отравление памяти. Эксперты ссылается на исследования группы международных университетов, которые разработали технику MINJA (Memory INJection Attack), позволяющую внедрять вредоносные записи в память агентов и достигли более 70% успешных атак.

Эксперты предупреждают о том, что возможность такой атаки открывает двери для любого обычного пользователя без привилегированного доступа. Один человек может оказать влияние на выполнение задач для всех остальных пользователей в системе. Важно отметить, что 96% специалистов по информационной безопасности считают ИИ-агентов крайне опасными сущностями, в то время как 98% организаций планируют расширить их использование в течение следующего года, как говорится в докладе. Специалисты обращают внимание на то, что существующие методы создания ИИ-агентов предполагают предоставление им доступа к конфиденциальной информации клиентов, финансовым данным, интеллектуальной собственности, юридическим документам и транзакциям цепочки поставок.

Исследование показало, что 23% организаций столкнулись с ситуацией, когда их искусственные интеллекты были обмануты и утечкали конфиденциальные данные доступа. Более того, 80% компаний сообщили о случаях, когда их ИИ-агенты совершали нежелательные действия, такие как доступ к несанкционированным системам, просмотр конфиденциальной информации, разрешение на выгрузку конфиденциальных данных и неконтролируемое распространение информации.

Эксперты, подводя итоги исследования, пришли к выводу, что важен человеческий контроль над системами искусственного интеллекта. Они подчеркнули, что ограничение функциональности ИИ-агентов до минимально необходимого уровня, использование нескольких агентов с различными ролями, а также независимость функций безопасности от работы самих ИИ-агентов являются критически важными аспектами.

Важно также поддерживать непрерывный мониторинг работы ИИ-агентов с использованием ограничений скорости работы и механизмов автоматического отключения агентов при обнаружении аномального поведения. Только при соблюдении всех этих мер можно гарантировать безопасное и эффективное использование искусственного интеллекта в организациях.

Источник и фото - ria.ru