4% разработчиков ПО сообщили о кибератаках на рабочие ИИ-инструменты

Российские разработчики ПО фиксируют кибератаки на ИИ-решения, применяемые в работе. К такому выводу пришли ассоциация разработчиков программных продуктов (АРПП) «Отечественный софт» и компания AppSec Solutions в совместном исследовании.

С момента внедрения искусственного интеллекта 4% компаний-разработчиков столкнулись с промпт-инъекциями на чат-боты ассистентов и модификацией пользовательских клиентов — изменением кода для обхода системы безопасности или перехвата данных. Еще 22% не отслеживали атаки на ИИ, остальные участники уверены, что не сталкивались с таким воздействием.

В исследовании участвовали 54 российских разработчика, занимающих 30% индустрии тиражируемого ПО. Все компании используют искусственный интеллект, более 80% применяют ИИ для разработки кода. Сотрудники всех опрошенных компаний используют теневой ИИ: в 59% случаев частично, в 41% — массово.

Аналитики выделили четыре типа ключевых атак на ИИ:

инъекция промпта — внедрение в запрос к нейросети команды, заставляющей игнорировать правила разработчиков;
утечка системного промпта — манипулятивный запрос вынуждает нейросеть раскрыть скрытые инструкции и внутреннюю логику;
извлечение данных через ответы модели — принуждение нейросети раскрыть конфиденциальную информацию из обучающей выборки или контекста памяти;
отравление данных обучения — внедрение вредоносной или искаженной информации в обучающую выборку до начала тренировки.

Эксперты IT-рынка, представители кибербезопасности и ПО подтверждают тренд: это закономерная реакция на расширение применения ИИ-инструментов, и тенденция будет усиливаться. Успешная атака на ИИ-сервисы дает хакерам доступ не только к данным компании, но и к функциям внутренних систем.