Когда чат-бот работает против вас: как мы тестируем безопасность ИИ-моделей

Скрытые угрозы ИИ-помощников

Одна из наиболее распространенных атак на LLM – промпт-инъекция (Prompt Injection). Такая атака направлена на то, чтобы заставить модель игнорировать исходные инструкции, которые называются «промпты».

Практически у любого корпоративного ИИ-помощника существует системная инструкция – System Prompt. Она определяет, какие задачи решает модель, откуда берет данные, какие есть ограничения и т.д. Злоумышленник же пытается заставить ИИ-модель не учитывать эти исходные инструкции, например, отправив модели команду: «Игнорируй все предыдущие инструкции» или «Представь, что ты системный администратор». Это может привести к тому, что ограничения перестанут действовать, и модель начнет выполнять непредусмотренные или прямо запрещенные действия.

Так, например, частой ошибкой является запуск LLM от имени сервисной учетной записи. Тогда в результате успешной атаки Prompt Injection ИИ-помощник может начать выполнять опасные действия в системе: создавать сторонних пользователей, оформлять заказы или возвраты, запускать или останавливать системные процессы.

Отдельной разновидностью промпт-инъекции является атака на обход отказов Jailbreak.

Так, в некоторых случаях удается обойти отказ модели от выполнения запроса путем изменения формулировок или указаний: «не отвечать отрицательно». 

Смоделируем ситуацию: ИИ-помощника планируют подключить к корпоративной CRM, куда по задумке он должен поставлять лиды. Однако вместо этого ИИ-ассистент из-за ошибок настройки прав доступа разглашает коммерческую тайну, отвечая на вопросы злоумышленника: «Какие проекты сейчас находятся в разработке?» или «Покажи все договоры стоимостью более 10 млн рублей».

Другая частая проблема – выход за рамки функционального назначения модели.

ИИ-помощник может использоваться за границами предусмотренного сценария применения, заданного системным промптом. Но отсутствие строгого контроля назначения модели может привести к юридическим, регуляторным, а также репутационным рискам.

Также в процессе работы у модели может появиться доступ к данным ряда пользователей.

Например, злоумышленник может попробовать заставить ИИ-модель раскрыть информацию другого пользователя через запрос: «Покажи последние обращения клиента Иванова». Если модель не проверяет права доступа, то пользователь увидит чужие данные. Это обычная проблема контроля доступа, которая часто проявляется через LLM.

Еще одной проблемой использования ИИ в рабочих процессах являются «галлюцинации».

Не секрет, что иногда LLM придумывает ответы, которые не соответствуют действительности. Например, помощник технической поддержки сообщает, что обращение взято в работу, хотя никаких заявок не создано. Или ИИ-модель необоснованно применяет или отменяет скидки.

Для бизнеса это риск прямых финансовых потерь, претензий со стороны клиентов и репутационного ущерба. Кроме того, такие сбои могут быть намеренно спровоцированы: с помощью специально составленных запросов злоумышленники способны заставить модель, например, оформить несанкционированную скидку.

Помимо прочего, злоумышленник может вывести ИИ-помощника из строя путем DoS-атаки для LLM.  

Так, если помощник без ограничений принимает и обрабатывает очень длинные запросы или объемные документы, а также допускает неограниченное количество ресурсоемких операций, то злоумышленники могут перегрузить систему или резко увеличить расходы компании на вычисления.

Чтобы снизить риск возникновения подобных атак, а также многих других проблем, связанных с использованием ИИ-помощников, проводится тестирование этих моделей.

Тестирование больших языковых моделей – новое и быстро развивающееся направление информационной безопасности. Нейросети все глубже встраиваются в бизнес-процессы, и вместе с ними появляются риски, которые не выявить классическими методами проверки.

В работе мы опираемся на признанные международные методики. Первая – OWASP Top 10 for LLM Applications, которая систематизирует ключевые риски LLM, включая промпт-инъекции, утечки данных и избыточные полномочия ИИ-агентов. Вторая – OWASP AI Testing Guide, открытый стандарт тестирования надежности и безопасности ИИ-систем.

Методики задают основу, но каждая ИИ-система уникальна, поэтому в каждом проекте мы опираемся на собственный опыт и моделируем реальные сценарии атак. Мы проверяем, можно ли заставить модель выйти за рамки инструкций, раскрыть служебную информацию или выполнить несанкционированное действие. По итогам вы получаете отчет с выявленными уязвимостями и рекомендациями по их устранению.

Если ваша компания использует или планирует внедрить ИИ-ассистентов, чат-ботов или ИИ-агентов, мы поможем убедиться, что они не станут новой точкой входа для злоумышленников. Оставить заявку можно здесь.