Информационная безопасность LLM: в чем разница между Prompt Injection и Jailbreaking

Prompt injection

‍Prompt injection и jailbreaking нередко воспринимаются как схожие механизмы, поэтому их часто путают. Тем не менее prompt injection (промпт-инъекция) — это особый вид атаки, при котором внешние запросы или инструкции изменяют вывод модели непредусмотренным образом. В некоторых случаях эти инъекции могут оставаться незаметными для пользователя, однако они все равно влияют на функционирование LLM.

Главная опасность prompt injection кроется в том, как именно модель обрабатывает поступающие данные. Некорректная передача и использование входной информации может привести к нарушению правил, созданию вредоносного контента, несанкционированному доступу к ресурсам или негативному воздействию на важные решения. Методы вроде Retrieval Augmented Generation (RAG) и тонкой настройки (fine-tuning) нацелены на повышение качества вывода модели, но не гарантируют полной неуязвимости для Prompt Injection.

Типы prompt injection

Прямые атаки

‍В случае прямого prompt injection пользователь осознанно или неумышленно вводит запрос, способный изменить работу LLM. Это может произойти преднамеренно (злоумышленник специально формирует инструкцию для обхода ограничений) или случайно (пользователь не предполагает, что его ввод приведет к нежелательным последствиям). Если, к примеру, в чат-боте службы поддержки внедряется промпт, обнуляющий ранее заданные правила и получающий доступ к конфиденциальным данным, результатом становится расширение прав и утечка информации.

Косвенные атаки

‍Косвенные prompt injection возникают, когда LLM взаимодействует с внешними источниками (файлами, веб-страницами и т. д.), и эти данные содержат скрытые или специально подготовленные инструкции. При их интерпретации модель может неожиданно изменить свое поведение. Аналогично прямым инъекциям, подобные действия могут быть как злонамеренными (цель — манипулировать системой), так и случайными. Например, если пользователь просит модель обобщить содержимое сайта, в котором спрятаны инструкции для вставки ссылок на конкретные URL, это способно вызвать утечку конфиденциальной переписки или других важных сведений.

Как обезопасить LLM от prompt injection

Полностью исключить риск prompt injection сложно из-за стохастической природы генеративного ИИ, однако существует ряд мер, позволяющих минимизировать уязвимости:

1. Ограничение поведения модели
   
   
   • Заранее сформулируйте жесткие правила относительно ролей, возможностей и ограничений модели.
     
     
   • Настраивайте модель так, чтобы она игнорировала команды, противоречащие базовым инструкциям.
     
     
2. Четкое определение формата вывода
   
   
   • Задавайте требуемый формат ответа, источники и пояснения.
     
     
   • Используйте детерминированные скрипты и механизмы валидации для проверки соответствия вывода заданным критериям.
     
     
3. Фильтрация входного и выходного контента
   
   
   • Определите категории опасной или конфиденциальной информации и разработайте правила для выявления подобных данных.
     
     
   • Внедряйте семантические фильтры и регулярные выражения, чтобы вовремя выявлять потенциально вредоносные запросы или ответы.
     
     
   • Применяйте «RAG Triad» (релевантность, обоснованность, корректность) для оценки и фильтрации контента.
     
     
4. Минимизация привилегий
   
   
   • Выдавайте модели только те права, которые действительно необходимы для выполнения поставленной задачи.
     
     
   • Не передавайте LLM-решению критически важные ключи или токены.
     
     
   • Расширенную функциональность обрабатывайте на уровне приложения, а не самой модели.
     
     
5. Человеческий контроль для рискованных операций
   
   
   • Внедряйте механизм «human-in-the-loop» при выполнении действий, могущих иметь серьезные последствия.
     
     
   • Это позволит остановить опасные процессы до их завершения.
     
     
6. Отделение и маркировка внешнего контента
   
   
   • Явно помечайте непроверенные данные и не позволяйте им напрямую влиять на внутреннюю логику запросов или ответы модели.
     
     
7. Тестирование и моделирование атак
   
   
   • Регулярно проводите пентесты и симуляции враждебных воздействий.
     
     
   • Рассматривайте модель как потенциально небезопасного участника, проверяя систему на устойчивость к обманным вводам и утечкам данных.
     
     

Следуя этим принципам, вы сможете существенно повысить уровень безопасности LLM и снизить вероятность успешных атак, связанных с prompt injection.

Jailbreaking

Jailbreaking — это форма внедрения инструкций, при которой злоумышленник предоставляет входные данные, заставляющие модель полностью игнорировать протоколы безопасности. Хакеры находят слабые места, чтобы заставить модели делиться конфиденциальными данными или делать то, чего им не следует делать. 

Они используют такие уловки, как осторожный опрос или скрытые подсказки, которые могут привести к неожиданным действиям. Например, некоторые пользователи могут попытаться заставить виртуальных помощников делиться конфиденциальной информацией.

Разработчики могут встроить средства защиты в системные инструкции и обработку вводимых данных, чтобы смягчить последствия атак с использованием запросов, но для эффективного предотвращения внедрения jailbreaking требуется постоянное обновление механизмов обучения и обеспечения безопасности модели.

Как обезопасить LLM-модели от jailbreaking

Такие LLM, как ChatGPT, имеют функции для поиска и остановки вредоносных входов или атак. Они используют плагины и алгоритмы очистки для обнаружения попыток несанкционированного доступа. Фреймворки безопасности чат-ботов, такие как BARD от Nvidia, обеспечивают надежную защиту от попыток jailbreaking.

Добавление шаблонов URL и сканеров вредоносного ПО к виртуальным помощникам поможет обнаружить и управлять вредоносным контентом. Эти инструменты повышают оперативную безопасность, находя и устраняя уязвимости до того, как они станут проблемой.

Компании активно внедряют передовые модели машинного обучения и алгоритмы обработки естественного языка, чтобы обеспечить надежную защиту своих информационных систем. Среди применяемых решений — усовершенствованные плагины для «дезинфекции» данных и системы обнаружения аномалий, позволяющие своевременно выявлять и блокировать вредоносные вводы. Кроме того, мониторинг взаимодействия пользователей с чат-ботами и виртуальными помощниками в режиме реального времени помогает предотвратить несанкционированный доступ. Такой комплексный подход существенно укрепляет безопасность сетей и систем, повышая их устойчивость к растущим киберугрозам.

Заключение

Prompt injection и jailbreaking представляют собой отдельные уязвимости в LLM. В то время как prompt injection вытекает из архитектурных ограничений, jailbreaking использует пробелы в настройке безопасности. Оба являются критическими проблемами, которые подчеркивают необходимость постоянных исследований и инноваций в области безопасности ИИ.

Компания Napoleon IT обеспечивает комплексный подход к безопасности данных при создании и внедрении LLM-решений. Мы уделяем особое внимание вопросам приватности и сохранения коммерческой тайны. Вся передаваемая для обучения LLM-моделью информация рассматривается как конфиденциальная и обрабатывается в соответствии с требованиями заказчика. В своих проектах придерживаемся принципов минимизации и ограниченного доступа к данным: доступ к исходным наборам данных получают только сотрудники, непосредственно работающие с моделью.

Для хранения данных и моделей применяются защищенные хранилища, а также механизмы шифрования как на уровне покоящихся данных, так и при их передаче. Работа с облачными сервисами контролируется и регламентируется, чтобы соответствовать требованиям локального и международного законодательства.

Перед тем, как информация используется в процессе обучения, из нее удаляются или скрываются любые личные, финансовые и другие чувствительные сведения, а также используются механизмы замены уникальных идентификаторов и иных деталей, позволяющие обучать модели без риска деанонимизации.

Хотите обсудить вашу задачу и узнать больше о том, как Napoleon IT может помочь в создании и внедрении безопасных LLM-решений? Оставьте заявку на нашем сайте и наши эксперты обязательно вам помогут!