По прогнозам аналитиков Gartner, к 2025 году 80% всех процессов разработки продуктов будут использовать генеративный искусственный интеллект. В этой связи обеспечение безопасности LLM-приложений становится критически важной задачей. Половина компаний, уже внедривших генеративный ИИ, сталкиваются с серьезными проблемами безопасности, что подтверждает актуальность создания LLM Security Lab.
LLM Security Lab направлена на развитие экспертизы в новой и перспективной области — безопасности LLM-приложений. Лаборатория создана на базе AI Talent Hub — магистратуры по машинному обучению, разработанной Университетом ИТМО и Napoleon IT. Raft инвестирует в этот проект для глубокого изучения и решения вопросов безопасности ИИ.
Ключевые направления исследований лаборатории включают:
- Мониторинг и анализ контента: разработка инструментов для отслеживания атак и анализа токсичности сообщений, которая позволяет компаниям защищать свою репутацию и улучшать взаимодействие с пользователями.
- Имитация кибератак и защита персональных данных: изучение новых типов атак, разработка решений для предотвращения утечек конфиденциальной информации и обеспечения безопасности ИИ-продуктов.
Кроме того, в рамках лаборатории будут разработаны образовательные программы для LLM-направления в AI Talent Hub. Они нацелены на подготовку специалистов в различных аспектах работы с большими языковыми моделями. В частности, обучение будет включать:
- Подготовку исследователей, которые будут разрабатывать и внедрять open-source решения, способствующие прогрессу в области ИИ.
- Обучение ML-инженеров, способных интегрировать новые технологии в бизнес-процессы, включая вывод LLM в продакшн и их оптимизацию.
- Подготовку разработчиков ИИ-продуктов, которые смогут создавать и внедрять инновационные решения на основе LLM и генеративного ИИ в различных отраслях.
Одним из ключевых курсов в рамках LLM-направления станет «Безопасность LLM». Его программа охватывает актуальные вопросы безопасности и этики в сфере ИИ, включая уязвимости моделей и методы их защиты. Курс сочетает теоретическую подготовку и практические упражнения, что позволяет студентам готовиться к решению реальных бизнес-задач в области безопасности ИИ.
Студенты курса уже протестировали выравнивание открытых и частных моделей, а также провели успешные испытания LLM-чат-бота для крупной ритейл-компании из бьюти-сферы.
По словам руководителя ИИ-продуктов Raft Евгения Кокуйкина, за последний год наблюдается массовая адаптация и повышенный интерес к технологиям генеративного ИИ со стороны бизнеса.
Важным аспектом этой адаптации является защита информации и коммерческой тайны компании. Мы видим, как активно развиваются методы атак на большие языковые модели и сложные ИТ-системы, которые интегрируют их в бизнес-процессы. В нашей лаборатории студенты будут работать над прикладными задачами, проводить аудит LLM приложений и разрабатывать специализированные решения, направленные на повышение безопасности.Евгений Кокуйкин, руководитель ИИ-продуктов Raft
Raft — ведущий разработчик решений на базе генеративного искусственного интеллекта, внедряющий технологии в российские корпорации и зарубежные стартапы. Компания является партнером по внедрению технологий YandexGPT и SberDevices.
Площадка AI Talent Hub задумывалась, как место встречи технологичных компаний, университета и талантов, в рамках которой рождаются новые знания, новые технологии, инновации. Мы приветствуем нового партнера для работы над развитием применения генеративных сетей в корпоративном бизнесе.Константин Прайс, коммерческий директор Napoleon IT
.webp)
