Napoleon IT внедрил инновационное LLM-решение для автоматической оценки занятий в сети GYMNASIUM

Одной из ключевых задач проекта с GYMNASIUM было оптимизировать стоимость и время проверки занятий за счет автоматизированного процесса. До этого ручной проверкой занятий занимался отдельный сотрудник, который тратил на анализ одного занятия до нескольких часов. В отличие от человека, LLM-система не только проверяет наставников на предмет соответствия методики, но еще и дает индивидуальные рекомендации по улучшению учебного процесса, основанные на анализе записи занятия. 

В результате проекта команда Napoleon IT реализовала:

• Настройку LLM под задачи заказчика: была настроена функция транскрибации аудиозаписей на русском и английском языках, а также проверка ее на соответствие методическим материалам.
• Векторную базу данных документов, где хранятся методические пособия, используемые при анализе занятий.
• Веб-версию системы, представляющую собой сайт, который отображает список занятий. На портале можно добавлять новые занятия и сразу анализировать их с помощью LLM.
• Новую методологию оценки качества занятий: разговорная часть занятия анализируется на наличие угроз или острых тем, которые не подходят воспитанникам по возрасту, а также на степень индивидуального подхода в обучении детей.

Таким образом, использование LLM-системы от Napoleon IT позволило в несколько раз сократить расходы на ручную проверку занятий. При этом автоматизированная система выставляла оценки, которые совпадали с мнением независимых экспертов на 70% и более. На данный момент около 67% рекомендаций, сформированных LLM, оказались релевантны содержанию занятия, что подтверждает значительный потенциал решения в помощи преподавателям оперативно совершенствовать качество своих уроков. В дальнейшем в систему также планируется добавить учет показателей дисциплины на занятиях и привязку оценки к предыдущим занятиям.

Команды Napoleon IT и GYMNASIUM не останавливаются на достигнутом и планируют продолжить развитие решения. В планах — расширение возможностей анализа занятий, добавление мультиязычной поддержки и автоматического суммирования результатов анализа, а также внедрение раздельных ролей в системе (отдельные права доступа для координаторов, тренеров и методистов). Улучшения позволят довести точность алгоритма до максимально высокого уровня, близкого к оценкам экспертов.

Для GYMNASIUM этот проект стал шагом к тому, чтобы сделать процесс обучения прозрачнее и эффективнее, а наставникам — увидеть свою работу со стороны. Мы видим большой потенциал технологии и планируем дальнейшую интеграцию системы в наши образовательные программы, не несмотря на некоторые расхождения в оценке _{Генеральный директор  GYMNASIUM Андрей Началов}

Этот проект продемонстрировал, что искусственный интеллект способен значительно сократить ручной труд при анализе занятий. На следующих этапах мы рассчитываем довести точность алгоритма до уровня, максимально близкого к экспертным оценкам, чтобы преподаватели могли получать актуальную обратную связь практически в режиме реального времени _{Руководитель по развитию бизнеса LLM-решений в Napoleon IT Тимофей Зверев}

О том, как изменится дополнительное образование и как проверить качество образования и добросовестность репетиторов, рассказали здесь.