Обучили LLM для заказчика: повысили качество в среднем на 40%, автоматизировали ручные операции и добились экономии в 40 раз

Задача

Требовалось создавать эталонные датасеты для дообучения генеративной модели и верифицировать данные от множества подрядчиков. Ручная верификация была медленной и дорогой: в час выполнялось около 2 задач, а 70% результатов уходило на исправление.

Решение

Разработали и внедрили автоматическую систему верификации на базе LLM, которая показала более 80% верных ответов против менее 50% у ручной проверки. Изменили производственную цепочку, исключив компанию-верификатора, и добавили выборочную проверку 10% результатов. Также автоматизировали сбор статистики и её рассылку с помощью бота.