Doubletapp Meeting Notes: бот для саммаризации видео и аудио с помощью LLM

Задача

Требовался инструмент для расшифровки созвонов и создания кратких сводок, чтобы сотрудники и клиенты, находящиеся по всему миру, могли эффективно фиксировать результаты и договоренности. На конференции Agency Growth Day нужно было оперативно готовить конспекты выступлений для участников.

Решение

Создали Telegram-бота, использующего три нейросети: диаризацию для определения говорящих, Whisper для транскрибации речи в текст и GPT-4 для генерации кратких сводок. Реализовали асинхронную обработку файлов до 2 ГБ, оптимизировали pipeline для ускорения (пропуск ненужных шагов) и разработали собственные методы для платежей в Pyrogram.