Все кейсы

Онлайн-сурдопереводчик: AI-алгоритм перевода жестов в текст и голос

Зазекс ·SchneiderElectric | SystemeElectric ·2022

Разработан AI-алгоритм онлайн-сурдопереводчика, конвертирующий видео с жестовым языком в текст и голос на русском и английском языках.

Задача

Требовалось создать алгоритм, способный в реальном времени переводить язык жестов в текстовый и голосовой формат для облегчения коммуникации людей с нарушениями слуха или речи.

Решение

Использована модель MediaPipe Holistic для построения скелета человека в 3D-пространстве и извлечения векторов признаков. Разработан метод скользящего окна для определения границ слов в непрерывном потоке жестов. Алгоритм дополнен модулями text-to-speech и speech-to-text, поддерживает русский и английский языки.

2024

Приоритет: ребрендинг и комплексное сопровождение федеральной программы

Паравеб · Социоцентр

Разработали цифровую платформу для программы «Приоритет 2030»: весь процесс от подачи заявок до выдачи грантов переведён в онлайн, а согласование изменений сократилось до недели.

3 · 2 золота