Cultural Quest: AR-квест с компьютерным зрением в мобильном браузере

Задача

Требовалось превратить знакомство с культурой в игру через камеру смартфона: участник ищет объекты и картины, повторяет позы и выполняет голосовые задания. Важно было сделать задания интерактивными и оставить обработку видеопотока на устройстве пользователя.

Решение

Разработали распознавание объектов и картин, сопоставление изображений, повторение поз и задания на соединение объектов. Компьютерное зрение работает в браузере устройства, видео с камеры остаётся на телефоне. Интегрировали Deepgram для речевых сценариев. Сделали административную панель, где контент-менеджер настраивает миссии, эталонные изображения и позы, распознавание, озвучку и точки на карте.