Мобильное приложение Music Box: сочинение музыки голосом с помощью нейросетей

Задача

Требовалось создать приложение, позволяющее любому человеку сочинять музыку без специальных навыков — просто напевая мелодию. Приложение должно анализировать вокал, распознавать интонации и преобразовывать их в аранжировки с помощью нейросетей.

Решение

Разработана система анализа вокальных данных с алгоритмами обработки аудиосигнала и технологией Pitch Detection для точного выделения нот, ритма и интонации. Интегрированы нейросетевые модели (RNN, трансформеры), обученные на большом массиве композиций, для генерации гармонического сопровождения и инструментальных партий в разных стилях. Создан интуитивный интерфейс с многодорожечным редактором, возможностью изменения темпа, наложения эффектов и экспорта треков.