Как это работает

Wavetotext это бесплатный конвертер аудио в текст, который полностью работает в вашем браузере.

Модель распознавания

Для расшифровки используется Whisper, открытая модель распознавания речи от OpenAI. Мы берём версии tiny, base и small, адаптированные для браузера сообществом Hugging Face и загружаемые открытой библиотекой Transformers.js. Если браузер поддерживает WebGPU, модель работает на видеокарте. В наших тестах это было примерно в 5 раз быстрее процессора, но многое зависит от видеокарты.

Что происходит с файлом

Браузер открывает звук и переводит его в моно 16 кГц, формат, который ждёт Whisper. Видео, которые браузер не открывает, проходят через ffmpeg, видеоконвертер, который тоже работает в браузере.
Звук режется на куски до 30 секунд в самом тихом месте рядом с каждым разрезом, чтобы не делить слова. Тихие куски пропускаются.
Whisper превращает каждый кусок в текст с тайм-кодами в фоновом потоке, чтобы страница не зависала.
Куски собираются в одну расшифровку, которую можно править, копировать и скачивать.
Если включено разделение по спикерам, модель pyannote отмечает, кто и когда говорит в каждой минуте записи. Затем модель WeSpeaker делает голосовой отпечаток для каждого спикера, и похожие отпечатки объединяются в «Спикер 1», «Спикер 2» и так далее.

Много файлов

Добавленные файлы встают в очередь и обрабатываются по одному, чтобы большая пачка не перегружала устройство. Готовые расшифровки сохраняются в браузере, к ним можно вернуться позже.

Ограничения

Маленькие модели Whisper менее точны, чем большие серверные. Они ошибаются в именах и редких словах, плохо справляются с сильным шумом и перебиваниями и слабее на языках с малым объёмом обучающих данных. Разделение по спикерам работает по оценке: похожие голоса, короткие реплики и одновременная речь могут получить не ту метку.

Контакты

Вопросы, ошибки или идеи: [email protected]