Como funciona

O Wavetotext é um conversor grátis de áudio para texto que roda inteiro no seu navegador.

O modelo de voz

A transcrição usa o Whisper, um modelo de reconhecimento de voz de código aberto lançado pela OpenAI. Usamos as versões tiny, base e small, adaptadas para o navegador pela comunidade do Hugging Face e carregadas com a biblioteca de código aberto Transformers.js. Se o seu navegador suporta WebGPU, o modelo roda na placa de vídeo. Nos nossos testes isso foi cerca de 5 vezes mais rápido que o processador, mas depende da placa.

O que acontece com seu arquivo

O navegador abre o áudio e converte para 16 kHz mono, o formato que o Whisper espera. Vídeos que o navegador não abre passam pelo ffmpeg, um conversor de vídeo que também roda no navegador.
O áudio é cortado em partes de até 30 segundos, no momento mais silencioso perto de cada corte, para não partir palavras. Partes em silêncio são puladas.
O Whisper transforma cada parte em texto com tempos, num processo em segundo plano para a página continuar respondendo.
As partes são juntadas numa transcrição que você pode editar, copiar ou baixar.
Com a identificação de falantes ativada, o modelo pyannote marca quem fala e quando em cada minuto de áudio. Depois, o modelo WeSpeaker cria uma impressão de voz para cada falante, e as impressões parecidas são agrupadas em Falante 1, Falante 2 e assim por diante.

Vários arquivos

Os arquivos que você adiciona entram numa fila e rodam um de cada vez, para um lote grande não sobrecarregar o seu dispositivo. As transcrições prontas ficam salvas no navegador para você voltar a elas.

Limites

Os modelos pequenos do Whisper são menos precisos que os grandes modelos de servidor. Eles erram nomes e palavras raras, sofrem com muito ruído e com pessoas falando ao mesmo tempo, e são mais fracos em idiomas com menos dados de treino. A identificação de falantes é uma estimativa: vozes parecidas, respostas curtas e falas sobrepostas podem receber o rótulo errado.

Contato

Dúvidas, erros ou ideias: [email protected]