Cómo funciona
Wavetotext es un conversor gratuito de audio a texto que funciona por completo en tu navegador.
El modelo de voz
La transcripción usa Whisper, un modelo de reconocimiento de voz de código abierto publicado por OpenAI. Usamos las versiones tiny, base y small, adaptadas para el navegador por la comunidad de Hugging Face y cargadas con la biblioteca de código abierto Transformers.js. Si tu navegador es compatible con WebGPU, el modelo funciona en tu tarjeta gráfica. En nuestras pruebas fue unas 5 veces más rápido que el procesador, pero depende de la tarjeta.
Qué pasa con tu archivo
- Tu navegador abre el audio y lo convierte a 16 kHz mono, el formato que espera Whisper. Los vídeos que tu navegador no abre pasan por ffmpeg, un conversor de vídeo que también funciona en tu navegador.
- El audio se corta en partes de hasta 30 segundos, en el momento más silencioso cerca de cada corte, para no partir palabras. Las partes en silencio se saltan.
- Whisper convierte cada parte en texto con marcas de tiempo, en un proceso en segundo plano para que la página siga respondiendo.
- Las partes se unen en una transcripción que puedes editar, copiar o descargar.
- Con las etiquetas de hablante activadas, el modelo pyannote marca quién habla y cuándo en cada minuto de audio. Después, el modelo WeSpeaker crea una huella de voz para cada hablante, y las huellas que suenan parecidas se agrupan en Hablante 1, Hablante 2, etc.
Muchos archivos
Los archivos que añades entran en una lista y se procesan de uno en uno, para que una tanda larga no sature tu dispositivo. Las transcripciones terminadas se guardan en tu navegador para que puedas volver a ellas.
Límites
Los modelos pequeños de Whisper son menos precisos que los grandes modelos de servidor. Entienden mal nombres y palabras poco comunes, sufren con mucho ruido y con voces que se pisan, y son más flojos en idiomas con menos datos de entrenamiento. Las etiquetas de hablante son una estimación: voces parecidas, respuestas cortas y gente hablando a la vez pueden recibir la etiqueta equivocada.
Contacto
Preguntas, errores o ideas: [email protected]