Comment ça marche

Wavetotext est un convertisseur audio en texte gratuit qui tourne entièrement dans votre navigateur.

Le modèle vocal

La transcription utilise Whisper, un modèle de reconnaissance vocale open source publié par OpenAI. Nous utilisons les versions tiny, base et small, adaptées au navigateur par la communauté Hugging Face et chargées avec la bibliothèque open source Transformers.js. Si votre navigateur prend en charge WebGPU, le modèle tourne sur votre carte graphique. Dans nos tests, c'était environ 5 fois plus rapide que le processeur, mais cela dépend de la carte.

Ce qui arrive à votre fichier

1. Votre navigateur ouvre l'audio et le convertit en mono 16 kHz, le format attendu par Whisper. Les vidéos que votre navigateur ne sait pas ouvrir passent par ffmpeg, un convertisseur vidéo qui tourne lui aussi dans votre navigateur.
2. L'audio est découpé en morceaux de 30 secondes maximum, au moment le plus calme près de chaque coupure, pour ne pas couper les mots. Les morceaux silencieux sont ignorés.
3. Whisper transforme chaque morceau en texte horodaté, en arrière-plan pour que la page reste réactive.
4. Les morceaux sont réunis en une transcription que vous pouvez modifier, copier ou télécharger.
5. Avec le repérage des intervenants, le modèle pyannote note qui parle et quand, minute par minute. Le modèle WeSpeaker crée ensuite une empreinte vocale pour chaque intervenant, et les empreintes qui se ressemblent sont regroupées en Intervenant 1, Intervenant 2, etc.

Plusieurs fichiers

Les fichiers ajoutés rejoignent une liste et passent un par un, pour qu'une longue série ne surcharge pas votre appareil. Les transcriptions terminées sont enregistrées dans votre navigateur pour que vous puissiez y revenir.

Limites

Les petits modèles Whisper sont moins précis que les grands modèles sur serveur. Ils comprennent mal les noms et les mots rares, peinent avec beaucoup de bruit ou des voix qui se chevauchent, et sont plus faibles dans les langues qui ont moins de données d'entraînement. Le repérage des intervenants est une estimation : des voix proches, des réponses courtes et des paroles simultanées peuvent recevoir la mauvaise étiquette.

Contact

Wavetotext est géré par l'équipe Wavetotext. Questions, bugs ou idées : [email protected]