So funktioniert es

Wavetotext ist ein kostenloser Audio-in-Text-Konverter, der komplett in deinem Browser läuft.

Das Sprachmodell

Die Transkription nutzt Whisper, ein Open-Source-Modell zur Spracherkennung von OpenAI. Wir verwenden die Versionen tiny, base und small, die die Hugging-Face-Community für den Browser angepasst hat und die mit der Open-Source-Bibliothek Transformers.js geladen werden. Unterstützt dein Browser WebGPU, läuft das Modell auf deiner Grafikkarte. In unseren Tests war das etwa 5-mal so schnell wie der Prozessor, aber es hängt von der Grafikkarte ab.

Was mit deiner Datei passiert

1. Dein Browser öffnet das Audio und wandelt es in 16 kHz Mono um, das Format, das Whisper erwartet. Videos, die dein Browser nicht öffnen kann, laufen durch ffmpeg, einen Videokonverter, der ebenfalls im Browser läuft.
2. Das Audio wird in Stücke von bis zu 30 Sekunden geschnitten, jeweils an der leisesten Stelle in der Nähe, damit keine Wörter zerteilt werden. Stille Stücke werden übersprungen.
3. Whisper macht aus jedem Stück Text mit Zeitmarken, im Hintergrund, damit die Seite bedienbar bleibt.
4. Die Stücke werden zu einem Transkript zusammengefügt, das du bearbeiten, kopieren oder herunterladen kannst.
5. Mit eingeschalteter Sprechererkennung markiert das Modell pyannote in jeder Minute, wer wann spricht. Danach erstellt das Modell WeSpeaker für jeden Sprecher einen Stimmabdruck, und ähnlich klingende Abdrücke werden zu Sprecher 1, Sprecher 2 und so weiter zusammengefasst.

Viele Dateien

Dateien, die du hinzufügst, landen in einer Liste und laufen nacheinander, damit ein großer Stapel dein Gerät nicht überlastet. Fertige Transkripte werden in deinem Browser gespeichert, damit du später darauf zurückgreifen kannst.

Grenzen

Kleine Whisper-Modelle sind ungenauer als große Servermodelle. Sie verhören sich bei Namen und seltenen Wörtern, tun sich schwer mit starkem Lärm und Durcheinanderreden und sind schwächer bei Sprachen mit weniger Trainingsdaten. Die Sprechererkennung ist eine Schätzung: Ähnliche Stimmen, kurze Antworten und gleichzeitiges Sprechen können das falsche Etikett bekommen.

Kontakt

Fragen, Fehler oder Ideen: [email protected]