Come funziona

Wavetotext è un convertitore gratuito da audio a testo che funziona interamente nel tuo browser.

Il modello vocale

La trascrizione usa Whisper, un modello di riconoscimento vocale open source pubblicato da OpenAI. Usiamo le versioni tiny, base e small, adattate al browser dalla community di Hugging Face e caricate con la libreria open source Transformers.js. Se il tuo browser supporta WebGPU, il modello gira sulla scheda video. Nei nostri test era circa 5 volte più veloce del processore, ma dipende dalla scheda.

Cosa succede al tuo file

1. Il browser apre l'audio e lo converte in mono a 16 kHz, il formato che si aspetta Whisper. I video che il browser non apre passano da ffmpeg, un convertitore video che funziona anche lui nel browser.
2. L'audio viene diviso in pezzi di massimo 30 secondi, nel momento più silenzioso vicino a ogni taglio, per non spezzare le parole. I pezzi silenziosi vengono saltati.
3. Whisper trasforma ogni pezzo in testo con i tempi, in background, così la pagina resta reattiva.
4. I pezzi vengono uniti in una trascrizione che puoi modificare, copiare o scaricare.
5. Con il riconoscimento delle voci attivo, il modello pyannote segna chi parla e quando in ogni minuto di audio. Poi il modello WeSpeaker crea un'impronta vocale per ogni persona, e le impronte simili vengono raggruppate in Voce 1, Voce 2 e così via.

Tanti file

I file che aggiungi entrano in una lista e passano uno alla volta, così un gruppo lungo non sovraccarica il dispositivo. Le trascrizioni finite vengono salvate nel browser per riprenderle quando vuoi.

Limiti

I modelli Whisper piccoli sono meno precisi dei grandi modelli su server. Capiscono male nomi e parole rare, faticano con molto rumore e voci sovrapposte e sono più deboli nelle lingue con meno dati di addestramento. Il riconoscimento delle voci è una stima: voci simili, risposte brevi e persone che parlano insieme possono ricevere l'etichetta sbagliata.

Contatti

Domande, errori o idee: [email protected]