Wavetotext
MS

Cara ia berfungsi

Wavetotext ialah penukar audio ke teks percuma yang berjalan sepenuhnya dalam pelayar anda.

Model suara

Transkripsi menggunakan Whisper, model pengecaman suara sumber terbuka yang dikeluarkan oleh OpenAI. Kami menggunakan versi tiny, base dan small yang telah disesuaikan untuk pelayar oleh komuniti Hugging Face dan dimuatkan dengan pustaka sumber terbuka Transformers.js. Jika pelayar anda menyokong WebGPU, model berjalan pada kad grafik anda. Dalam ujian kami, ia kira-kira 5 kali lebih pantas daripada pemproses, tetapi bergantung pada kad grafik.

Apa yang berlaku kepada fail anda

  1. Pelayar membuka audio dan menukarnya kepada mono 16 kHz, format yang diperlukan Whisper. Video yang tidak dapat dibuka pelayar melalui ffmpeg, penukar video yang juga berjalan dalam pelayar anda.
  2. Audio dipotong kepada bahagian sehingga 30 saat, pada saat paling senyap berhampiran setiap potongan, supaya perkataan tidak terputus. Bahagian yang senyap dilangkau.
  3. Whisper menukar setiap bahagian kepada teks dengan cap masa, di latar belakang supaya halaman terus responsif.
  4. Bahagian-bahagian itu digabungkan menjadi satu transkrip yang boleh anda sunting, salin atau muat turun.
  5. Jika label penutur dihidupkan, model pyannote menandakan siapa bercakap dan bila dalam setiap minit audio. Kemudian model WeSpeaker membuat cap suara untuk setiap penutur, dan cap suara yang serupa dikumpulkan menjadi Penutur 1, Penutur 2 dan seterusnya.

Banyak fail

Fail yang anda tambah masuk ke senarai dan diproses satu per satu, supaya kelompok yang panjang tidak membebankan peranti. Transkrip yang siap disimpan dalam pelayar supaya anda boleh kembali kepadanya.

Batasan

Model Whisper yang kecil kurang tepat berbanding model pelayan yang besar. Ia tersalah dengar nama dan perkataan yang jarang digunakan, sukar dengan bising yang kuat dan orang bercakap serentak, dan lebih lemah untuk bahasa yang kurang data latihan. Label penutur hanyalah anggaran: suara yang serupa, jawapan pendek dan orang bercakap serentak boleh mendapat label yang salah.

Hubungi kami

Soalan, pepijat atau idea: [email protected]