Nasıl çalışır
Wavetotext, tamamen tarayıcınızda çalışan ücretsiz bir sesi yazıya çevirme aracıdır.
Ses modeli
Yazıya dökme, OpenAI'nin yayımladığı açık kaynaklı ses tanıma modeli Whisper'ı kullanır. Hugging Face topluluğunun tarayıcı için uyarladığı ve açık kaynaklı Transformers.js kütüphanesiyle yüklenen tiny, base ve small sürümlerini kullanıyoruz. Tarayıcınız WebGPU destekliyorsa model ekran kartınızda çalışır. Testlerimizde bu, işlemciden yaklaşık 5 kat daha hızlıydı, ama ekran kartına göre değişir.
Dosyanıza ne olur
- Tarayıcınız sesi açar ve Whisper'ın beklediği biçim olan 16 kHz monoya çevirir. Tarayıcınızın açamadığı videolar, yine tarayıcınızda çalışan bir video dönüştürücü olan ffmpeg'den geçer.
- Ses, kelimeler bölünmesin diye her kesimin yakınındaki en sessiz anda, en fazla 30 saniyelik parçalara ayrılır. Sessiz parçalar atlanır.
- Whisper her parçayı zaman damgalı metne çevirir. Bu arka planda olur, böylece sayfa yanıt vermeye devam eder.
- Parçalar, düzenleyebileceğiniz, kopyalayabileceğiniz veya indirebileceğiniz tek bir metinde birleşir.
- Konuşmacı etiketleri açıksa pyannote modeli sesin her dakikasında kimin ne zaman konuştuğunu işaretler. Ardından WeSpeaker modeli her konuşmacı için bir ses izi çıkarır, birbirine benzeyen izler Konuşmacı 1, Konuşmacı 2 diye gruplanır.
Çok sayıda dosya
Eklediğiniz dosyalar bir listeye girer ve tek tek işlenir, böylece uzun bir liste cihazınızı yormaz. Biten metinler tarayıcınıza kaydedilir, istediğinizde geri dönebilirsiniz.
Sınırlar
Küçük Whisper modelleri, büyük sunucu modellerinden daha az isabetlidir. İsimleri ve nadir kelimeleri yanlış duyabilir, yoğun gürültüde ve üst üste konuşmalarda zorlanır, eğitim verisi az olan dillerde daha zayıf kalır. Konuşmacı etiketleri bir tahmindir: benzer sesler, kısa cevaplar ve aynı anda konuşan kişiler yanlış etiket alabilir.
İletişim
Sorular, hatalar veya fikirler: [email protected]