whisperX

Ne işe yarar?

WhisperX, Whisper modelini kullanarak kelime düzeyinde hassas zaman damgaları ve konuşmacı ayrımı (diarization) sağlayan bir ses tanıma aracıdır. Arka planda faster-whisper motorunu ve fonem hizalama yöntemini kullanarak standart modele göre çok daha hızlı çıkarım yapar. Ses aktivite tespiti ve toplu işleme (batching) sayesinde uzun kayıtları hızla metne döker. Kimin ne zaman konuştuğunu belirlemek için Hugging Face üzerindeki konuşmacı ayrımı modelleriyle birlikte çalışabilir.

Neler için kullanılabilir?

• Çok katılımcılı toplantı kayıtlarında kimin ne konuştuğunu ayrıştırarak metne dökmek
• Videolara kelime kelime senkronize olan hassas alt yazılar oluşturmak
• Röportaj ve mülakat kayıtlarının konuşmacı bazlı dökümünü çıkarmak

Nasıl kullanılır?

1. Kütüphaneyi kurun: pip install whisperx
2. Alternatif olarak uvx ile çalıştırın: uvx whisperx
3. Konuşmacı ayrımı için Hugging Face erişim belirtecinizi ekleyin: --hf_token

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Toplantı ve video kayıtlarında konuşmacı ayrımı ve kelime bazlı alt yazıya ihtiyaç duyanlar.

Aynı kategoriden

• Whisper Konuşmaları metne dönüştüren ve çeviri yapabilen genel amaçlı yapay zekâ modeli.
• VoiceStudio Kendi bilgisayarınızda çalışan ses klonlama, dublaj ve konuşma tanıma aracı.
• GPT-SoVITS (63K) Kısa bir ses kaydıyla ses klonlama ve metinden konuşma üretimi sağlayan web arayüzü.
• voicebox (57,7K) Yerel olarak çalışan açık kaynaklı yapay zekâ ses stüdyosu ve dikte aracı.
• whisper.cpp OpenAI Whisper modelinin C ve C++ ile yazılmış yüksek performanslı yerel sürümüdür.
• VoxCPM (39K) 30 dilde doğal seslendirme, ses tasarımı ve klonlama sunan açık kaynaklı TTS modeli.