Whisper

Ne işe yarar?

Whisper, OpenAI tarafından geliştirilen ve ses kayıtlarını metne dönüştüren (konuşma tanıma) açık kaynaklı bir yapay zekâ modelidir. Çok dilli konuşma tanıma, diller arası konuşma çevirisi ve konuşulan dili tespit etme görevlerini Transformer mimarisiyle tek bir modelde yürütür. Farklı boyutlarda sunulan model seçenekleri, hız ve doğruluk dengesine göre sistem kaynaklarına uygun seçim yapılmasına olanak tanır. Benzer sistemlerden farkı; geniş ve çeşitli bir ses veri kümesiyle eğitildiği için arka plan gürültülerine ve farklı aksanlara karşı dayanıklı olmasıdır.

Neler için kullanılabilir?

• Ses ve video kayıtlarındaki konuşmaları yüksek doğrulukla metne dönüştürmek
• Farklı dillerdeki konuşmaları doğrudan İngilizce metne çevirmek
• Ses kayıtlarında konuşulan dili otomatik olarak tespit etmek
• Ders, toplantı ve röportaj kayıtlarından otomatik altyazı üretmek

Nasıl kullanılır?

1. Sisteminize ffmpeg aracını yükleyin (örneğin Ubuntu için sudo apt update && sudo apt install ffmpeg).
2. pip install -U openai-whisper komutunu çalıştırarak Whisper kütüphanesini kurun.
3. Python kodunuzda veya uçbirimde ses dosyanızı belirterek metne dönüştürme işlemini çalıştırın.

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Ses kayıtlarını yerel ortamında metne dökmek veya altyazı hazırlamak isteyen yazılımcılar ve araştırmacılar.

Aynı kategoriden

• VoiceStudio Kendi bilgisayarınızda çalışan ses klonlama, dublaj ve konuşma tanıma aracı.
• GPT-SoVITS (63K) Kısa bir ses kaydıyla ses klonlama ve metinden konuşma üretimi sağlayan web arayüzü.
• voicebox (57,7K) Yerel olarak çalışan açık kaynaklı yapay zekâ ses stüdyosu ve dikte aracı.
• whisper.cpp OpenAI Whisper modelinin C ve C++ ile yazılmış yüksek performanslı yerel sürümüdür.
• VoxCPM (39K) 30 dilde doğal seslendirme, ses tasarımı ve klonlama sunan açık kaynaklı TTS modeli.
• fish-speech (33K) Çok karakterli diyalog ve detaylı ses düzenleme desteği sunan açık konuşma modeli.