LiveTalking

Ne işe yarar?

LiveTalking, metin veya ses girdilerini dudak hareketleriyle eşleştirerek gerçek zamanlı konuşan dijital avatarlar oluşturan bir sistemdir. Wav2Lip ve MuseTalk gibi modelleri kullanarak ses dalgalarına uygun yüz ve dudak animasyonları üretir. WebRTC ve RTMP desteği sayesinde tarayıcı üzerinden düşük gecikmeli canlı yayın veya iki yönlü video akışı sağlar. Büyük dil modelleri ve metinden sese dönüştürücülerle (TTS) entegre olarak kullanıcının sözünü kesip yeniden yanıt verme özelliğini destekler.

Neler için kullanılabilir?

• Müşteri hizmetleri için kullanıcıyla canlı konuşan ve soruları yanıtlayan sanal asistanlar kurmak
• Canlı yayın platformlarında 24 saat kesintisiz ürün tanıtan yapay zekâ yayıncıları çalıştırmak
• Metin girdilerini kullanarak kamera çekimi gerektirmeden hızlıca anlatıcı videoları hazırlamak

Nasıl kullanılır?

1. Depoyu klonlayıp ortam bağımlılıklarını kurun: git clone https://github.com/lipku/LiveTalking.git && cd LiveTalking ve pip install -r requirements.txt
2. Gerekli model dosyalarını (wav2lip.pth) ve avatar verilerini ilgili klasörlere yerleştirin.
3. WebRTC yayınıyla servisi başlatın: python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Sanal spiker, canlı yayın botu veya etkileşimli dijital asistan geliştirmek isteyen yazılımcılar.

Aynı kategoriden

• ComfyUI (138K) Düğüm tabanlı arayüzüyle görsel ve video üreten modüler yapay zekâ motoru.
• MoneyPrinterTurbo Belirtilen konudan otomatik olarak senaryolu, sesli ve altyazılı kısa video üretir.
• OpenCut Web, masaüstü ve mobilde çalışan açık kaynaklı bir video düzenleme uygulamasıdır.
• OpenMontage Yapay zekâ kodlama asistanlarını tam teşekküllü bir video üretim stüdyosuna dönüştürür.
• photocraft Rust ile yazılmış, Photoshop benzeri açık kaynaklı katmanlı görsel düzenleyicidir.
• remotion React ve programlama dilleriyle kod üzerinden otomatik video oluşturma kütüphanesidir.