MuseTalk

Ne işe yarar?

MuseTalk, verilen bir ses kaydına göre video veya görseldeki yüzün dudak hareketlerini gerçek zamanlı uyarlayan bir yapay zekâ modelidir. Ses girdilerini Whisper modeliyle kodlayıp yüzün gizli temsil alanı (latent space) üzerinde dudak bölgesini yeniden boyayarak çalışır. Benzer difüzyon modellerinden farklı olarak difüzyon adımları yerine doğrudan kestirim yaparak NVIDIA Tesla V100 üzerinde saniyede 30 karenin üzerinde hız sunar. Çince, İngilizce ve Japonca gibi farklı dillerdeki konuşmalarla ve daha önce görülmemiş yüzlerle uyumlu çalışabilir.

Neler için kullanılabilir?

• Mevcut konuşma videolarını farklı bir ses kaydıyla yeniden seslendirip dudakları eşleştirmek
• Sanal insan ve avatar projelerinde gerçek zamanlı konuşma animasyonu üretmek
• Eğitim veya sunum videolarındaki konuşmaları başka dillere dublaj yapmak

Nasıl kullanılır?

1. GitHub deposundaki çıkarım kodlarını ve model ağırlıklarını edinin.
2. Hugging Face Spaces üzerindeki hazır Gradio arayüzüyle modeli çevrim içi deneyin.
3. Girdi yüz görseli veya videosu ile hedef ses dosyasını vererek çıkarım yapın.

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Video dublajı, sanal insan ve avatar animasyonu üzerinde çalışan içerik üreticileri ile yapay zekâ geliştiricileri.

Aynı kategoriden

• ComfyUI (138K) Düğüm tabanlı arayüzüyle görsel ve video üreten modüler yapay zekâ motoru.
• MoneyPrinterTurbo Belirtilen konudan otomatik olarak senaryolu, sesli ve altyazılı kısa video üretir.
• OpenCut Web, masaüstü ve mobilde çalışan açık kaynaklı bir video düzenleme uygulamasıdır.
• OpenMontage Yapay zekâ kodlama asistanlarını tam teşekküllü bir video üretim stüdyosuna dönüştürür.
• photocraft Rust ile yazılmış, Photoshop benzeri açık kaynaklı katmanlı görsel düzenleyicidir.
• remotion React ve programlama dilleriyle kod üzerinden otomatik video oluşturma kütüphanesidir.