Hallo3

Ne işe yarar?

Hallo3, Video Difüzyon Dönüştürücüsü (Video Diffusion Transformer) mimarisini kullanarak sesle yönlendirilen hareketli portre videoları üreten bir yapay zekâ modelidir. CogVideoX ve T5 gibi büyük modellerden yararlanarak arka plan ve ön plan hareketlerini daha dinamik biçimde canlandırır. Yalnızca ağız hareketlerini değil, sesin ritmine uygun doğal baş ve gövde hareketlerini de videoya yansıtır. CVPR 2025 konferansında yayımlanmış açık kaynaklı bir çalışmadır.

Neler için kullanılabilir?

• Portre fotoğraflarını arka planıyla birlikte hareketli ve canlı konuşma videosuna dönüştürmek
• Ses kayıtlarına uyumlu doğal baş hareketleri ve mimik içeren animasyonlar üretmek
• Yüksek hareket dinamizmine sahip sanal konuşmacı ve sunucu içerikleri oluşturmak

Nasıl kullanılır?

1. git clone https://github.com/fudan-generative-vision/hallo3
2. conda create -n hallo python=3.10 && conda activate hallo
3. pip install -r requirements.txt
4. apt-get install ffmpeg
5. pip install “huggingface_hub[cli]”
6. huggingface-cli download fudan-generative-ai/hallo3 --local-dir ./pretrained_models

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Gelişmiş video difüzyon modelleriyle dinamik konuşan yüz animasyonları geliştirmek isteyen araştırmacılar ve teknik ekipler.

Aynı kategoriden

• ComfyUI (138K) Düğüm tabanlı arayüzüyle görsel ve video üreten modüler yapay zekâ motoru.
• MoneyPrinterTurbo Belirtilen konudan otomatik olarak senaryolu, sesli ve altyazılı kısa video üretir.
• OpenCut Web, masaüstü ve mobilde çalışan açık kaynaklı bir video düzenleme uygulamasıdır.
• OpenMontage Yapay zekâ kodlama asistanlarını tam teşekküllü bir video üretim stüdyosuna dönüştürür.
• photocraft Rust ile yazılmış, Photoshop benzeri açık kaynaklı katmanlı görsel düzenleyicidir.
• remotion React ve programlama dilleriyle kod üzerinden otomatik video oluşturma kütüphanesidir.