Hallo2

Ne işe yarar?

Hallo2, ses dosyalarını kullanarak portre fotoğraflarından yüksek çözünürlüklü ve uzun süreli konuşma videoları üreten bir yapay zekâ modelidir. İlk sürüme kıyasla 4K çözünürlüğü ve bir saate varan video uzunluklarını zaman tutarlılığını koruyarak destekler. Difüzyon tabanlı görüntü işleme ve yüz yer belirleme modellerini bir arada çalıştırarak doğal yüz hareketleri oluşturur. ICLR 2025 konferansında kabul edilmiş açık kaynaklı bir akademik çalışmadır.

Neler için kullanılabilir?

• Portre fotoğraflarından 4K çözünürlükte uzun süreli konuşma ve sunum videoları üretmek
• Eski tarihi konuşma kayıtlarını portre görselleriyle yüksek kalitede canlandırmak
• Ders veya seminer ses kayıtları için konuşan eğitmen videoları oluşturmak

Nasıl kullanılır?

1. git clone https://github.com/fudan-generative-vision/hallo2
2. conda create -n hallo python=3.10 && conda activate hallo
3. pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu118
4. pip install -r requirements.txt
5. apt-get install ffmpeg
6. huggingface-cli download fudan-generative-ai/hallo2 --local-dir ./pretrained_models

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Yüksek çözünürlüklü ve uzun soluklu konuşan portre animasyonları üretmek isteyen yapay zekâ araştırmacıları ve video üreticileri.

Aynı kategoriden

• ComfyUI (138K) Düğüm tabanlı arayüzüyle görsel ve video üreten modüler yapay zekâ motoru.
• MoneyPrinterTurbo Belirtilen konudan otomatik olarak senaryolu, sesli ve altyazılı kısa video üretir.
• OpenCut Web, masaüstü ve mobilde çalışan açık kaynaklı bir video düzenleme uygulamasıdır.
• OpenMontage Yapay zekâ kodlama asistanlarını tam teşekküllü bir video üretim stüdyosuna dönüştürür.
• photocraft Rust ile yazılmış, Photoshop benzeri açık kaynaklı katmanlı görsel düzenleyicidir.
• remotion React ve programlama dilleriyle kod üzerinden otomatik video oluşturma kütüphanesidir.