Open-LLM-VTuber

Ne işe yarar?

Open-LLM-VTuber, büyük dil modelleriyle (LLM) eller serbest sesli iletişim kurmayı sağlayan ve ekranda hareketli bir Live2D avatarı barındıran yapay zekâ arkadaşıdır. Konuşmayı yazıya çevirme (ASR), dil modeli çıkarımı ve metni sese dönüştürme (TTS) katmanlarını birleştirirken kullanıcının sözünü kesip araya girmesine olanak tanır. Tüm bu özellikleri kullanıcının kendi bilgisayarında yerel ve çevrimdışı olarak çalıştırabilir. Web arayüzünün yanı sıra masaüstünde şeffaf arka planla çalışan sanal evcil hayvan moduyla ekranda kullanıcıya eşlik eder.

Neler için kullanılabilir?

• Bilgisayarda yerel dil modelleriyle eller serbest sesli sohbetler gerçekleştirmek
• Ekranda şeffaf masaüstü evcil hayvanı veya sanal yayıncı karakteri çalıştırmak
• Görsel algılama desteğiyle kameradaki nesneler hakkında sesli diyalog kurmak
• Kişiselleştirilmiş Live2D avatarlarıyla çevrimdışı sanal arkadaş deneyimi oluşturmak

Nasıl kullanılır?

1. Projenin resmi dokümantasyonundaki hızlı başlangıç kılavuzunu veya Docker imajını kullanarak kurulumu yapın.
2. Kullanmak istediğiniz yerel veya uzak dil modeli, ses tanıma ve seslendirme servislerini yapılandırın.
3. İster web arayüzünden ister şeffaf masaüstü istemcisinden Live2D avatarınızla sesli sohbeti başlatın.

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Yerel dil modelleriyle sesli iletişim kurabilen özelleştirilebilir bir sanal yayıncı veya yapay zekâ arkadaşı arayanlar.

Aynı kategoriden

• Whisper Konuşmaları metne dönüştüren ve çeviri yapabilen genel amaçlı yapay zekâ modeli.
• VoiceStudio Kendi bilgisayarınızda çalışan ses klonlama, dublaj ve konuşma tanıma aracı.
• GPT-SoVITS (63K) Kısa bir ses kaydıyla ses klonlama ve metinden konuşma üretimi sağlayan web arayüzü.
• voicebox (57,7K) Yerel olarak çalışan açık kaynaklı yapay zekâ ses stüdyosu ve dikte aracı.
• whisper.cpp OpenAI Whisper modelinin C ve C++ ile yazılmış yüksek performanslı yerel sürümüdür.
• VoxCPM (39K) 30 dilde doğal seslendirme, ses tasarımı ve klonlama sunan açık kaynaklı TTS modeli.