LocalAI (49,6K)

Ne işe yarar?

LocalAI; metin, görüntü, ses ve video üreten yapay zekâ modellerini tüketici donanımlarında çalıştırmanızı sağlayan açık kaynaklı bir yapay zekâ sunucusudur. GPU (ekran kartı işlemcisi) zorunluluğu olmadan yalnızca işlemci (CPU) üzerinde de çalışabilir ve llama.cpp, vLLM, whisper.cpp gibi popüler motorları tek bir çatı altında modüler olarak yönetir. OpenAI, Anthropic ve ElevenLabs uyumlu standart bir API (uygulama programlama arayüzü) sunarak mevcut yazılımlarınızı kod değiştirmeden yerel modellere bağlamanıza olanak tanır.

Neler için kullanılabilir?

• OpenAI uyumlu yerel API arkasında metin üreten dil modelleri çalıştırmak
• İşlemci veya ekran kartı üzerinde çevrimdışı ses tanıma ve transkripsiyon yapmak
• Yerel sunucuda bağımsız çalışan araç destekli yapay zekâ ajanları kurmak

Nasıl kullanılır?

1. Docker yüklü sisteminizde şu komutu çalıştırarak konteyneri başlatın: docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
2. Tarayıcıdan veya API istemcisinden http://localhost:8080 adresine bağlanın.
3. İstediğiniz modelleri arayüzden veya yapılandırma dosyası üzerinden yükleyip kullanın.

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Kendi altyapısında farklı yapay zekâ modellerini tek bir API üzerinden sunmak isteyen geliştiriciler ve sistem yöneticileri.

Aynı kategoriden

• Ollama Açık yapay zekâ modellerini yerel bilgisayarda kolayca indirip çalıştırmayı sağlar.
• open-webui Ollama ve diğer yapay zekâ modellerini tarayıcı üzerinden kullanmayı sağlar.
• unsloth (78K) Büyük dil ve görsel modellerini bilgisayarınızda yerel çalıştırıp hızlıca eğiten araç.
• litellm 100'den fazla yapay zekâ modelini tek ve standart bir API formatıyla çağırmayı sağlar.
• cherry-studio Bulut ve yerel yapay zekâ modellerini tek masaüstü arayüzünden yönetmeyi sağlar.
• LibreChat Farklı yapay zekâ sağlayıcılarını ve yerel modelleri tek arayüzde birleştirir.