İçeriğe geç
Ara

Yerel model çalıştırma

litellm

100'den fazla yapay zekâ modelini tek ve standart bir API formatıyla çağırmayı sağlar.

Ne işe yarar?

LiteLLM; OpenAI, Anthropic, Gemini ve Bedrock gibi 100'den fazla yapay zekâ sağlayıcısını tek bir çatı altında birleştiren açık kaynaklı bir yapay zekâ ağ geçididir (AI Gateway). Tüm sağlayıcı çağrılarını standart OpenAI istek formatına dönüştürerek sağlayıcılar arasında kod değiştirmeden geçiş yapmayı mümkün kılar. Hem doğrudan Python kütüphanesi (SDK) olarak kod içinde kullanılabilir hem de bağımsız bir vekil sunucu (proxy server) olarak kurulabilir. Harcama takibi, sanal API anahtarı yönetimi, yük dengeleme ve güvenlik kuralları gibi kurumsal düzeyde özellikler barındırır.

Neler için kullanılabilir?

  • Farklı yapay zekâ sağlayıcılarını tek bir standart kod yapısıyla projeye entegre etmek
  • Yapay zekâ API harcamalarını ve kullanım limitlerini merkezi bir panelden takip etmek
  • Birden fazla model sağlayıcısı arasında yük dengelemesi yaparak kesintisiz hizmet sunmak

Nasıl kullanılır?

  1. Python kütüphanesini yükleyin: uv add litellm (veya vekil sunucu için uv tool install litellm[proxy]'`).
  2. Gerekli ortam değişkenlerini ayarlayın (ör. os.environ[OPENAI_API_KEY“] = ”api-anahtariniz"`).
  3. from litellm import completion satırıyla çağrı yaparak dilediğiniz modeli standart formatta çalıştırın.

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Birden fazla yapay zekâ modelini tek merkezden yönetmek, harcamaları takip etmek ve maliyetleri dengelemek isteyen geliştiriciler.

Dikkat: Kullanılan bulut modelleri için ilgili sağlayıcıların ücretli API anahtarları gereklidir; deponun lisans kaydı 'NOASSERTION' olarak belirtilmiştir.

Aynı kategoriden

  • Ollama Açık yapay zekâ modellerini yerel bilgisayarda kolayca indirip çalıştırmayı sağlar.
  • open-webui Ollama ve diğer yapay zekâ modellerini tarayıcı üzerinden kullanmayı sağlar.
  • unsloth (78K) Büyük dil ve görsel modellerini bilgisayarınızda yerel çalıştırıp hızlıca eğiten araç.
  • cherry-studio Bulut ve yerel yapay zekâ modellerini tek masaüstü arayüzünden yönetmeyi sağlar.
  • LocalAI (49,6K) Tüm yapay zekâ modellerini GPU zorunluluğu olmadan yerel çalıştıran API motoru.
  • LibreChat Farklı yapay zekâ sağlayıcılarını ve yerel modelleri tek arayüzde birleştirir.

Bilgiler GitHub'dan 18 Ekim 2026 tarihinde alındı. Sayıyla bu deponun sahibi değildir; kullanmadan önce lisansı ve güvenliği kendiniz değerlendirin.