litgpt

Ne işe yarar?

LitGPT; 20'den fazla büyük dil modelini (LLM) sıfırdan ön eğitmek, ince ayar yapmak (finetune) ve ölçeklenebilir şekilde dağıtmak için geliştirilmiş bir kütüphanedir. Karmaşık soyutlama katmanları olmadan, doğrudan tek dosya uygulamaları ve PyTorch altyapısıyla çalışır. FlashAttention, FSDP ve LoRA/QLoRA gibi gelişmiş tekniklerle bellek tüketimini azaltarak düşük donanımlı GPU'larda dahi verimli çıkarım ve eğitim imkânı sunar. Apache 2.0 lisansıyla hem bireysel araştırmalar hem de kurumsal projeler için tam kontrol ve ticari kullanım serbestliği sağlar.

Neler için kullanılabilir?

• Düşük bellekli GPU'larda büyük dil modelleriyle hızlı çıkarım ve üretim yapmak
• LoRA veya QLoRA yöntemleriyle açık kaynaklı modeller üzerinde ince ayar uygulamak
• Açık kaynak kodlu modelleri kurumsal sunucularda bağımsız çıkarım servisi olarak dağıtmak

Nasıl kullanılır?

1. Paketi yükleyin: pip install litgpt[extra]'`
2. Python kodunda modeli yükleyin: from litgpt import LLM; llm = LLM.load(microsoft/phi-2")`
3. llm.generate(...) komutuyla modelden metin üretimi gerçekleştirin.

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Açık kaynaklı dil modellerini kendi donanımında eğitmek, ince ayar yapmak ve dağıtmak isteyen yapay zekâ geliştiricileri.

Aynı kategoriden

• Ollama Açık yapay zekâ modellerini yerel bilgisayarda kolayca indirip çalıştırmayı sağlar.
• open-webui Ollama ve diğer yapay zekâ modellerini tarayıcı üzerinden kullanmayı sağlar.
• unsloth (78K) Büyük dil ve görsel modellerini bilgisayarınızda yerel çalıştırıp hızlıca eğiten araç.
• litellm 100'den fazla yapay zekâ modelini tek ve standart bir API formatıyla çağırmayı sağlar.
• cherry-studio Bulut ve yerel yapay zekâ modellerini tek masaüstü arayüzünden yönetmeyi sağlar.
• LocalAI (49,6K) Tüm yapay zekâ modellerini GPU zorunluluğu olmadan yerel çalıştıran API motoru.