llamafile

Ne işe yarar?

llamafile; büyük dil modellerini (LLM) karmaşık kurulum süreçleri olmadan, tek bir çalıştırılabilir dosya halinde dağıtmayı ve yerel çalıştırmayı sağlar. llama.cpp çıkarım motorunu Cosmopolitan Libc kütüphanesiyle birleştirerek çoğu işletim sisteminde ek bağımlılık olmadan çalışır. Bünyesindeki whisperfile aracı sayesinde ses kayıtlarını metne dönüştürme ve çeviri işlemlerini de tek dosya üzerinden destekler. Modelleri taşınabilir ikili dosyalar halinde sunarak kullanıcıların ve geliştiricilerin doğrudan kendi donanımlarında çalıştırmasını kolaylaştırır.

Neler için kullanılabilir?

• İnternet bağlantısına ihtiyaç duymadan bilgisayarınızda yerel yapay zekâ modelleri çalıştırmak
• Ses dosyalarını tek bir çalıştırılabilir dosya ile yerel olarak metne dönüştürmek
• Geliştirilen modelleri farklı işletim sistemlerine ek kurulum gerektirmeden tek dosyayla dağıtmak

Nasıl kullanılır?

1. Örnek modeli indirin: curl -LO https://huggingface.co/mozilla-ai/llamafile_0.10/resolve/main/Qwen3.5-0.8B-Q8_0.llamafile
2. macOS veya Linux üzerinde çalıştırma izni verin: chmod +x Qwen3.5-0.8B-Q8_0.llamafile
3. Dosyayı çalıştırın: ./Qwen3.5-0.8B-Q8_0.llamafile (Windows kullanıcıları çalıştırmadan önce dosya adına .exe uzantısı eklemelidir).

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Yapay zekâ modellerini kurulum ve ortam yapılandırmasıyla uğraşmadan yerel olarak çalıştırmak isteyenler.

Aynı kategoriden

• Ollama Açık yapay zekâ modellerini yerel bilgisayarda kolayca indirip çalıştırmayı sağlar.
• open-webui Ollama ve diğer yapay zekâ modellerini tarayıcı üzerinden kullanmayı sağlar.
• unsloth (78K) Büyük dil ve görsel modellerini bilgisayarınızda yerel çalıştırıp hızlıca eğiten araç.
• litellm 100'den fazla yapay zekâ modelini tek ve standart bir API formatıyla çağırmayı sağlar.
• cherry-studio Bulut ve yerel yapay zekâ modellerini tek masaüstü arayüzünden yönetmeyi sağlar.
• LocalAI (49,6K) Tüm yapay zekâ modellerini GPU zorunluluğu olmadan yerel çalıştıran API motoru.