promptfoo

Ne işe yarar?

Promptfoo, büyük dil modelleri ve yapay zekâ ajanları için otomatik değerlendirme ve güvenlik testi (red teaming) yapan bir komut satırı aracıdır. Farklı modellerin (GPT, Claude, Gemini) yanıt kalitesini, maliyetini ve gecikmesini yan yana karşılaştırmayı sağlar. Sistemdeki güvenlik açıklarını ve zararlı çıktı risklerini tespit etmek için sızma testi taramaları çalıştırır. Değerlendirmeleri tamamen yerel makinede çalıştırarak veri gizliliğini korur ve CI/CD süreçlerine kolayca entegre olur.

Neler için kullanılabilir?

• Farklı dil modellerinin aynı istemlere verdiği yanıtları yan yana kıyaslamak.
• Yapay zekâ uygulamalarını güvenlik açıklarına karşı sızma testleriyle taramak.
• İstem kalitesi ve güvenlik kontrollerini CI/CD süreçlerine otomatik test olarak eklemek.

Nasıl kullanılır?

1. Aracı kurun: npm install -g promptfoo
2. Örnek projeyi başlatın: promptfoo init --example getting-started
3. İlgili model API anahtarınızı (örneğin OPENAI_API_KEY) ortam değişkeni olarak tanımlayın.
4. Testleri çalıştırıp sonuçları görüntüleyin: promptfoo eval && promptfoo view

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Yapay zekâ uygulamalarının istemlerini optimize etmek ve güvenliğini test etmek isteyen geliştiriciler.

Aynı kategoriden

• yt-dlp Binlerce siteden ses ve video indirmeyi sağlayan gelişmiş bir komut satırı aracıdır.
• supabase PostgreSQL tabanlı, açık kaynaklı ve tam kapsamlı bir arka uç geliştirme platformu.
• uptime-kuma Web siteleri ve sunucuların çalışma durumunu takip eden, kendi barındırılan izleme aracı.
• AppFlowy Notion benzeri, verilerinizi yerelde tutan açık kaynaklı bir çalışma alanıdır.
• memos Kendi sunucunuzda çalışan, Markdown destekli kişisel not alma ve zaman tüneli aracı.
• coolify (63K) Kendi sunucunuzda uygulama ve veritabanı dağıtımı sağlayan açık kaynaklı platform.