crawl4ai

Ne işe yarar?

Crawl4AI; yapay zekâ ajanları, büyük dil modelleri ve RAG sistemleri için web sayfalarını temiz Markdown metinlerine dönüştüren açık kaynaklı bir tarayıcıdır. Sayfalardaki karmaşık içerikleri, gereksiz kodları ve reklamları ayıklayarak modellerin rahatça okuyabileceği metinler üretir. Kullanıcılar kütüphaneyi kendi bilgisayarlarında yerel olarak çalıştırabilir veya bulut API hizmetinden yararlanabilir. Ayrıca Claude Code ve diğer ajan istemcileri için hazır Model Bağlam Protokolü (MCP) desteği barındırır.

Neler için kullanılabilir?

• RAG sistemleri için web sayfalarını temiz Markdown metinlerine çevirip hafızaya eklemek
• JavaScript tabanlı sitelerden yapay zekâ ajanları için veri kazımak
• Web sitelerindeki verileri JSON biçiminde yapılandırarak dışa aktarmak

Nasıl kullanılır?

1. pip install -U crawl4ai komutu ile kütüphaneyi yükleyin.
2. crawl4ai-setup komutunu çalıştırarak gerekli tarayıcı bileşenlerini kurun.
3. Python kodunuzda AsyncWebCrawler sınıfını kullanarak sayfaları tarayın.

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Yapay zekâ ve RAG uygulamaları için web sitelerinden temiz veri toplamak isteyen Python geliştiricileri.

Aynı kategoriden

• firecrawl (192K) Web sitelerini yapay zekâ ajanları için temiz Markdown ve JSON verisine dönüştürür.
• browser-use Yapay zekâ ajanlarının internet tarayıcısını insan gibi kullanmasını sağlar.
• Agent-Reach Ajanların API ücreti ödemeden X, Reddit ve YouTube gibi siteleri okumasını sağlar.
• Scrapling Hızlı istekler, gizli tarayıcılar ve veri çıkarımı sunan web kazıma çatısıdır.
• scrapy Web sitelerinden yapılandırılmış veri toplamak için kullanılan kazıma çatısıdır.
• agent-browser (44K) Yapay zekâ ajanları için geliştirilmiş hızlı bir tarayıcı otomasyonu aracıdır.