Scrapling

Ne işe yarar?

Scrapling; tek bir web isteğinden büyük ölçekli taramalara kadar tüm kazıma süreçlerini yöneten bir Python kütüphanesidir. Hızlı HTTP istekleri gönderebilen, JavaScript kodlarını çalıştıran ve bot korumalarını aşabilen gizli tarayıcı özellikleri barındırır. Sayfalardan CSS veya XPath seçicileriyle veri çıkarabilir ve toplanan içeriği temiz Markdown biçimine dönüştürebilir. Yapay zekâ ajanlarının doğrudan internette gezinmesi için Model Bağlam Protokolü (MCP) sunucusu ve terminal arayüzü de sunar.

Neler için kullanılabilir?

• JavaScript ile yüklenen dinamik web sayfalarından veri kazımak ve ayrıştırmak
• E-ticaret veya ilan sitelerinden toplu veri çekmek için eşzamanlı örümcekler kurmak
• Yapay zekâ ajanlarının MCP sunucusu üzerinden web sayfalarını ziyaret etmesini sağlamak

Nasıl kullanılır?

1. Python betiğinizde Fetcher veya Spider sınıflarını içe aktararak hedef web adresini belirleyin.
2. CSS veya metin filtreleri yardımıyla almak istediğiniz verileri ayıklayın.
3. Toplanan verileri JSON gibi formatlarda kaydedin veya MCP sunucusu üzerinden ajana bağlayın.

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Gelişmiş web kazıma, bot korumalarını aşma ve veri toplama işleriyle uğraşan Python geliştiricileri.

Aynı kategoriden

• firecrawl (192K) Web sitelerini yapay zekâ ajanları için temiz Markdown ve JSON verisine dönüştürür.
• browser-use Yapay zekâ ajanlarının internet tarayıcısını insan gibi kullanmasını sağlar.
• Agent-Reach Ajanların API ücreti ödemeden X, Reddit ve YouTube gibi siteleri okumasını sağlar.
• crawl4ai Web sitelerini yapay zekâ modellerine uygun temiz Markdown metinlerine dönüştürür.
• scrapy Web sitelerinden yapılandırılmış veri toplamak için kullanılan kazıma çatısıdır.
• agent-browser (44K) Yapay zekâ ajanları için geliştirilmiş hızlı bir tarayıcı otomasyonu aracıdır.