crawlee (26K)

Ne işe yarar?

Crawlee, Node.js ortamında güvenilir web tarayıcıları ve veri kazıma sistemleri kurmayı sağlayan açık kaynaklı bir kütüphanedir. Playwright ve Puppeteer gibi tarayıcı otomasyonu araçlarıyla ya da doğrudan hızlı HTTP istekleriyle çalışarak sayfaları çeker. Otomatik vekil sunucu (proxy) rotasyonu ve insan davranışlarını taklit eden algoritmaları sayesinde bot engellerine takılmadan veri toplar. Yapay zekâ ve bilgi getirme (RAG) iş akışları için web sayfalarından metin, bağlantı ve dosya çıkarımını kolaylaştırır.

Neler için kullanılabilir?

• E-ticaret sitelerindeki ürün ve fiyat verilerini botlara takılmadan düzenli olarak toplamak
• Büyük dil modellerini beslemek için web sitelerinden toplu veri çekmek
• Hedef sitedeki tüm bağlantıları otomatik gezip sayfaların içeriğini yerel diske kaydetmek
• Playwright altyapısıyla dinamik ve JavaScript ağırlıklı web sayfalarını tarayıcıda çalıştırmak

Nasıl kullanılır?

1. Node.js 22.13 veya üzeri sürümün kurulu olduğundan emin olun.
2. Yeni bir kazıyıcı projesi oluşturmak için: npx crawlee create my-crawler
3. Projeyi başlatmak için proje dizininde npm start komutunu çalıştırın.
4. Mevcut projeye eklemek için: npm install crawlee playwright

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Web kazıma projeleri geliştiren JavaScript ve TypeScript geliştiricileri ile veri mühendisleri.

Aynı kategoriden

• firecrawl (192K) Web sitelerini yapay zekâ ajanları için temiz Markdown ve JSON verisine dönüştürür.
• browser-use Yapay zekâ ajanlarının internet tarayıcısını insan gibi kullanmasını sağlar.
• Agent-Reach Ajanların API ücreti ödemeden X, Reddit ve YouTube gibi siteleri okumasını sağlar.
• Scrapling Hızlı istekler, gizli tarayıcılar ve veri çıkarımı sunan web kazıma çatısıdır.
• crawl4ai Web sitelerini yapay zekâ modellerine uygun temiz Markdown metinlerine dönüştürür.
• scrapy Web sitelerinden yapılandırılmış veri toplamak için kullanılan kazıma çatısıdır.