unstructured

Ne işe yarar?

Unstructured, PDF, HTML ve Word gibi farklı dosya türlerindeki yapılandırılmamış verileri ayrıştırıp düzenleyen bir veri işleme aracıdır. Belgeleri parçalama, temizleme ve özet çıkarma adımlarından geçirerek büyük dil modellerine beslenebilecek forma getirir. Çıktıları doğrudan metin madenciliği ve vektör veri tabanı indeksleme hatlarına aktarılmaya uygun şekilde düzenler. Docker konteyneri içinde veya Python ortamında kolayca çalıştırılabilir.

Neler için kullanılabilir?

• Farklı türdeki belgeleri dil modelleri için parçalara bölüp yapılandırılmış veriye dönüştürmek
• Büyük belge arşivlerini RAG sistemleri için veri ön işlemesinden geçirmek
• PDF ve Word dokümanlarından metin ve tablo verilerini otomatik olarak ayıklamak
• Docker üzerinde yalıtılmış bir ortamda belge dönüştürme iş akışları çalıştırmak

Nasıl kullanılır?

1. docker pull downloads.unstructured.io/unstructured-io/unstructured:latest komutuyla Docker imajını çekin.
2. docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest komutuyla konteyneri çalıştırın.
3. docker exec -it unstructured bash komutuyla kabuğa bağlanarak veya Python üzerinden veri dönüştürmeyi başlatın.

Adımlar deponun README'sinden özetlendi; güncel kurulum için deponun kendi sayfasına bakın.

Kimler için?

Geniş belge koleksiyonlarını dil modelleri ve veri hatları için hazırlayan veri mühendisleri.

Aynı kategoriden

• markitdown Belgeleri ve ofis dosyalarını yapay zekâ modelleri için Markdown formatına çevirir.
• Stirling-PDF PDF belgelerini harici servislere göndermeden yerel ortamda düzenlemeyi sağlar.
• PaddleOCR Görselleri ve PDF belgelerini yapay zekâ için yapılandırılmış metne dönüştürür.
• MinerU (82K) Karmaşık PDF ve ofis belgelerini yapay zekâya hazır Markdown ve JSON formatına çevirir.
• tesseract Görsellerdeki ve taranmış belgelerdeki metinleri tanıyan açık kaynaklı OCR motorudur.
• docling Çeşitli belge formatlarını yapay zekâ uygulamaları için ayrıştırıp metne dönüştürür.