Heritrix
Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project. - GitHub - internetarchive/heritrix3: Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project.
نظرة عامة
ما هو Heritrix؟
Heritrix هو مشروع زاحف ويب مفتوح المصدر تابع لأرشيف الإنترنت، وهو مصمم بجودة أرشيفية وزحف على نطاق الويب لجمع القطع الأثرية الرقمية والحفاظ عليها للبحث المستقبلي. وهو يحترم علامات robots.txt وMETA nofollow، مع سياسات الأدب القابلة للتكوين.
فيم يستخدم Heritrix؟

أفضل الميزات
- مفتوحة المصدر وقابلة للتوسعة
- يحترم ملف robots.txt وMETA nofollow
- سياسات المداراة شكلي
- الزحف إلى الأرشيف على نطاق الويب
- إخراج ملف WARC
كيفية استخدام Heritrix؟
قم بتنزيل Heritrix وتشغيله على نظامك، وقم بتكوين مهام الزحف عبر واجهته أو REST API، وقم بتعيين عناوين URL الأولية وإعدادات الأدب، وابدأ الزحف لأرشفة محتوى الويب في ملفات WARC.
أدوات بديلة
الإيجابيات & السلبيات
الإيجابيات
- مجانية ومفتوحة المصدر
- إمكانية التخصيص العالية
- مناسبة للأرشفة واسعة النطاق
- دعم المجتمع النشط
السلبيات
- يتطلب الإعداد الفني
- لا يوجد نشر سحابي مدمج
- منحنى التعلم حاد للمبتدئين
حالات الاستخدام
- الحفظ الرقمي للمكتبات
- أرشفة الويب للبحث
- الامتثال وحفظ السجلات
- جمع البيانات التاريخية
أسعار Heritrix
تقييمات المستخدمين
لا توجد تقييمات بعد
كن أول من يقيم هذه الأداة!