Heritrix
Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project. - GitHub - internetarchive/heritrix3: Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project.
সংক্ষিপ্তসার
Heritrix কী?
Heritrix হল ইন্টারনেট আর্কাইভের ওপেন-সোর্স ওয়েব ক্রলার প্রকল্প, যা ভবিষ্যতের গবেষণার জন্য ডিজিটাল আর্টিফ্যাক্ট সংগ্রহ ও সংরক্ষণের জন্য আর্কাইভাল-গুণমান, ওয়েব-স্কেল ক্রলিংয়ের জন্য ডিজাইন করা হয়েছে। এটি কনফিগারযোগ্য ভদ্রতা নীতি সহ robots.txt এবং META nofollow ট্যাগগুলিকে সম্মান করে৷
Heritrix কী কাজে ব্যবহৃত হয়?

শীর্ষ বৈশিষ্ট্য
- ওপেন সোর্স এবং এক্সটেনসিবল
- robots.txt এবং META nofollow কে সম্মান করে
- কনফিগারযোগ্য ভদ্রতা নীতি
- ওয়েব-স্কেল আর্কাইভাল ক্রলিং
- WARC ফাইল আউটপুট
Heritrix কীভাবে ব্যবহার করবেন?
আপনার সিস্টেমে হেরিট্রিক্স ডাউনলোড করুন এবং চালান, এর ইন্টারফেস বা REST API এর মাধ্যমে ক্রল কাজগুলি কনফিগার করুন, বীজ URL এবং ভদ্রতা সেটিংস সেট করুন এবং WARC ফাইলগুলিতে ওয়েব সামগ্রী সংরক্ষণাগারে ক্রল করা শুরু করুন৷
বিকল্প টুল
সুবিধা & অসুবিধা
সুবিধা
- বিনামূল্যে এবং ওপেন সোর্স
- উচ্চ কাস্টমাইজেবিলিটি
- বড় আকারের সংরক্ষণাগার জন্য উপযুক্ত
- সক্রিয় সম্প্রদায় সমর্থন
অসুবিধা
- প্রযুক্তিগত সেটআপ প্রয়োজন
- বিল্ট-ইন ক্লাউড স্থাপনা নেই
- নতুনদের জন্য খাড়া শেখার বক্ররেখা
ব্যবহারের ক্ষেত্রে
- লাইব্রেরির জন্য ডিজিটাল সংরক্ষণ
- গবেষণার জন্য ওয়েব সংরক্ষণাগার
- সম্মতি এবং রেকর্ড রাখা
- ঐতিহাসিক তথ্য সংগ্রহ
Heritrix মূল্য
ব্যবহারকারীর পর্যালোচনা
এখনও কোন পর্যালোচনা নেই
এই টুলের প্রথম পর্যালোচনাকারী হন!