Heritrix
Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project. - GitHub - internetarchive/heritrix3: Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project.
अवलोकन
Heritrix क्या है?
हेरिट्रिक्स इंटरनेट आर्काइव का ओपन-सोर्स वेब क्रॉलर प्रोजेक्ट है, जिसे भविष्य के शोध के लिए डिजिटल कलाकृतियों को इकट्ठा करने और संरक्षित करने के लिए अभिलेखीय-गुणवत्ता, वेब-स्केल क्रॉलिंग के लिए डिज़ाइन किया गया है। यह कॉन्फ़िगर करने योग्य विनम्रता नीतियों के साथ robots.txt और META नोफ़ॉलो टैग का सम्मान करता है।
Heritrix किस लिए उपयोग किया जाता है?

शीर्ष सुविधाएं
- ओपन-सोर्स और एक्स्टेंसिबल
- robots.txt और META nofollow का सम्मान करता है
- विन्यास योग्य विनम्रता नीतियाँ
- वेब-स्केल अभिलेखीय क्रॉलिंग
- WARC फ़ाइल आउटपुट
Heritrix का उपयोग कैसे करें?
अपने सिस्टम पर हेरिट्रिक्स डाउनलोड करें और चलाएं, इसके इंटरफ़ेस या REST API के माध्यम से क्रॉल जॉब्स को कॉन्फ़िगर करें, सीड यूआरएल और विनम्रता सेटिंग्स सेट करें, और WARC फ़ाइलों में वेब सामग्री को संग्रहीत करने के लिए क्रॉल करना शुरू करें।
वैकल्पिक टूल
फायदे & नुकसान
फायदे
- मुफ़्त और खुला स्रोत
- उच्च अनुकूलन क्षमता
- बड़े पैमाने पर संग्रहण के लिए उपयुक्त
- सक्रिय सामुदायिक समर्थन
नुकसान
- तकनीकी सेटअप की आवश्यकता है
- कोई अंतर्निहित क्लाउड परिनियोजन नहीं
- शुरुआती लोगों के लिए तीव्र सीखने की अवस्था
उपयोग के मामले
- पुस्तकालयों के लिए डिजिटल संरक्षण
- अनुसंधान के लिए वेब संग्रह
- अनुपालन और रिकॉर्ड-रख-रखाव
- ऐतिहासिक डेटा संग्रह
Heritrix मूल्य
उपयोगकर्ता समीक्षाएं
अभी तक कोई समीक्षा नहीं
इस टूल की पहली समीक्षा करने वाले बनें!