Heritrix
Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project. - GitHub - internetarchive/heritrix3: Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project.
Panoramica
Cos'è Heritrix?
Heritrix è il progetto web crawler open source di Internet Archive, progettato per la scansione su scala web di qualità archivistica per raccogliere e preservare artefatti digitali per ricerche future. Rispetta i tag robots.txt e META nofollow, con politiche di cortesia configurabili.
A cosa serve Heritrix?

Funzionalità Principali
- Open source ed estensibile
- Rispetta robots.txt e META nofollow
- Politiche di cortesia configurabili
- Scansione di archivi su scala web
- Uscita del file WARC
Come usare Heritrix?
Scarica ed esegui Heritrix sul tuo sistema, configura i processi di scansione tramite la sua interfaccia o l'API REST, imposta gli URL seed e le impostazioni di cortesia e inizia a eseguire la scansione per archiviare i contenuti Web in file WARC.
Strumenti Alternativi
Pro & Contro
Pro
- Gratuito e open source
- Elevata personalizzazione
- Adatto per l'archiviazione su larga scala
- Supporto attivo della comunità
Contro
- Richiede una configurazione tecnica
- Nessuna distribuzione cloud integrata
- Curva di apprendimento ripida per i principianti
Casi d'Uso
- Conservazione digitale per le biblioteche
- Archiviazione web per la ricerca
- Conformità e tenuta dei registri
- Raccolta dati storici
Prezzi di Heritrix
Recensioni Utenti
Nessuna recensione ancora
Sii il primo a recensire questo strumento!