Heritrix
Heritrix é um rastreador da web extensível e de código aberto para rastreamento em escala da web com qualidade de arquivo, respeitando o robots.txt e projetado para preservação digital.
Visão geral
O que é Heritrix?
Heritrix é o projeto de rastreador da web de código aberto do Internet Archive, projetado para rastreamento em escala da web com qualidade de arquivo para coletar e preservar artefatos digitais para pesquisas futuras. Respeita as tags robots.txt e META nofollow, com políticas de polidez configuráveis.
Para que serve o Heritrix?

Principais Recursos
- Código aberto e extensível
- Respeita robots.txt e META nofollow
- Políticas de educação configuráveis
- Rastreamento de arquivos em escala web
- Saída do arquivo WARC
Como usar Heritrix?
Baixe e execute o Heritrix em seu sistema, configure trabalhos de rastreamento por meio de sua interface ou API REST, defina URLs iniciais e configurações de polidez e comece a rastrear para arquivar conteúdo da web em arquivos WARC.
Ferramentas Alternativas
Prós & Contras
Prós
- Gratuito e de código aberto
- Alta personalização
- Adequado para arquivamento em grande escala
- Apoio comunitário ativo
Contras
- Requer configuração técnica
- Nenhuma implantação de nuvem integrada
- Curva de aprendizado íngreme para iniciantes
Casos de Uso
- Preservação digital para bibliotecas
- Arquivamento da Web para pesquisa
- Conformidade e manutenção de registros
- Coleta de dados históricos
Preços do Heritrix
Avaliações de Usuários
Ainda não há avaliações
Seja o primeiro a avaliar esta ferramenta!