Heritrix
Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project. - GitHub - internetarchive/heritrix3: Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project.
Балл
30
Пользовательский рейтинг
3.0
Бесплатная/Пробная поддержка
Поддерживается
Начальная цена
--
Последнее обновление
авг. 04, 2026
Обзор
Что такое Heritrix?
Heritrix — это проект веб-сканера с открытым исходным кодом Интернет-архива, предназначенный для сканирования веб-масштабов архивного качества с целью сбора и сохранения цифровых артефактов для будущих исследований. Он учитывает теги robots.txt и META nofollow с настраиваемыми политиками вежливости.
Для чего используется Heritrix?
Основные функции
- Открытый исходный код и расширяемый
- Уважает robots.txt и META nofollow.
- Настраиваемые политики вежливости
- Сканирование архивов в веб-масштабе
- Вывод файла WARC
Как использовать Heritrix?
Загрузите и запустите Heritrix в своей системе, настройте задания сканирования через его интерфейс или REST API, установите начальные URL-адреса и настройки вежливости и начните сканирование для архивирования веб-контента в файлы WARC.
Альтернативные инструменты
Альтернативные инструменты не найдены
Преимущества & Недостатки
Преимущества
- Бесплатный и с открытым исходным кодом
- Высокая настраиваемость
- Подходит для крупномасштабного архивирования.
- Активная поддержка сообщества
Недостатки
- Требует технической настройки
- Нет встроенного облачного развертывания
- Крутая кривая обучения для начинающих
Варианты использования
- Цифровая сохранность для библиотек
- Веб-архивирование для исследований
- Соблюдение требований и ведение учета
- Сбор исторических данных
Цены Heritrix
Бесплатный план
Подробная информация о ценах недоступна
Отзывы пользователей
3.0
из 5
3.0
Пока нет отзывов
Будьте первым, кто оставит отзыв об этом инструменте!