Heritrix
Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project. - GitHub - internetarchive/heritrix3: Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project.
Ringkasan
Apa itu Heritrix?
Heritrix adalah proyek perayap web sumber terbuka Internet Archive, dirancang untuk perayapan skala web berkualitas arsip untuk mengumpulkan dan melestarikan artefak digital untuk penelitian di masa depan. Ini menghormati tag nofollow robots.txt dan META, dengan kebijakan kesopanan yang dapat dikonfigurasi.
Untuk apa Heritrix digunakan?

Fitur Unggulan
- Sumber terbuka dan dapat diperluas
- Menghormati robots.txt dan META nofollow
- Kebijakan kesopanan yang dapat dikonfigurasi
- Perayapan arsip skala web
- keluaran berkas WARC
Bagaimana cara menggunakan Heritrix?
Unduh dan jalankan Heritrix di sistem Anda, konfigurasikan pekerjaan perayapan melalui antarmukanya atau REST API, atur URL seed dan pengaturan kesopanan, dan mulai perayapan untuk mengarsipkan konten web ke dalam file WARC.
Alat Alternatif
Kelebihan & Kekurangan
Kelebihan
- Gratis dan sumber terbuka
- Kemampuan penyesuaian yang tinggi
- Cocok untuk pengarsipan skala besar
- Dukungan komunitas yang aktif
Kekurangan
- Memerlukan pengaturan teknis
- Tidak ada penerapan cloud bawaan
- Kurva pembelajaran yang curam untuk pemula
Kasus Penggunaan
- Pelestarian digital untuk perpustakaan
- Pengarsipan web untuk penelitian
- Kepatuhan dan pencatatan
- Pengumpulan data sejarah
Harga Heritrix
Ulasan Pengguna
Belum ada ulasan
Jadilah yang pertama mengulas alat ini!