Gli strumenti crawler sono programmi e strutture tecniche utilizzate per raccogliere automaticamente dati dai siti web. Ottengono contenuti web simulando il comportamento del browser o inviando direttamente richieste HTTP. Questi strumenti supportano funzioni come regole di raccolta personalizzate, meccanismi di elaborazione anti-crawling e pulizia e archiviazione dei dati. I web crawler sono il mezzo principale per ottenere dati Internet pubblici e sono ampiamente utilizzati nel monitoraggio dell'opinione pubblica, nel monitoraggio dei prezzi, nell'analisi dei prodotti competitivi, nelle ricerche di mercato e in altri campi. Per utilizzare la tecnologia crawler in modo legale e conforme, è necessario prestare attenzione all'accordo sui robot e ai termini di utilizzo del sito web.
