क्रॉलर टूल प्रोग्राम और तकनीकी ढाँचे हैं जिनका उपयोग वेबसाइटों से स्वचालित रूप से डेटा एकत्र करने के लिए किया जाता है। वे ब्राउज़र व्यवहार का अनुकरण करके या सीधे HTTP अनुरोध भेजकर वेब सामग्री प्राप्त करते हैं। ये उपकरण कस्टम संग्रह नियम, एंटी-क्रॉलिंग तंत्र को संसाधित करने और डेटा सफाई और भंडारण जैसे कार्यों का समर्थन करते हैं। वेब क्रॉलर सार्वजनिक इंटरनेट डेटा प्राप्त करने का मुख्य साधन हैं और सार्वजनिक राय निगरानी, मूल्य निगरानी, प्रतिस्पर्धी उत्पाद विश्लेषण, बाजार अनुसंधान और अन्य क्षेत्रों में व्यापक रूप से उपयोग किए जाते हैं। क्रॉलर तकनीक का कानूनी और अनुपालनपूर्वक उपयोग करने के लिए, आपको रोबोट अनुबंध और वेबसाइट के उपयोग की शर्तों पर ध्यान देने की आवश्यकता है।
