Webcrawler sind spezielle Computerprogramme, die – dem menschlichen User nicht unähnlich – über die Hyperlinks durch die Webseiten im Internet „surfen“. Crawler werden von Suchmaschinen eingesetzt zur Erstellung eines Indexes, der die Suche effektiver und schneller gestalten soll. Hierfür speichert der Webcrawler alle von ihm besuchten Seiten und verarbeitet sie für die Suchmaschinen weiter.
Da diese Recherchen zum größten Teil autonom ausgeführt werden, nennt man die Crawler auch Bots (abgeleitet von Robots). Webcrawler erreichen nur einen eingegrenzten Bereich von Webseiten, da sie den Weg hierhin nur über Links finden. Nicht verlinkte Inhalte werden dementsprechend auch nicht gespeichert.
Eine sehr detaillierte Definition von Webcrawlers verfasste Daniel O‘Grady in seiner Ausarbeitung für die Fakultät Informatik der Fachhochschule Reutlingen:
“Webcrawler sind Softwarekomponenten, die meist im Zusammenspiel mit Suchmaschinen verwendet werden. Ihre Aufgabe ist es, Dokumente aus dem Internet (oder einem anderen Netzwerk) zu besuchen und zu analysieren und anschließend herunterzuladen. Der aus ihrer Analyse erstellte Index kann dann beispielsweise von Suchmaschinen weiter verwendet werden, um auf ihm Suchanfragen abzusetzen. Während manche Webcrawler versuchen, einen möglichst großen Teil des Internets zu indizieren [...]“
