Ein Crawler ist ein Programm, das selbstständig das Internet nach Inhalten durchsucht und sowohl Webseiten als auch Information vollständig ausliest und indexiert. Der Crawler folgt dabei meist den Hyperlinks.