Crawler

Crawler oder auch Spider, sind Computergrogramme, die das Internet durchsuchen und Inhalte speichern können, um diese dann später meist über Suchmaschinen suchen zu lassen. Es gibt dabei zahlreiche Aufgaben, die ein Crawler übernehmen kann.