(ang. CRAWL – czołgać się; SPIDER – pająk; roBOT – robot, automat) – program, który odwiedza każdą stronę internetową, „czyta” informacje na niej zawarte po to, by zindeksować je w wyszukiwarce internetowej. Crawler przegląda głównie nowe lub uaktualnione strony. Regularnie odwiedza całe witryny lub poszczególne podstrony, by zaktualizować dane w wyszukiwarce.
Zbiór zasad, jakimi powinny się sugerować programy typu crawler są opisane w Standard for Robot Exclusion (SRE). Reguły je mówią, które dane nie powinny być indeksowane – np. pliki odpowiedzialne za pracę serwera, tajne dane, dane zabezpieczone firewallem itp. Bardziej zaawansowane spidery potrafią dostosować swój czas pracy do okresu najmniejszego ruchu na przeszukiwanych stronach.
Przykładem robota w wyszukiwarce Altavista jest Scooter.