Også kendt som Crawler eller Spider, en robot er et søgemaskineprogram, der "crawler" nettet, indsamler data, følger links, laver kopier af nye og opdaterede websteder og gemmer URL'er i søgemaskinens indeks. Dette gør det muligt for søgemaskiner at levere hurtigere og mere opdaterede fortegnelser.