Også kjent som Crawler eller Robot, en edderkopp er et søkemotorprogram som "gjennomsøker" nettet, samler inn data, følger lenker, lager kopier av nye og oppdaterte nettsteder og lagrer URL-er i søkemotorens indeks. Dette lar søkemotorer gi raskere og mer oppdaterte oppføringer.