Cunoscut și sub numele de Crawler sau Robot, a păianjen este un program de motor de căutare care „explorează” web-ul, colectând date, urmărind link-uri, realizează copii ale site-urilor noi și actualizate și stochează adrese URL în Indexul motorului de căutare. Acest lucru permite motoarelor de căutare să ofere listări mai rapide și mai actualizate.
