Tunnetaan myös nimellä Crawler tai Robot, a hämähäkki on hakukoneohjelma, joka "indeksoi" verkkoa, kerää tietoja, seuraa linkkejä, tekee kopioita uusista ja päivitetyistä sivustoista ja tallentaa URL-osoitteita hakukoneen hakemistoon. Tämän ansiosta hakukoneet voivat tarjota nopeampia ja ajantasaisempia luetteloita.
