Googlebot är en sökrobot som används av Google. Den samlar in dokument från webben för att bygga ett sökbart index för Googles sökmotor. Om en webbansvarig vill begränsa informationen på sin webbplats tillgänglig för en Googlebot, eller annan väluppfostrad spindel, kan de göra det genom att följa lämpliga direktiv i en robots.txt-fil.
