Även känd som Crawler eller Spider, en Roboten är ett sökmotorprogram som "crawlar" webben, samlar in data, följer länkar, gör kopior av nya och uppdaterade webbplatser och lagrar webbadresser i sökmotorns index. Detta gör att sökmotorer kan tillhandahålla snabbare och mer uppdaterade listor.