Paletli veya Örümcek olarak da bilinen bir robot web'de "taranan", veri toplayan, bağlantıları takip eden, yeni ve güncel sitelerin kopyalarını oluşturan ve arama motorunun Dizininde URL'leri depolayan bir arama motoru programıdır. Bu, arama motorlarının daha hızlı ve daha güncel listeler sunmasına olanak tanır.