Ce este „Spider Trap”, o definiție simplă

A capcană pentru păianjen este o buclă infinită în care un păianjen poate fi prins dacă explorează un site dinamic în care adresele URL ale paginilor continuă să se schimbe. De exemplu, o pagină de pornire poate avea o adresă URL diferită, iar motorul de căutare poate să nu poată stabili că este pagina de pornire pe care a indexat-o deja, dar sub o altă adresă URL. Dacă motoarele de căutare ar indexa complet site-uri web dinamice, ar avea inevitabil cantități mari de conținut redundant și ar descărca milioane de pagini.

Lăsați un comentariu

Acest site folosește Akismet pentru a reduce spamul. Aflați cum sunt procesate datele despre comentarii.