에이전트 이름 정의

에이전트 이름 현재 페이지를 방문하고 있는 크롤러/스파이더의 이름입니다. 스파이더는 인터넷에서 웹사이트를 분류하기 위해 검색 엔진에서 보낸 로봇입니다. 스파이더가 특정 웹사이트를 인덱싱할 때 이를 '스파이더링'이라고 합니다.