エージェント名の定義

エージェント名 現在ページにアクセスしているクローラー/スパイダーの名前です。 スパイダーは、検索エンジンからインターネット上のWebサイトをカタログ化するために送信されるロボットです。 スパイダーが特定のWebサイトにインデックスを付ける場合、これは「スパイダーされている」と呼ばれます。