Bingbot
Bingbot(ビング・ボット)は、クローラ(ボットの一種)であり、 Microsoftが2010年10月からBingにて提供するサービス[1]。GoogleのGooglebotと同様、ウェブ上からドキュメントを収集して、 Bingで検索可能なインデックスを作成する。
Bingbotの典型的なユーザーエージェントは"Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" 。これはサーバーログに表示され、ファイルを要求しているウェブマスターに通知される。各ウェブマスターは、含まれているエージェント識別子「bingbot」を使用し、サイトへのアクセスを禁止または許可できる(デフォルトではアクセスが許可されている)。アクセスを許可しない場合は、Robots Exclusion Standardを使用してブロックするか(Bingbotで想定される正常な動作に依存)、他のサーバー固有の手段を使用してブロックできる。
参考文献
- ^ “BingBot Crawl Activity Surging?”. 2016年7月16日閲覧。
外部リンク
- bingbotBing crawler: bingbot on the horizon
- Bingbot is coming to town