検索Botの道標Robots.txtの設定オンラインチェッカー-Robots.txt Checker - 適宜覚書-Fragments

検索Botの道標Robots.txtの設定オンラインチェッカー-Robots.txt Checker

      2017/03/03

robots.txt checkerサイト

Robots.txtは、通常自分の持っているWebサイトやBlogのルートに配置したテキストファイルです。Google、百度、Yahoo!などのBot(スパイダー)に対して「ここにこういうファイルがあるよ」「ここはアクセスしないでね」といった道標のような情報を与えます。大抵のBotは、このWebサイトのオーナーの意向を汲んでRobots.txtに書かれた通りに行動するように作られています。((行儀の悪いBotは「それなに?美味しいの」的な反応をしますが…))

表記は、このRobots.txtが適正に設定されていて効果的に機能しているかどうかをチェックするサービスです。文法が正しく使われているかどうか確認し文法エラーがあれば指摘してくれます。

  • Robots.txt Checker

使い方

  1. Robots.txt CheckerをWebブラウザで開きます。

    robots.txt checkerサイト

    robots.txt checkerサイト

  2. CheckURL欄にRobots.Txtを配置しているURLを入れます。Robots.Txtそのものを指定する必要はなく、配置したディレクトリのパスで大丈夫です。ここではこのサイト「f.daccot.com」を入力しました。また、オプションとして検索BotのUserAgentを指定できます。ここでは「Googlebot」を使いました。

    対象URL入力

    対象URL入力

  3. 「Check robots.txt」ボタンをクリックします。
  4. チェック結果が表示されます。特にエラーは無いのですが、何も設定していないに等しいので少し恥ずかしいです。とりあえずMAPはこっち見れ…と書いてあるようです。

    チェック結果

    チェック結果

類似ツール

同じようなチェッカーを見つけたのでこちらもご紹介します。robots.txt解析ツール | SEO 検索エンジン最適化 ソーシャルニュースで先程と同様にこのサイト「f.daccot.com」を入力し、解析ボタンをクリックします。

解析

解析

すると解析結果が表示されます。基本的に先の解析結果と同じですが、最終行に空行を入れて無いのはどうよ…とツッコミを入れています。

ツッコミ入り解析結果

ツッコミ入り解析結果

このように複数のチェッカーを使うと、片方だけでは分からなかったことが分かる場合もあります。調べると他にも同様のオンラインチェッカーがありそうです。

関連情報

Robots.txtについてザザッと関連情報を集めてみました。

適宜覚書-Fragmentsは、筆者が興味をもった様々な情報やネタを筆者が忘れても後で思い出せるよう覚書として公開するBlogです。Google Chrome拡張、Facebook、Google、Twitter、Windows、各種Webアプリなどを扱うことが多いです。この覚書が、もし何かお役立ちになれば幸いです。

 - Google, Webサービス ,