リカオンSEO対策|robots.txt

robots.txt

検索エンジンのクローラーのアクセス制御を行うためのファイル。
検索結果へ表示させたくないファイルやディレクトリがある場合、クローラーがインデックスをしないようにするための指示として使われることがあります。

robots.txtの記述方法

robots.txtの中には「どのクローラーが」「どのページに」「アクセスして良いか・悪いか」を記述します。
テキスト形式で保存し、WEBサイトのトップディレクトリにアップロードすることで、検索エンジンへの指示を出します。

例えば、http://www.hogehoge.com/というサイトの中の/news/というディレクトリのインデックスをさせないように指示する場合、次のように記述をします。

【ファイル名】
robotx.txt

【記述内容】
User-Agent: *
Disallow: /news/

test.htmlというファイルのインデックス制御をする場合は次のように記述をします。

【ファイル名】
robotx.txt

【記述内容】
User-Agent: *
Disallow: /test.html

User-Agentの部分には、制御をしたいクローラーを指定します。
Google以外にもYahooなど複数のクローラーがあるので、それらを個別に指定することが可能です。
通常は、特に意図がなければ全てのクローラーを意味する*(アスタリスク)を設定します。

Disallowには、インデックスを拒否したいディレクトリ名やファイル名を指定します。
ディレクトリ名を指定した場合、ディレクトリに含まれる全てのファイルに対する指示となります。

また、次のように記述することでインデックスの「許可」を指示することも可能です。
(ただし、デフォルト設定が「許可」なので、使用する機会は少ないかもしれません。)

Allow:/news/

robots.txtのアップロード場所

作成したrobots.txtは、WEBサイトのルートディレクトリにアップロードして下さい。
正しくアップロード出来ているかどうかは、ブラウザ上でWEBサイトのURLの後に、robots.txtとファイル名を入力して確認します。
作成したrobots.txtが表示されていれば正しい場所にアップロードができています。

また、ウェブマスターツール上からもrobots.txtの動作確認ができます。
ウェブマスターツールから、「robots.txt テスター」を選択し、URL入力欄にインデックス制御をしたいディレクトリ名やファイル名を入力して確認をして下さい。

robots.txtの注意点

ページの閲覧は可能

あくまでもクローラーのアクセス制御なので、URLを知っていたり、サイトから直接リンクされている場合は、ページの閲覧は可能です。

レンダリングに必要なファイルは制御させない

CSSやJavaScript、画像ファイルなど、検索エンジンがWEBサイトのコンテンツを理解するために必要なファイルに関しては制御をしてはいけません。robots.txtによってそれらのファイルのインデックス制御を行ってしまうと、検索エンジンが正しくコンテンツを理解できず、SEOへの悪影響が発生するおそれがあります。

robots.txtの指示は絶対ではない

robots.txtを作成し、アップロードをしたとしても、必ずしもクローラーがその指示通りにするとは限りません。
robots.txtの内容は命令ではなく、あくまでも「指示」となります。

反映には時間がかかる

robots.txtによる指示が検索結果に反映されるようになるまでには、幾らかの時間が必要となります。
アップロード後すぐに反映ということはないので、注意が必要です。

目次へ戻る

ページの先頭へ