robots.txt

SEO対策情报

2007/04/15

robots.txtとは、
ロボット型検索エンジンに対してクロールに関する制御を伝える
ためのファイルです。

通常のテキストファイル形式で下记のようなルールを记述し、
ルートディレクトリにアップロードします。

User-Agent:	ルールの対象となるロボット
Disallow:	ブロックするページまたはディレクトリ

すべてのディレクトリに対し、すべてのロボットにクロールおよび
インデックスを许可する。

User-agent: *
Disallow:

また、Googleに関しては、「Allow」拡张が使用できます。
この拡张机能が、YST(Yahoo)やLiveSerch(MSN)が正しく认识されるかは不明ですが、
パターン一致も使えますので、うまく活用していきましょう。

ショッピングサイトなどを运営している场合、
ユーザーに対して様々な角度から商品を见つけやすい设计を心がけますが、
クローラーの视点から见ると残念ながら类似ページや同一ページのように
见えてしまうことがあります。

近年の検索エンジンは、类似ページや同一ページが多いサイトの
インデックス数は减りがちです。
これは膨大な情报を适切に分类するために必要なことではありますが、
必要なページがインデックスから削除されると大きな打撃につながります。

そこで、あらかじめrobots.txtにクロールしてほしいページを明记し、
类似するページや同一のページをクロールしない表记をしておくことは
大切なリスク回避とも言えます。

ユーザーに対しても、クローラーに対しても亲切な设计をするために
robots.txtは有効な手段です。

【注意】
自サイトのトップページがこのようになっている场合、
http://www.aaa.com/~bbb/
http://www.aaa.com/ccc/
ルートディレクトリにファイルをアップロードする権限を
持っていない可能性があります。

また、无料ブログサービスなどを使用していている场合にも、
ファイルをアップロードできないケースがあります。

下记のような阶层にファイルが设置できるかをご确认ください。
http://www.aaa.com/robots.txt

【参考情报】