robots.txtに関するメモ

参照URL

http://www.sem-r.com/08h1/20080425213911.html

によると、例6で

User-agent: *
Disallow: /

この例は、Disallow に / と記述されています。
これは全てのディレクトリを対象とする、という意味です。
従って上記例は、全てのクローラーに対してWebサイト内全てのファイルの登録を拒否すると指示をしています。

とのこと。

つまりこれをリコーディングしたサイトの第一階層に置けばOKということですね。

たった2行で済むけど、入れる入れないでは大違い。