ロボット検索除け

ロボット検索除け

• p2では既にHTMLのMETAタグに、「<meta name="ROBOTS" content="NOINDEX, NOFOLLOW">」が記述されています。

• robots.txtで検索エンジンを拒否*1
  • どのロボットを弾いていいかわからない人はrobotはぢきについてを見て設定しましょう。

• robots.txtはサーバーのDocumentRoot?に置かなければ効果を発揮しません。
  • これを理解しないまま安易にレンタルサーバーなどでユーザーアカウント内にrobots.txtを置くことは、p2を設置したディレクトリの位置を悪意のある第三者に晒していることと同意になるので不用意にrobots.txtを置くことで逆に危険な行為につながるため、注意すること。
  • それでもrobots.txtを置きたい場合は、Robots.txtで秘密がバレる！？などを参考にすること。

• robots.txtを無視する検索ロボットもあるので、.htaccessでIPアドレスで拒否することが確実です。