カメニッキ

カメとインコと釣りの人です

ウェブマスターツールでrobots.txtが認識されない時に確認すること

クロール拒否させたく、robots.txtを変更し、ウェブマスターツールrobots.txtテスター(https://www.google.com/webmasters/tools/robots-testing-tool)でチェックしたところ、「robots.txtが見つかりません(404)」と表示されました。

実際にブラウザで「http://ドメイン/robots.txt」を叩いてみると、404エラーページが表示されました。

なんでかな?と思い確認したところApacheの設定(httpd.conf)で拒否しているようです。

※以下みたいな記述

    <Files ~ "\.(dat|txt|log)$">
        deny from all
</Files>

意味は「拡張子がdatかtxtかlogのファイルへのアクセスを、あらゆるものから拒否する」です。
「allow from Googlebot」など追加すればよいかと思います。