ウェブマスターツールでrobots.txtが認識されない時に確認すること
クロール拒否させたく、robots.txtを変更し、ウェブマスターツールのrobots.txtテスター(https://www.google.com/webmasters/tools/robots-testing-tool)でチェックしたところ、「robots.txtが見つかりません(404)」と表示されました。
実際にブラウザで「http://ドメイン/robots.txt」を叩いてみると、404エラーページが表示されました。
なんでかな?と思い確認したところApacheの設定(httpd.conf)で拒否しているようです。
※以下みたいな記述
<Files ~ "\.(dat|txt|log)$">deny from all
</Files>
意味は「拡張子がdatかtxtかlogのファイルへのアクセスを、あらゆるものから拒否する」です。
「allow from Googlebot」など追加すればよいかと思います。