クロール拒否させたく、robots.txtを変更し、ウェブマスターツールのrobots.txtテスター（https://www.google.com/webmasters/tools/robots-testing-tool）でチェックしたところ、「robots.txtが見つかりません（404）」と表示されました。 実際にブラウザで…

■結論 「robots.txt」に以下の記述を追加する User-agent:*Disallow: ＜拒否したいパス＞ 例として、/hoge/fuga/を拒否したい時は、 User-agent: *Disallow: /hoge/fuga/ となります。 robots.txt ファイルを作成する - ウェブマスター ツール ヘルプ robots…