検索エンジンに、サイトの一部コンテンツをインデックスさせないようにする

■結論

「robots.txt」に以下の記述を追加する

User-agent:*
Disallow: ＜拒否したいパス＞

例として、/hoge/fuga/を拒否したい時は、

User-agent: *
Disallow: /hoge/fuga/

となります。

robots.txt ファイルを作成する - ウェブマスター ツール ヘルプ