無料ブログ「rentafree.net」の管理人ブログ

クロール除外ページの<head>にnoindex<meta>タグを挿入するようにしました

重複コンテンツをGoogleにインデックスされないようにするため、
http://ユーザードメイン/search/ (検索結果ページ)
http://ユーザードメイン/m/ (携帯用ページ)
http://ユーザードメイン/s/ (スマホ用ページ)
の3つをrobots.txtでクロール除外設定していましたが、
クロールを除外していてもインデックスされる場合があり、された場合にGoogleから警告がくるようなので、
上記のクロール除外URL接続時に<meta name='robots' content='noindex'>を出力するようにしました。

テンプレートの&$HEAD;部分に出力されるのでテンプレートが対応している必要があります。
Wikiも同様にrobots.txtのクロール除外ページに<meta>タグを出力するようにしました。