クロール除外ページの<head>にnoindex<meta>タグを挿入するようにしました
重複コンテンツをGoogleにインデックスされないようにするため、
http://ユーザードメイン/search/ (検索結果ページ)
http://ユーザードメイン/m/ (携帯用ページ)
http://ユーザードメイン/s/ (スマホ用ページ)
の3つをrobots.txtでクロール除外設定していましたが、
クロールを除外していてもインデックスされる場合があり、された場合にGoogleから警告がくるようなので、
上記のクロール除外URL接続時に<meta name='robots' content='noindex'>を出力するようにしました。
テンプレートの&$HEAD;部分に出力されるのでテンプレートが対応している必要があります。
Wikiも同様にrobots.txtのクロール除外ページに<meta>タグを出力するようにしました。
http://ユーザードメイン/search/ (検索結果ページ)
http://ユーザードメイン/m/ (携帯用ページ)
http://ユーザードメイン/s/ (スマホ用ページ)
の3つをrobots.txtでクロール除外設定していましたが、
クロールを除外していてもインデックスされる場合があり、された場合にGoogleから警告がくるようなので、
上記のクロール除外URL接続時に<meta name='robots' content='noindex'>を出力するようにしました。
テンプレートの&$HEAD;部分に出力されるのでテンプレートが対応している必要があります。
Wikiも同様にrobots.txtのクロール除外ページに<meta>タグを出力するようにしました。