一部のページは、検索エンジンの収集対象から除外したい場合があります。その場合は、meta要素のname属性に「ROBOTS」をしていすることで、除外することができます。meta要素にname属性とcontent属性を追加します。検索ロボットを除外する場合は、name属性に「ROBOTS」、content属性に「NOINDEX,NOFOLLOW」と指定します。
<meta name="ROBOTS" content="NOINDEX,NOFOLLOW">
<meta name="ROBOTS" content="NOINDEX,NOFOLLOW" />
meta要素で、検索ロボットの制御を行うことができます。name属性に"ROBOTS"、content属性には次の値を指定します。
"INDEX,FOLLOW"、"INDEX,NOFOLLOW"、"NOINDEX,FOLLOW"、"NOINDEX,NOFOLLOW"の4通りの指定が可能です。