robots.txtファイルを構成する
Version:
日本語翻訳に関する免責事項
このページの翻訳はAIによって自動的に行われました。可能な限り正確な翻訳を心掛けていますが、原文と異なる表現や解釈が含まれる場合があります。正確で公式な情報については、必ず英語の原文をご参照ください。
robots.txtファイルはWebサイトのルートフォルダにあり、検索エンジンがインデックスを作成できるWebサイト上のファイルを制御します。robots.txtファイルは、robots.txtファイルがホストされているドメインまたはサブドメイン上のファイルパスに対する特定のクローラのアクセスを許可またはブロックするルールで構成されています。
大事な
ルールを追加しない場合、次のコードがファイルに書き込まれます。
これは、クローラがコンテンツにアクセスできないことを意味します。
robots.txtファイルを設定するには:
-
コンテンツ ツリーで、サイトに移動し、Settingsアイテムをクリックします。
-
Robotsセクションまでスクロールし、Robots contentフィールドにルールを入力します。
-
変更を保存して公開します。
例
次の例では、Webサイトの名前がhttp://www.mywebsite.comで、ignorethesepagesフォルダー内のコンテンツのインデックスを作成しないようにすべての検索エンジンに指示します。
メモ
sitemap.xmlがどこにあるかを指定する必要はありません。SXAは、この情報をrobots.txtファイルに自動的に追加します。