robots.txtファイルを設定してください
日本語翻訳に関する免責事項
このページの翻訳はAIによって自動的に行われました。可能な限り正確な翻訳を心掛けていますが、原文と異なる表現や解釈が含まれる場合があります。正確で公式な情報については、必ず英語の原文をご参照ください。
robots.txtファイルはウェブサイトのルートフォルダにあり、検索エンジンがインデックスできるファイルを制御します。robots.txtファイルは、robots.txtファイルがホストされているドメインまたはサブドメイン上のファイルパスへのアクセスを許可またはブロックするルールで構成されています。
!重要ルールを追加しない場合は、ファイルに以下のコードが書き込まれます。
ユーザーエージェント: *許可しない: /
つまり、クローラーはコンテンツにアクセスできません。
robots.txtファイルを設定するには:
-
コンテンツツリーで自分のサイトに移動し、Settings項目をクリックしてください。
-
ロボット セクションまで スクロールし、ロボットのコンテンツ 欄でルールを入力してください。
-
robots.txtファイルを更新するには、サイト全体を公開する必要があります
Site項目をクリックし、トップツールバーで**「公開**」をクリックします。 -
「公開サイト」ダイアログで「 再公開」をクリックします。
-
「公開」をクリックします。
例
次の例では、ウェブサイトの名称はhttp://www.mywebsite.comであり、すべての検索エンジンに*ignorethesepages*フォルダ内のコンテンツをインデックスしないよう指示したいのです。
User-agent: \* Disallow: /ignorethesepages/
!注sitemap.xmlの場所を指定する必要はありません。SXAこの情報を自動的にrobots.txtファイルに追加します。
この記事を改善するための提案がある場合は、 お知らせください!