---
title: "robots.txtファイルを設定してください"
slug: "configure-the-robots-txt-file"
abstract: "ドメインまたはサブドメインのrobots.txtファイルの設定方法。"
---
# robots.txtファイルを設定してください

robots.txtファイルはウェブサイトのルートフォルダにあり、検索エンジンがインデックスできるファイルを制御します。robots.txtファイルは、robots.txtファイルがホストされているドメインまたはサブドメイン上のファイルパスへのアクセスを許可またはブロックするルールで構成されています。

> !重要ルールを追加しない場合は、ファイルに以下のコードが書き込まれます。
> 
> ユーザーエージェント: \*許可しない: /
> 
> つまり、クローラーはコンテンツにアクセスできません。

robots.txtファイルを設定するには:

1.  コンテンツツリーで自分のサイトに移動し、*Settings*項目をクリックしてください。
    
2.  ロボット **セクションまで** スクロールし、**ロボットのコンテンツ** 欄でルールを入力してください。
    
    ![Configure the robots.txt file](https://doc.sitecore.com/api/markdown-image/sai/ja/developers/sitecoreai/images/mvc-site-settings-robots-content.png)
    
3.  robots.txtファイルを更新するには、サイト全体を公開する必要があります:サイトツリーで*Site*項目をクリックし、トップツールバーで**「公開**」をクリックします。
    
4.  「公開サイト」ダイアログで「 **再公開**」をクリックします。
    
5.  **「公開**」をクリックします。
    

## 例

次の例では、ウェブサイトの名称はhttp://www.mywebsite.comであり、すべての検索エンジンに*ignorethesepages*フォルダ内のコンテンツをインデックスしないよう指示したいのです。

User-agent: \\\*
Disallow: /ignorethesepages/

> !注sitemap.xmlの場所を指定する必要はありません。SXAこの情報を自動的にrobots.txtファイルに追加します。