--- title: "高度なウェブクローラーの設定" slug: "configure-an-advanced-web-crawler" abstract: "Sitecore Searchでローカライズされたコンテンツなしで高度なウェブクローラーソースを設定する方法。" --- # 高度なウェブクローラーの設定 Sitecore Search高度なウェブクローラーは、コンテンツをクロールしてインデックスに追加する強力なクローラーです。ソースコンテンツにアクセスするための認証、[複数言語でのインデックス文書作成](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/configure-a-localized-advanced-web-crawler.html "Configure a localized advanced web crawler")、属性値の抽出JavaScriptなど、複雑なユースケースにも対応可能です。 > !重要[インデックス方法を選ぶ](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/identify-the-required-source-type.html "Identify the required source type")際は[クローラータイプの詳細な仕様](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/crawler-specifications.html "Crawler specifications")を参照してください。 > > ベスト[プラクティス](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/best-practices-to-crawl-complete-websites.html "Best practices to crawl complete websites")を成功裏にインデックス化したり、[更新をクロールしたり](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/best-practices-to-crawl-frequent-new-updates.html "Best practices to crawl frequent new updates")するために、これらの[ベストプラクティス](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/best-practices-for-indexing.html "Best practices for indexing")に従ってください。 > > ほとんどの場合、まずウェブクローラーソースを作成することをお勧めします。その後、より多くの機能が必要だと感じたら、[ウェブクローラーソースを高度なウェブクローラーソースに変換](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/convert-a-web-crawler-to-an-advanced-web-crawler.html "Convert a web crawler to an advanced web crawler")してください。 このウォークスルーでは、以下の方法を説明します: :::攻略 1. [高度なウェブクローラーソースを作成する](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/configure-an-advanced-web-crawler.html#create-an-advanced-web-crawler-source) 2. [クローラー設定の設定](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/configure-an-advanced-web-crawler.html#configure-crawler-settings) 3. [トリガーの設定](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/configure-an-advanced-web-crawler.html#configure-a-trigger) 4. [ドキュメントエクストラクタを作成する](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/configure-an-advanced-web-crawler.html#create-a-document-extractor) 5. [クローラーのスケジュールを決めてください](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/configure-an-advanced-web-crawler.html#schedule-the-crawler) 6. [ソースへの更新を公開してください](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/configure-an-advanced-web-crawler.html#publish-updates-to-the-source)::: > !注元のコンテンツがクローラーアクセスする前に認証が必要な場合は、[クローラー認証設定](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/crawler-authentication.html "Crawler authentication")を設定してください。例えば、元のコンテンツにはGUIベースのユーザー名やパスワード、リクエストヘッダー内のアクセストークンやキーが必要かもしれません。これはソース作成後いつでも可能です。 ## 高度なウェブクローラーソースを作成する ソースを作成するには: 1. メニューバーで「 **Sources**」をクリックしてください。 2. Click ![Plus\_add\_\_grey.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/Plus_add__grey.png) **情報源を追加**してください。 3. **SOURCE NAME**フィールドにソースの名前を入力します。 4. **DESCRIPTION**欄で、設定したいソースを数行入力してください。 5. **CONNECTOR**ドロップダウンリストで「**Web Crawler(Advanced)**」をクリックします。 6. Click **Save**。エラーがなければ、Searchは新しいソースを作成します。 ## クローラー設定の設定 [ウェブクローラーの設定](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/additional-configurations-and-settings/configure-crawler-settings.html "Configure crawler settings")には、許可されるドメインや最大URLの定義などが含まれます。 クローラー設定の設定: 1. メニューバーで「 **Sources** 」をクリックし、作成したソースをクリックしてください。 2. 左側のペインで「**Web Crawler**」をクリックしSettings「**Web Crawler Settings**」セクションで「 **![pencil\_grey.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/pencil_grey.png) 編集**」をクリックします。 3. オプションで、**ALLOWED DOMAINS**欄でクローラーがその中に残るドメインを入力します。これを行うことで、ウェブクローラーがSitecoreドキュメントドメインのみをクロールし、リンクされる可能性のある外部サイトはクロールしません。 例えば、*[www.doc.sitecore.com](http://www.doc.sitecore.com)*と入力します。 4. クローラーがクロールするURLの深さと数を設定するには: - **最大深度**フィールドで、クローラーがURL間進んでほしい最大レベル数を入力します。 例えば、*5*を入力します。 - **MAX URLs**フィールドには、クローラーがクロールできる最大URL数を入力します。クローラーが抜け落ちないURLを確実にするために大きな数を入力してください。 例えば、*5000*を入力するとします。 5. 特定のURLパターンをクローラーの範囲から除外するには、「 **除外パターンを追加**」をクリックします。次に、**TYPE**ドロップダウンメニューで**Glob式** または **正則表現**を選択します。 **VALUE**フィールドで、除外するURLを一致させる式を入力します。 例えば、クローラーが検索ページをクロールするのを防ぐには、以下のGlob式を入力してください: \*\*/search/\*\* 6. 並列にクロールするワーカー数の設定と、リクエスト間のオプションの遅延設定: - **PARALLELISM (WORKERS)** ドロップダウンメニューの値をクリックして、同時にクロールしコンテンツをインデックスするスレッド(ワーカー)の数を定義できます。 例えば、*2を入力して*2のワーカーだけを並列にクロールできるようにします。これはデフォルトの*5*ワーカーよりも少ないメモリを使用します。 - オプションで、ワーカーを1つだけ設定している場合は、クローラーが次のインデックス対象URLにアクセスするまでの待機時間を定義できます。これを行うには、**DELAY(MS)** フィールドで時間をミリ秒単位で入力します。 例えば、*3*を入力します。 7. **TIMEOUT**フィールドには、クローラーが応答を待つ時間(ミリ秒単位)を入力します。 例えば、*5000*を入力してください。これにより、クローラーはクロールするすべてのURLから応答を得るために5000ミリ秒、つまり5秒間待つことになります。 8. オプションでヘッダーを追加するには「 **Add Header**」をクリックしてください。次に、**Key**フィールドにコンテンツが期待するユーザーエージェントの名前を入力します。 **Value**フィールドに、コンテンツが期待するユーザーエージェントの値を入力してください。このセキュリティ対策により、Searchクローラーのみがデータをクロールでき、他のクローラーは行えません。 例えば、**キー**に*user-agent*、*値にsitecorebot*を**入力します。** 9. オプションで、クローラーがナビゲーションクッキーを受け入れないようにしたい場合は、「**追加Settings**」セクションで「**クロール中にナビゲーションクッキーを有効にする**」をオフにしてください。 ナビゲーションクッキーはクローラーの経路を追跡し、訪問したURLを記録します。時にはクッキーがクローラーを誤誘導して、以前に訪問したURLを再インデックスさせることがあります。しかし、クッキーは特に認証が必要なウェブサイトにとって重要です。 10. オプションで、クローラーがページのソースに加えてページ上のJavaScriptを待機してクロールしたい場合は、「**追加Settings**」セクションで**「Render JavaScript**」をオンにしてください。 11. Click **Save**。 ## トリガーの設定 高度なウェブクローラーの [トリガー](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/additional-configurations-and-settings/configure-triggers.html "Configure triggers") を設定することで、インデックス化するコンテンツを探す出発点となります。この手順で説明したリクエストトリガーの使用に加え、以下のようなトリガーを使用できます。 - [JavaScript](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/additional-configurations-and-settings/configure-triggers/create-a-javascript-trigger-to-get-a-set-of-urls.html "Create a JavaScript trigger to get a set of URLs") - RSS - [サイトマップ](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/additional-configurations-and-settings/configure-triggers/create-a-sitemap-trigger.html "Create a sitemap trigger") - サイトマップ索引 > !注サイトマップのトリガーは、サイトマップ内の各URLの最終修正日(lastmod)フィールドを活用します。これによりインデックスの速度が向上し、コンテンツ更新の効率が向上します。 リクエストトリガーの設定: 1. **ソースSettings**ページでトリガーの横![pencil\_grey.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/pencil_grey.png)**編集****をクリックしてください。** 2. Click ![Plus\_add\_\_grey.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/Plus_add__grey.png) **トリガーを追加**してください。 3. **トリガータイプ**ドロップダウンフィールドで「**Request**」を選択します。 4. 任意で、**Body**欄にリクエストの本文を入力します。 5. オプションでヘッダーを設定するには、「 **ヘッダーを追加** 」をクリックし、**キー** フィールドと **バリュー** フィールドに値を入力してください。 例えば、**キー**に*user-agent*、*値にsitecorebot*を**入力します。** 6. オプションで、**メソッド** のドロップダウンメニューで**POST**、**PUT**、**またはPATCH**をクリックしてください。デフォルトでは**GET**が選択されます。 7. **URL**フィールドにトリガーとして使いたいURLを貼り付けます。 例えば、ペースト *[https://dev.sitecore.net/](https://dev.sitecore.net/)* ## ドキュメントエクストラクタを作成する [ドキュメント抽出器](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/additional-configurations-and-settings/configuring-document-extractors.html "Configuring document extractors")の設定は、1つまたは複数のエンティティの属性の値を抽出する方法を指定します。 この手順で説明されているXPath文書エクストラクタタイプに加え、以下を利用できます: - CSSドキュメントエクストラクタ - [JavaScript文書エクストラクタ](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/additional-configurations-and-settings/configuring-document-extractors/create-a-javascript-document-extractor.html "Create a JavaScript document extractor") XPathドキュメントエクストラクタを作成するには: 1. メニューバーで「 **Sources**」をクリックしてください。 2. 高度なウェブクローラーを選択してください。 3. **ソースSettings**ページで**、ドキュメント抽出器**の横に「**![pencil\_grey.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/pencil_grey.png)編集**」をクリックします。 4. ドキュメントエクストラクターを作成するには、**ドキュメントエクストラクター** のページで: - **名前**欄に、このエクストラクタの意味のある名前を入力します。 例えば、*Sitecoreの開発ポータルXPathエクストラクター*が登場します。 - エクス **トラクタータイプ** ドロップダウンメニューで**XPath**をクリックします。 - オプションとして、このエクストラクタのロジックが特定のパターン[に一致するURL](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/configuring-document-extractors.html#UUID-f9b686c5-2e0d-dee3-93fc-9d567475afee_section-idm4597072673881633832915676016 "URLs to match")にのみ適用されるようにするために、**URLを「Match**」に設定してください。これを行うには、「**URLs To Match**」フィールドで「**Add Matcher**」をクリックし![Plus\_add\_\_grey.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/Plus_add__grey.png) 「Add Matcher」をクリックし、使いたい式の**タイプ**を選択し、その式の**値を**入力してください。 5. 属性の抽出方法を定義するには、**タグの**セクションで最初の[タグ](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/additional-configurations-and-settings/crawler-tags.html "Crawler tags")の横にある「 **![pencil\_grey.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/pencil_grey.png) 編集**」をクリックしてください。通常は*コンテンツ*タグです。 いくつかの属性と対応するXPath抽出式のリストが表示されます。Searchはこれらのサンプル属性と表現を提供し、設定の助けになります。 > !注ドキュメントエクストラクタでは、それぞれがユニークなタグにリンクされた複数のタグガーを作成できます。このようにして、各タグ付け者は以下の通りになります: > > - 索引文書のセットを生成します。 > > - 複数のルールを持つことができ、それぞれのルールが1つの属性の抽出ロジックを定義します。 > > > 例えば、5つのルールを持つタグ付け器は、それぞれ*5*つの属性を持つ*1*つの文書セットを生成します。 > > 3つのタグ付け器でそれぞれ1つのルールを持つと、それぞれ*1つの*属性を持つ*3*つの文書セットが得られます。 6. この抽出器で不要なサンプル属性を削除するには、「**削除**![garbage\_icon.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/garbage_icon.png)」をクリックしてください。 7. サンプル属性の設定を編集するには、「**編集**![pencil\_grey.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/pencil_grey.png)」をクリックし、その後に変更を加えてください。 8. 新しい属性の値の抽出方法を設定するには、「**ルールを追加**![Plus\_add\_\_grey.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/Plus_add__grey.png)」をクリックし、以下の詳細を入力してください: - **Attribute**ドロップダウンメニューで、設定したい属性を選択します。 例えば、**Abstract**をクリックします。 - **「Value」**タイプのドロップダウンメニューで、属性値を固定値にするか式にするかを選択します。 例えば、「 **表現」**をクリックします。 - **EXPRESSION**フィールドにXPathの式を入力し、属性値を示します。 例えば、*abstract*という属性の値を取り出したい場合は、*abstract*という単語を含むすべての属性に含まれるすべての要素のpテキストから取得class、次のXPath式を入力します。 //\*contains(@class, "abstract")//p 9. オプションで複数の属性値を取得する方法を設定するには、![Plus\_add\_\_grey.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/Plus_add__grey.png) **選択機能を追加**してください。次に、2つ目の選択体の**Expression**フィールドに、属性値を生成するXPath式を入力します。 例えば、2つ目の選択肢として、div*クラス*内のすべてのp要素の*抽象*をテキストから取得したいtopic-content。これを行うには、以下のXPath式を入力します。 //div@class="topic-content"//p 複数のセレクタがある場合、Searchはそれらを時系列順に実行し、結果を出す式に到達したら停止します。 10. タグエディターで「 **保存**」をクリックします。次に「 **ドキュメント抽出器** 」ページで「 **保存**」をクリックします。 11. オプションで、別のタグの属性を抽出するには「**タグ付け![Plus\_add\_\_grey.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/Plus_add__grey.png)追加**」をクリックし、**タグ**のドロップダウンメニューでタグをクリックしてください。その後、ステップ7から9を繰り返します。 12. **ドキュメント抽出器**のページで、**保存**をクリックします。 ## クローラーのスケジュールを決めてください クローラーのスケジュールをつけるには: 1. 左側のペインで「**Crawler Scheduler**」をクリックし、その後「**Crawler Scheduler**」セクションで「 **![pencil\_grey.png](https://doc.sitecore.com/api/markdown-image/search/ja/users/search-user-guide/images/pencil_grey.png) 編集**」をクリックします。 2. **STARTS**ドロップダウンリストで、以下のオプションをクリックしてください: - *Anytime* - スケジュールをできるだけ早く始めたいなら。 - *Specific Date* - 特定の日付からクロールを開始したい場合は。また、日付選択器で日付を選択する必要があります。 3. (任意)**REPEAT** ドロップダウンリストで、一度だけクロールするには「 **DOES NOT REPEAT」** をクリックし、ページを閉じるには **「保存**」をクリックします。 4. クローラーをスケジュールで実行するには、 **REPEAT** ドロップダウンメニューで **「はい**」をクリックします。 5. 「 **毎回繰り返し」**のドロップダウンリストで、クロールの頻度を定義するために: - 繰り返しカウントのドロップダウンリストで、 *1* から *99*までの値をクリックします。 - 区間ドロップダウンリストで、次の中から「 *時間*」「 *日*」「 *週*」の中から値をクリックします。 6. ステップ2で特定の日付からスケジュールを開始した場合、クロール開始時刻を定義するために、 **RUN TIME** ドロップダウンリストで開始時間をクリックしてください。 7. 「 **終了日** 」ドロップダウンメニューで、クローラースケジュールの終了を設定するには、以下のオプションからクリックしてください: - *Never* - スケジュールを無期限に続けたいなら。 - *Specific Date* - スケジュールを特定の日に終了させたい場合は、また、日付選択器で日付を選択する必要があります。 8. Click **Save**。 ## ソースへの更新を公開する 最初のクロールとインデックスを始めるには、ソースを公開する必要があります。また、ソースに変更を加えるたびにソースを公開する必要があります。 情報源を公開するには: 1. メニューバーで「 **Sources**」をクリックしてください。 2. 公開したいソースをClickで「 **公開**」をクリックします。 3. **ソース公開**ダイアログで、このソースの[再クロール](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/keep-indexes-up-to-date.html "Keep indexes up to date")をSearchしたい場合は、「**公開後にソース再クロールをトリガー**」チェックボックスを選択してください。 4. Click **Publish**。