高度なウェブクローラーの設定

高度なウェブクローラーソースを作成する

ソースを作成するには:

1. メニューバーで「 Sources」をクリックしてください。
2. Click 情報源を追加してください。
3. SOURCE NAMEフィールドにソースの名前を入力します。
4. DESCRIPTION欄で、設定したいソースを数行入力してください。
5. CONNECTORドロップダウンリストで「Web Crawler(Advanced)」をクリックします。
6. Click Save。エラーがなければ、Searchは新しいソースを作成します。

クローラー設定の設定

ウェブクローラーの設定には、許可されるドメインや最大URLの定義などが含まれます。

クローラー設定の設定:

1. メニューバーで「 Sources 」をクリックし、作成したソースをクリックしてください。

2. 左側のペインで「Web Crawler」をクリックしSettings「Web Crawler Settings」セクションで「 編集」をクリックします。

3. オプションで、ALLOWED DOMAINS欄でクローラーがその中に残るドメインを入力します。これを行うことで、ウェブクローラーがSitecoreドキュメントドメインのみをクロールし、リンクされる可能性のある外部サイトはクロールしません。

   例えば、*www.doc.sitecore.com*と入力します。

4. クローラーがクロールするURLの深さと数を設定するには:

   • 最大深度フィールドで、クローラーがURL間進んでほしい最大レベル数を入力します。

     例えば、5を入力します。

   • MAX URLsフィールドには、クローラーがクロールできる最大URL数を入力します。クローラーが抜け落ちないURLを確実にするために大きな数を入力してください。

     例えば、5000を入力するとします。

5. 特定のURLパターンをクローラーの範囲から除外するには、「 除外パターンを追加」をクリックします。次に、TYPEドロップダウンメニューでGlob式 または 正則表現を選択します。 VALUEフィールドで、除外するURLを一致させる式を入力します。

   例えば、クローラーが検索ページをクロールするのを防ぐには、以下のGlob式を入力してください:

   **/search/**

6. 並列にクロールするワーカー数の設定と、リクエスト間のオプションの遅延設定:

   • PARALLELISM (WORKERS) ドロップダウンメニューの値をクリックして、同時にクロールしコンテンツをインデックスするスレッド(ワーカー)の数を定義できます。

     例えば、2を入力して2のワーカーだけを並列にクロールできるようにします。これはデフォルトの5ワーカーよりも少ないメモリを使用します。

   • オプションで、ワーカーを1つだけ設定している場合は、クローラーが次のインデックス対象URLにアクセスするまでの待機時間を定義できます。これを行うには、DELAY(MS) フィールドで時間をミリ秒単位で入力します。

     例えば、3を入力します。

7. TIMEOUTフィールドには、クローラーが応答を待つ時間(ミリ秒単位)を入力します。

   例えば、5000を入力してください。これにより、クローラーはクロールするすべてのURLから応答を得るために5000ミリ秒、つまり5秒間待つことになります。

8. オプションでヘッダーを追加するには「 Add Header」をクリックしてください。次に、Keyフィールドにコンテンツが期待するユーザーエージェントの名前を入力します。 Valueフィールドに、コンテンツが期待するユーザーエージェントの値を入力してください。このセキュリティ対策により、Searchクローラーのみがデータをクロールでき、他のクローラーは行えません。

   例えば、キーにuser-agent、値にsitecorebotを入力します。

9. オプションで、クローラーがナビゲーションクッキーを受け入れないようにしたい場合は、「追加Settings」セクションで「クロール中にナビゲーションクッキーを有効にする」をオフにしてください。

   ナビゲーションクッキーはクローラーの経路を追跡し、訪問したURLを記録します。時にはクッキーがクローラーを誤誘導して、以前に訪問したURLを再インデックスさせることがあります。しかし、クッキーは特に認証が必要なウェブサイトにとって重要です。

10. オプションで、クローラーがページのソースに加えてページ上のJavaScriptを待機してクロールしたい場合は、「追加Settings」セクションで**「Render JavaScript**」をオンにしてください。

11. Click Save。

トリガーの設定

高度なウェブクローラーの トリガー を設定することで、インデックス化するコンテンツを探す出発点となります。この手順で説明したリクエストトリガーの使用に加え、以下のようなトリガーを使用できます。

• JavaScript
• RSS
• サイトマップ
• サイトマップ索引

!注サイトマップのトリガーは、サイトマップ内の各URLの最終修正日(lastmod)フィールドを活用します。これによりインデックスの速度が向上し、コンテンツ更新の効率が向上します。

リクエストトリガーの設定:

1. ソースSettingsページでトリガーの横編集****をクリックしてください。

2. Click トリガーを追加してください。

3. トリガータイプドロップダウンフィールドで「Request」を選択します。

4. 任意で、Body欄にリクエストの本文を入力します。

5. オプションでヘッダーを設定するには、「 ヘッダーを追加 」をクリックし、キー フィールドと バリュー フィールドに値を入力してください。

   例えば、キーにuser-agent、値にsitecorebotを入力します。

6. オプションで、メソッド のドロップダウンメニューでPOST、PUT、またはPATCHをクリックしてください。デフォルトではGETが選択されます。

7. URLフィールドにトリガーとして使いたいURLを貼り付けます。

   例えば、ペースト https://dev.sitecore.net/

ドキュメントエクストラクタを作成する

ドキュメント抽出器の設定は、1つまたは複数のエンティティの属性の値を抽出する方法を指定します。

この手順で説明されているXPath文書エクストラクタタイプに加え、以下を利用できます:

• CSSドキュメントエクストラクタ
• JavaScript文書エクストラクタ

XPathドキュメントエクストラクタを作成するには:

1. メニューバーで「 Sources」をクリックしてください。

2. 高度なウェブクローラーを選択してください。

3. ソースSettingsページで**、ドキュメント抽出器の横に「編集**」をクリックします。

4. ドキュメントエクストラクターを作成するには、ドキュメントエクストラクター のページで:

   • 名前欄に、このエクストラクタの意味のある名前を入力します。

     例えば、Sitecoreの開発ポータルXPathエクストラクターが登場します。

   • エクス トラクタータイプ ドロップダウンメニューでXPathをクリックします。

   • オプションとして、このエクストラクタのロジックが特定のパターンに一致するURLにのみ適用されるようにするために、URLを「Match」に設定してください。これを行うには、「URLs To Match」フィールドで「Add Matcher」をクリックし 「Add Matcher」をクリックし、使いたい式のタイプを選択し、その式の値を入力してください。

5. 属性の抽出方法を定義するには、タグのセクションで最初のタグの横にある「 編集」をクリックしてください。通常はコンテンツタグです。

   いくつかの属性と対応するXPath抽出式のリストが表示されます。Searchはこれらのサンプル属性と表現を提供し、設定の助けになります。

   !注ドキュメントエクストラクタでは、それぞれがユニークなタグにリンクされた複数のタグガーを作成できます。このようにして、各タグ付け者は以下の通りになります:

   • 索引文書のセットを生成します。

   • 複数のルールを持つことができ、それぞれのルールが1つの属性の抽出ロジックを定義します。

   例えば、5つのルールを持つタグ付け器は、それぞれ5つの属性を持つ1つの文書セットを生成します。

   3つのタグ付け器でそれぞれ1つのルールを持つと、それぞれ1つの属性を持つ3つの文書セットが得られます。

6. この抽出器で不要なサンプル属性を削除するには、「削除」をクリックしてください。

7. サンプル属性の設定を編集するには、「編集」をクリックし、その後に変更を加えてください。

8. 新しい属性の値の抽出方法を設定するには、「ルールを追加」をクリックし、以下の詳細を入力してください:

   • Attributeドロップダウンメニューで、設定したい属性を選択します。

     例えば、Abstractをクリックします。

   • **「Value」**タイプのドロップダウンメニューで、属性値を固定値にするか式にするかを選択します。

     例えば、「 **表現」**をクリックします。

   • EXPRESSIONフィールドにXPathの式を入力し、属性値を示します。

     例えば、abstractという属性の値を取り出したい場合は、abstractという単語を含むすべての属性に含まれるすべての要素のpテキストから取得class、次のXPath式を入力します。

     //*contains(@class, "abstract")//p

9. オプションで複数の属性値を取得する方法を設定するには、 選択機能を追加してください。次に、2つ目の選択体のExpressionフィールドに、属性値を生成するXPath式を入力します。

   例えば、2つ目の選択肢として、divクラス内のすべてのp要素の抽象をテキストから取得したいtopic-content。これを行うには、以下のXPath式を入力します。

   //div@class="topic-content"//p

   複数のセレクタがある場合、Searchはそれらを時系列順に実行し、結果を出す式に到達したら停止します。

10. タグエディターで「 保存」をクリックします。次に「 ドキュメント抽出器 」ページで「 保存」をクリックします。

11. オプションで、別のタグの属性を抽出するには「タグ付け追加」をクリックし、タグのドロップダウンメニューでタグをクリックしてください。その後、ステップ7から9を繰り返します。

12. ドキュメント抽出器のページで、保存をクリックします。

クローラーのスケジュールを決めてください

クローラーのスケジュールをつけるには:

1. 左側のペインで「Crawler Scheduler」をクリックし、その後「Crawler Scheduler」セクションで「 編集」をクリックします。
2. STARTSドロップダウンリストで、以下のオプションをクリックしてください:
   • Anytime - スケジュールをできるだけ早く始めたいなら。
   • Specific Date - 特定の日付からクロールを開始したい場合は。また、日付選択器で日付を選択する必要があります。
3. (任意)REPEAT ドロップダウンリストで、一度だけクロールするには「 DOES NOT REPEAT」 をクリックし、ページを閉じるには 「保存」をクリックします。
4. クローラーをスケジュールで実行するには、 REPEAT ドロップダウンメニューで 「はい」をクリックします。
5. 「 **毎回繰り返し」**のドロップダウンリストで、クロールの頻度を定義するために:
   • 繰り返しカウントのドロップダウンリストで、 1 から 99までの値をクリックします。
   • 区間ドロップダウンリストで、次の中から「 時間」「 日」「 週」の中から値をクリックします。
6. ステップ2で特定の日付からスケジュールを開始した場合、クロール開始時刻を定義するために、 RUN TIME ドロップダウンリストで開始時間をクリックしてください。
7. 「 終了日 」ドロップダウンメニューで、クローラースケジュールの終了を設定するには、以下のオプションからクリックしてください:
   • Never - スケジュールを無期限に続けたいなら。
   • Specific Date - スケジュールを特定の日に終了させたい場合は、また、日付選択器で日付を選択する必要があります。
8. Click Save。

ソースへの更新を公開する

最初のクロールとインデックスを始めるには、ソースを公開する必要があります。また、ソースに変更を加えるたびにソースを公開する必要があります。

情報源を公開するには:

1. メニューバーで「 Sources」をクリックしてください。
2. 公開したいソースをClickで「 公開」をクリックします。
3. ソース公開ダイアログで、このソースの再クロールをSearchしたい場合は、「公開後にソース再クロールをトリガー」チェックボックスを選択してください。
4. Click Publish。