ウェブクローラーの設定

ウェブクローラーソースを作成する

ウェブクローラーのソースを作成するには:

1. メニューバーで「 Sources」をクリックしてください。
2. Click 情報源を追加してください。
3. SOURCE NAMEフィールドにソースの名前を入力します。
4. DESCRIPTION欄で、設定したいソースを数行入力してください。
5. CONNECTORドロップダウンリストで「Web Crawler」をクリックします。
6. Click Save。エラーがなければ、Searchは新しいソースを作成します。

クローラー設定の設定

ウェブクローラーの設定には、クロールトリガーの定義やクロールする最大URL数の指定が含まれます。

!注クロールが許可されているドメインを指定することをお勧めします。そうしないと、ウェブクローラーはURLの開始点からすべてのリンクをたどってしまい、パフォーマンスに悪影響を及ぼす可能性があります。

クローラー設定の設定:

1. メニューバーで「 Sources 」をクリックし、作成したソースをクリックしてください。

2. 左側のペインで「Web Crawler」をクリックしSettings「Web Crawler Settings」セクションで「 編集」をクリックします。

3. ウェブクローラーのトリガーを設定するには、TRIGGER TYPEドロップダウンリストから、Request、Sitemap、Sitemap Indexのいずれかを選択します。

4. URLまたはURLs欄にサイトマップのURLを入力します。

   例えば、*https://doc.sitecore.com/search/sitemap.xml*を入力するとします。

   !注サイトマップやサイトマップのインデックスを選択すると、複数のURLを追加できます。

5. クローラーがクロールするURLの深さと数を設定するには:

   • 最大深度フィールドで、クローラーがURL間進んでほしい最大レベル数を入力します。

     例えば、5を入力します。

   • MAX URLsフィールドには、クローラーがクロールできる最大URL数を入力します。クローラーが抜け落ちないURLを確実にするために大きな数を入力してください。

     例えば、5000を入力するとします。

6. 特定のURLパターンをクローラーの範囲から除外するには、「 除外パターンを追加」をクリックします。次に、TYPEドロップダウンメニューでGlob式 または 正則表現を選択します。 VALUEフィールドで、除外するURLを一致させる式を入力します。

   例えば、クローラーが検索ページをクロールするのを防ぐには、以下のGlob式を入力してください:

   **/search/**

7. TIMEOUTフィールドには、クローラーが応答を待つ時間(ミリ秒単位)を入力します。

   例えば、5000を入力してください。これにより、クローラーはクロールするすべてのURLから応答を得るために5000ミリ秒、つまり5秒間待つことになります。

8. オプションでヘッダーを追加するには「 Add Header」をクリックしてください。次に、Keyフィールドにコンテンツが期待するユーザーエージェントの名前を入力します。 Valueフィールドに、コンテンツが期待するユーザーエージェントの値を入力してください。このセキュリティ対策により、Searchクローラーのみがデータをクロールでき、他のクローラーは行えません。

   例えば、キーにuser-agent、値にsitecorebotを入力します。

9. Click Save。

属性の抽出値

ウェブクローラーは属性の値を抽出するためのさまざまな方法を提供しています。どの方法を選ぶかは、値の場所やアクセス方法によって異なります。

!注1回のクロールで複数のエンティティの値を抽出するには、ウェブクローラーを高度なウェブクローラーに変換する必要があります。ウェブクローラーは1つの エンティティの値しか抽出できません。

属性に対して、次の値を設定します:

• ウェブページのヘッダーセクションにあるメタタグから抽出されます。
• XMLドキュメントを走査して抽出します。
• クローラーでインデックスされたすべてのアイテムで同一です。

設定を簡素化するために、ウェブクローラーはXPathメソッドを使って タイプ、URL、名前、記述の値を抽出するように事前に設定されています。 EXTRACTION TYPEドロップダウンリストで別のタイプを選択することで、いつでもメソッドを変更することができます。

エンティティ内のすべての属性の値の抽出を編集または設定するには、以下のタブで説明されている手順をご利用ください。

::::タブ:::tab{title="Meta tag"}{ .notintoc }

ウェブページのヘッダーセクションのメタタグから値を抽出するには、Meta Tag抽出メソッドを使う必要があります。

属性の値を抽出するには、Meta Tagメソッドを用いて著者を呼び出します:

1. 左側のペインで「Attribute抽出」をクリックし、Attribute抽出セクションで「編集」をクリックします。

2. Attribute抽出ページのメニューバーで「追加Attribute」をクリックしてください。

3. 属性セレクターで、抽出したい属性の横にある「 Add 」をクリックし、下部のAddをクリックします。

4. 設定したい属性の横、タイプ****ドロップダウンメニューで「Meta Tag」をクリックします

   例えば、著者の横にあるMetaタグをクリックしてください。

5. VALUE欄に、使いたいメタタグまたはプロパティタグの名前を入力します。

   例えば、著者を入力すると。

   これを行うと、まずSearch //meta@name='author'/@contentを作成して実行します。

   この式から値が得られなければ、//meta@property='description'/@contentを生成して実行します。

6. Click Save。

::::::tab{title="XPath"}{ .notintoc }

XMLドキュメントの要素を順次移動して値を抽出するには、XPath抽出メソッドを使う必要があります。

属性nameの値を抽出するには、のXPathメソッドを用います:

1. ソースSettingsページで、抽出Attribute横の**「編集**」をクリックしてください。

2. 抽出したい属性の隣で「 抽出タイプ 」ドロップダウンメニューをクリックし、その後XPathをクリックします。

   例えば、名前属性の横にあるXPathをクリックします。

3. VALUE欄に使いたいXPath式を入力します。

   例えば、div[@class='wy-menu-vertical']/pと入力します。これにより、ページの最初の

   タグの

   タグ内のテキストに、名前属性のclass値wy-menu-verticalを割り当てます。

4. Click Save。

::::::tab{title="Fixed"}{ .notintoc }

このソースでインデックスされたすべてのアイテムに対して同じ値を設定したい場合、Fixed抽出方法を使う必要があります。

例えば、クローラーが特定のブランドBrandの商品をインデックス化する場合、固定方法を使って、すべてのクロールアイテムのブランド属性の値としてBrandを設定することができます。

型属性に固定値を使う場合:

1. 左側のペインで「Attribute抽出」をクリックし、Attribute抽出セクションで「編集」をクリックします。

2. 編集したい属性の隣で「 抽出タイプ 」ドロップダウンメニューをクリックし、「 修正済み」をクリックします。

   例えば、タイプ属性の横にある**「固定」**をクリックします。

3. VALUEフィールドに、この属性に使用する定数を入力します。

   例えば、商業の項目です。

4. Click Save。