ウェブサイト全体をクロールするベストプラクティス

クローラーを作成してください

• クローラーの種類がすべての検索可能な項目( ウェブクローラーまたはAPIクローラー)に適切であることを確認してください。
• クローラーの基本設定(名前、URL、タイプ)をすべて設定してください。

設定の設定

• クロールするすべてのURLとその認証情報を含めてください。こうすることで、すべてのアイテムがクロールされ、インデックス化されます。
• クローラータイプがURLやエンドポイントですべてのアイテムタイプをインデックスできるか確認してください。
• 必要に応じて、PDFや画像、ローカライズされたコンテンツの エクストラクターでクローラー をサポートしてください。

ドキュメント抽出器を割り当てる

• ドキュメントエクストラクターがクロールされたアイテムから値を抽出できるか確認してください。例えば、XPathやJSONなどです。
• 文書抽出器が正確に望ましい値を抽出しているか検証・検証します。

トリガーの設定

• サイトマップを含め、クロールの トリガーを設定し ましょう。
• クローラーは週に一度稼働するようにスケジュールしてください。
• サイトのパフォーマンスへの影響を最小限に抑えるために 、トラフィック時間を低 く設定しましょう。

!注サイトマップのトリガーは、サイトマップ内の各URLの最終修正日(lastmod)フィールドを活用します。これによりインデックス化の速度が向上し、コンテンツ更新の効率が向上します。

タグ追加

• 分類や優先順位付けのニーズに応じて、クローラーに タグを追加 してください。

デフォルト設定と制限設定

パフォーマンスを向上させるために、クローラー設定時に以下のデフォルトと制限が適用されます:

舞台設定

デフォルト

Limit

タイムアウト

10,000ms

180,000ms(3分)

最大深度

2

5

並列性

1

10

遅延

0

5000ms

最大待ち時間( Render JS が有効の場合、WebクローラーのみAdvance)

2000ms

60,000ms(1分)