頻繁に更新をクロールするベストプラクティス
日本語翻訳に関する免責事項
このページの翻訳はAIによって自動的に行われました。可能な限り正確な翻訳を心掛けていますが、原文と異なる表現や解釈が含まれる場合があります。正確で公式な情報については、必ず英語の原文をご参照ください。
このトピックでは、以前にクロールされインデックス化されたサイトの頻繁な新しい変更を記録したい場合の考慮事項について説明しています。
クローラーを作成してください
- 更新された項目に適したクローラータイプである ウェブクローラーかAPIクローラーかを確認してください。
- クローラーの基本設定(名前、URL、タイプ)をすべて設定してください。
設定の設定
- クローラーが動的または頻繁に変化するコンテンツのエリアのみに限定されているか確認してください。
- 対象エリアのすべてのURLとその認証情報を含めてください。
- クローラータイプがURLやエンドポイントですべてのアイテムタイプをインデックスできるか確認してください。
- 必要に応じて、PDFや画像、ローカライズされたコンテンツの エクストラクターでクローラー をサポートしてください。
ドキュメント抽出器を割り当てる
- ドキュメントエクストラクターがクロールされたアイテムから値を抽出できるか確認してください。例えば、XPathやJSONなどです。
- ドキュメントエクストラクタが段階的な変更を処理できるように設定されていることを確認してください。
- 文書抽出器が正確に望ましい値を抽出しているか検証・検証します。
トリガーの設定
- RequestまたはJavaScriptトリガーで増分更新を開始することが実装されています。
- スケジュールトリガーは、変更頻度に合わせて、毎時または数時間ごとに定期的に実行されるようにします。
- サイトのパフォーマンスへの影響を最小限に抑えるために 、トラフィック時間を低 く設定しましょう。
タグ追加
- 分類や優先順位付けのニーズに応じて、クローラーに タグを追加 してください。
この記事を改善するための提案がある場合は、 お知らせください!