---
title: "ウェブクローラーの最適化"
slug: "web-crawler-optimizations"
abstract: "デルタクロールが検索結果の向上、効率化、インデックス速度の向上に役立つ方法。"
---
# ウェブクローラーの最適化

Sitecore Searchウェブクローラーはデルタクロールと呼ばれる最適化されたクロールをサポートし、検索結果のタイムリーなコンテンツ更新とインデックスの速度と効率の向上を実現しています。

一般的に、ウェブクローラーはコネクタ構成で提供されたすべてのURLをクロールします。デルタクロールでは、前回の実行以降に変更されたURLのみをクロールします。

これはサイトマップ内のlastmodフィールドを使って実現されます。

> !重要デルタクロールは、**サイトマップ** または**sitemap\_index**トリガーで、サイトマップ内のlastmodフィールドと深度を0に設定したウェブクローラーにのみ適用されます。

デルタクロールは以下の利点を提供します:

-   迅速なインデックス作成とコンテンツ変更の特定により、最新の検索結果を受け取ります。
-   ユーザーはSitecore Searchユーザーインターフェースから完全なクロールをトリガーして、包括的なサイトインデックス作成が可能です。
-   lastmod日付がなくても、定期的なフルクロールで更新を見逃さないようにします。

> !注サイトマップにlastmodフィールドのないURLが含まれている場合、前回のランの状態に関係なくクロールされます。

## デルタクロール中の削除されたURLの処理

デルタクロール中、Searchは現在のデルタクロールのサイトマップデータと、以前の成功したデルタクロールのサイトマップデータを比較し、削除されたURLを特定します。削除されたURLに関連する文書は、検索結果に古いコンテンツが表示されるのを防ぐため、自動的にインデックスから削除されます。

削除されたURL検出はデルタクロール時のみ発生し、完全なクロールは行いません。サイトマップ比較には以前のデルタクロールが必要なため、削除されたURL検出はデルタクロールが成功した後に行った場合にのみ行われます。

> !注4096文字を超えるURLは削除処理から除外され、引き続きインデックスされています。

> !重要管理者がプルソースを再クロールする場合、手動またはスケジュールクロールを通じて、Searchは元のコンテンツの最新データですべてのインデックス文書を更新します。この操作は、Ingestion APIを通じて行った更新が元のコンテンツに適用されていない場合、上書きします。これを防ぐために、Ingestion APIを通じての変更を加えた元のコンテンツを必ず更新することを推奨します。この同期により、今後のクロールでも変更が維持されます。