---
title: "ウェブサイト全体をクロールするベストプラクティス"
slug: "best-practices-to-crawl-complete-websites"
abstract: "Sitecore Searchで完全なウェブサイトをインデックスするためにクローラーを設定するためのベストプラクティス。"
---
# ウェブサイト全体をクロールするベストプラクティス

このトピックでは、ウェブサイト全体のインデックス作成やコンテンツ更新の記録を準備する際に考慮すべき点について説明します。週に一度行うことをお勧めします。

## クローラーを作成してください

-   クローラーの種類がすべての検索可能な項目( [ウェブクローラーまたはAPIクローラー](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing/crawler-specifications.html "Crawler specifications"))に適切であることを確認してください。
-   クローラーの基本設定(名前、URL、タイプ)をすべて設定してください。

## 設定の設定

-   クロールするすべてのURLとその認証情報を含めてください。こうすることで、すべてのアイテムがクロールされ、インデックス化されます。
-   クローラータイプがURLやエンドポイントですべてのアイテムタイプをインデックスできるか確認してください。
-   必要に応じて、PDFや画像、ローカライズされたコンテンツの [エクストラクターでクローラー](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/configure-indexing.html "Configure indexing") をサポートしてください。

## ドキュメント抽出器を割り当てる

-   ドキュメントエクストラクターがクロールされたアイテムから値を抽出できるか確認してください。例えば、XPathやJSONなどです。
-   [文書抽出器が正確に望ましい値を抽出しているか検証・検証します。](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/additional-configurations-and-settings/validate-extractors.html "Validate extractors")

## トリガーの設定

-   サイトマップを含め、クロールの [トリガーを設定し](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/additional-configurations-and-settings/configure-triggers/create-a-sitemap-trigger.html "Create a sitemap trigger") ましょう。
-   クローラーは週に一度稼働するようにスケジュールしてください。
-   サイトのパフォーマンスへの影響を最小限に抑えるために [、トラフィック時間を低](https://doc.sitecore.com/search/ja/users/search-user-guide/monitor-performance.html "Monitor performance") く設定しましょう。

> !注サイトマップのトリガーは、サイトマップ内の各URLの最終修正日(lastmod)フィールドを活用します。これによりインデックス化の速度が向上し、コンテンツ更新の効率が向上します。

## タグ追加

-   分類や優先順位付けのニーズに応じて、クローラーに [タグを追加](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/additional-configurations-and-settings/crawler-tags/use-basic-tags-to-get-attributes-from-one-entity.html "Use basic tags to get attributes from one entity") してください。

## デフォルト設定と制限設定

パフォーマンスを向上させるために、[クローラー設定](https://doc.sitecore.com/search/ja/users/search-user-guide/index-items/additional-configurations-and-settings/configure-crawler-settings.html "Configure crawler settings")時に以下のデフォルトと制限が適用されます:

舞台設定

デフォルト

Limit

タイムアウト

10,000ms

180,000ms(3分)

最大深度

2

5

並列性

1

10

遅延

0

5000ms

最大待ち時間( **Render JS** が有効の場合、WebクローラーのみAdvance)

2000ms

60,000ms(1分)