Request抽出ツール
このページの翻訳はAIによって自動的に行われました。可能な限り正確な翻訳を心掛けていますが、原文と異なる表現や解釈が含まれる場合があります。正確で公式な情報については、必ず英語の原文をご参照ください。
要求抽出器は、クローラーがクロールするURLの追加リストを作成します。クローラーが、元の開始点であるトリガーに従ってインデックスを作成する必要があるすべてのコンテンツに到達していないことがわかった場合は、要求抽出器を使用します。リクエスト抽出器は、トリガー出力を入力として使用するJavaScript関数です。
たとえば、ソースコンテンツにすべてのHTMLページを含むサイトマップがあり、そのサイトマップURLをトリガーとして使用するとします。ただし、一部のページにはPDFコンテンツが埋め込まれています。サイトマップにはPDFのURLは含まれていません。この場合は、PDFコンテンツのみをクロールするURLを生成するようにリクエスト抽出ツールを構成します。
Request抽出器は、APIクローラーを構成するときに非常に重要です。APIクローラーの場合、トリガーはURLではなくJSONを返します。これを処理するには、トリガーの出力を使用し、APIクローラーがクロールするURLまたはAPIエンドポイントを返すようにリクエスト抽出器を構成します。
リクエスト抽出器を設定するには、クロールするURLまたはAPIエンドポイントのリストを返すJavaScript (JS) 関数を追加します。
クローラーの要求抽出器を定義するには、次の設定を構成します。
|
設定 |
形容 |
|---|---|
|
Name |
要求抽出器の意味のある名前。 |
|
URLs to Match |
これはオプションの設定です。 |
|
JS Source |
クローラーがクロールするURLまたはAPIエンドポイントを生成するJavaScript関数。 |