ドキュメント抽出器の設定

Sitecore Searchは、URLまたはドキュメントからインデックスドキュメントを作成する前に、すべての必須属性を抽出できる必要があります。必須属性の値を抽出できない場合、そのURLまたはドキュメントにはインデックスが付けられません。

必須属性には、すべてのドメインに必須の属性と、ドメインにのみ必須の属性の2種類があります。

すべてのドメインには、次の必須属性があります。

これらの属性に加えて、ドメインには必須として構成された他の属性がある場合があります。抽出方法も設定する必要があります。

ドキュメント抽出器が、URLが定義されたパターンに一致するページまたは文書のみを抽出するようにするには、URLs to Matchを設定します。

正規表現、Glob式、またはJavaScript関数 を使用して、URLパターンを定義できます。

この設定の一般的な使用例は、ソースコンテンツの領域ごとに異なる抽出器を作成することです。たとえば、HTMLページ用のドキュメント抽出ツールと、PDFコンテンツ用のドキュメント抽出ツールを作成できます。

リダイレクトの場合は、リダイレクトされたURLを含めるようにURLs to Matchを設定します。

ソースによってインデックスが付けられたすべてのドキュメントで属性に定数値を持たせる場合は、この属性に固定値を指定できます。つまり、すべてのインデックス文書には、この属性に対して同じ事前定義値があります。クローラーは、ページ・メタデータからこの属性値を抽出しません。

この方法は、すべてのインデックス文書で同じ値を持つ属性が必要なが、その属性値がコンテンツメタデータで使用できないか、一部のページでのみ使用可能であるか、または異なるページで異なる値を持つ場合に便利です。

一般的な使用例は、type属性に固定値を指定することです。たとえば、銀行Webサイトのコンテンツをインデックス化する2つのソースがあるとします。1つのソースは商業銀行セクションのコンテンツにインデックスを付け、もう1つのソースは消費者銀行セクションのコンテンツにインデックスを付けます。 type属性を処理する1つの方法は、最初のソースに固定値commercialを指定し、2番目のソースにconsumerを指定することです。

HTMLメタタグまたはOGタグを使用して属性値を抽出するには、コンテンツを属性値として使用するメタタグまたはOGタグの名前をSearchに指定するだけです。次に、Searchは、属性値に評価されるXPath式を内部的に構築します。

このメソッドは、属性値がページヘッダーにあり、Searchが単純なXPath式を使用して属性値にアクセスできる場合に使用することをお勧めします。

HTMLメタタグまたはOGタグを入力すると、内部で行われるため、Searchが作成するXPath式は表示されません。ただし、この属性抽出が機能するかどうかを評価できるように、Searchによって作成される式を知っておくと役立ちます。

次のセクションでは、入力したメタ タグまたはOGタグからSearchでXPath式を作成する方法について説明します。

HTMLメタタグの使用例

まず、Searchは、メタ タグ名を入力したことを前提としたXPath式を構築します。その式で結果が得られない場合、Searchは、プロパティ名を入力したことを前提としたXPath式を作成します。

たとえば、authorと入力すると、Searchは最初にXPath式 //meta@name='author'/@contentを作成します。この式が値を指定すると、Searchは停止します。この式が値を指定しない場合、Searchは次のXPath式 //meta@property='author'/@contentを構築します。

OGタグの使用例

og:site_nameと入力するとします。この語句には「OG」が含まれているため、SearchはOGタグを入力したと想定し、次のXPath式を作成します。

//meta@property='og:site_name'/@content

属性値に評価されるXPath式を使用する場合は、XPathドキュメント抽出器を使用します。

XPathを使用して属性を抽出するには、次の設定を使用します。

JavaScriptを使用して属性を抽出するには、クローラーが各属性の値を取得する方法を定義する関数を追加します。通常、JavaScriptドキュメントは、XPath式では属性の値を抽出するのに十分ではないシナリオで使用します。

たとえば、ページメタデータから取得したURLの一部を属性として保存する前に置き換える場合は、JSエクストラクタを使用する必要があります。また、JavaScript関数を使用して複合属性を作成する、つまり、複数の既存の属性の値を組み合わせて新しい属性を作成することもできます。

設定を支援するために、Searchタグからdescription、name、type、およびURL属性の値を取得する次のサンプルJavaScript関数を追加meta 。

function extract(request, response) {
    $ = response.body;

    return [{
        'description': $('meta[name="description"]').attr('content') || $('meta[property="og:description"]').attr('content') || $('p').text(),
        'name': $('meta[name="searchtitle"]').attr('content') || $('title').text(),
        'type': $('meta[property="og:type"]').attr('content') || 'website_content',
        'url': $('meta[property="og:url"]').attr('content')
    }];
}

この関数を編集したり、新しい関数を貼り付けたりすることができます。

より複雑なJavaScript関数用にJavaScriptエクストラクタを設定する方法 のトピックを参照してください。

JSONPathドキュメント抽出器を使用して、JSONデータから属性値を抽出します。

JSONPathを使用して属性を抽出するには、次の設定を使用します。

..placeholders['headless-main']..fields.Description.value

..placeholders['headless-main']..fields.Text.value

CSSクエリを使用して属性値を抽出する場合は、CSSドキュメント抽出器を使用します。XPathで抽出できるHTMLタグとは異なり、CSSタグはページソースに表示されません。たとえば、タイトルや画像はCSSタグ内にある場合があります。

CSS式を使用して属性を抽出するには、次の設定を使用します。