ローカライズされた高度なWebクローラーを構成する

メニュー バーで、Sources > Add Sourceをクリックします。

SOURCE NAMEフィールドに、ソースの名前を入力します。たとえば、「Doc site web crawler」と入力します。

DESCRIPTIONフィールドに、構成するソースを説明する行を数行入力します。たとえば、「Web crawler to crawl all pages of the doc site」と入力します。

CONNECTORフィールドで、作成するソースのタイプとしてAdvanced web crawlerをクリックします。

Click Save。エラーがない場合、Searchは新しいソースを作成します。

Source Settingsページで、Advanced Web Crawler Settingsの横にある Editをクリックします。

必要に応じて、ALLOWED DOMAINSフィールドに、クローラーが保持するドメインを入力します。これは、WebクローラーがSitecoreドキュメント ドメインのみをクロールし、リンクされている可能性のある外部サイトをクロールしないようにするために行います。

例えば、WebクローラーがSitecoreドキュメント・ドメインのみをクロールし、リンクされている可能性のある外部サイトはクロールしないようにするには、「www.doc.sitecore.com」と入力します。

クローラーがクロールするURLの深さと数を設定するには:

クローラーがナビゲーションCookieを受け入れないようにするには、ENABLE NAVIGATION COOKIES DURING CRAWLINGをオフにします。

複数のロケールでコンテンツをインデックス化する場合は、Cookieの受け入れを無効にすることが重要です。これは、Cookieによってクローラーが最初に検出されたロケールに制限され、クローラーがすべてのロケールでコンテンツにインデックスを付けない可能性があるためです。

Click Save。

Source Settingsページで、Available Localesの横にある Editをクリックします。

Available Localesページで、LOCALESフィールド内をクリックして、このドメインで使用可能なロケールのリストを表示し、このソースに使用するロケールをクリックします。

たとえば、fr_frをクリックしてja_jpとします。

Click Save。

Source Settingsページで、Locale Extractorsの横にある Editをクリックします。

ロケール抽出器を作成するには、Locale Extractorsページで次の操作を行います。

JS Sourceフィールドに、Cheerio構文のJS関数を入力してロケールを抽出します。

ロケールを抽出するためのサンプルJavaScript関数を次に示します。

function extract(request, response) {
    locales = ['fr-fr','ja-jp'];
    for (idx in locales) {
        locale = locales[idx];
        if (request.url.indexOf('/' + locale + '/') >= 0) {
            return locale.toLowerCase().replace('-','_');
        }
    }
    return "en_us";
}

この関数は、次のロジックを使用します。

Click Save。

Source Settingsページで、Document Extractorsの横にある Editをクリックします。

ドキュメント抽出ツールを作成するには、Document Extractorsページで次の操作を行います。

Taggersセクションで、Add Taggerをクリックします。

タグエディターには、description、name、type、image_urlおよびurl属性を返すサンプルJavaScript関数が表示されます。Searchでは、構成に役立つこのサンプルを提供しています。

ローカライズされたコンテンツを有効にするには、Localizedスイッチをオンにします。

タグ エディターで、属性値を返すJavaScript関数を貼り付けます。 id属性の値が、同じコンテンツのローカライズされたバージョン間で一定であることを確認します。

この関数はCheerio構文を使用し、オブジェクトの配列を返す必要があります。

たとえば、次のコードを貼り付けます。

function extract(request, response) {
    $ = response.body;
    url = request.url;
    locales = ['/fr-fr/', '/ja-jp/'];
    for (idx in locales) url = url.replace(locales[idx], '/');
    id = url.replaceAll('/', '_').replaceAll(':', '_').replaceAll('.', '_');
    return [{
        'type': $('meta[name="type"]').attr('content') || 'Others',
        'title': $('h1').text(),
        'subtitle': $('meta[name="description"]').attr('content') || $('section[data-component-name="Hero Banner"] div[class*="side-content"]>div>p, header div.lead p').text(),
        'product': $('meta[name="product"]').attr('content'),
    }];
}

このコードでは、次のロジックを使用して属性値を取得します。

Edit Taggersウィンドウで、Saveをクリックします。次に、Document ExtractorsページでSaveをクリックします。