私たちの知る検索は、キーワードやオートコンプリート、ナビゲーション機能によるものだが、検索機能のありようは現在急速に変化している。

生成AIや機械学習、大規模言語モデル（LLM）の進展が勢いづくなか、様々な種類の検索が可能になり、さらには従来型の検索も強化されているためだ。

とはいえ、LLMのトレーニングや導入、維持には大きなコストがかかることから――ChatGPTのような既存のLLMでは一般公開されているデータしか利用できない――、企業が自社独自のデータの検索（および保護）に利用するにはLLMは手が出しにくいものでもあった。

オープンソースの検索エンジンを提供する米Elasticは23日、新たなエンジン「Elasticsearch Relevance Engine」（ESRE）を発表。この状況を変えることを目指している。

ESREを利用することで、構造化データ／非構造化データを活用したカスタム生成AIアプリケーションの構築が可能だ。データを公開したりLLMに費用をかけたりする必要はない。

「GPT-3やBardのようなLLMは非常に大規模かつ高価なモデルで、大量の計算と広範なトレーニングを行っています」。Elasticのエンタープライズサーチ担当ゼネラルマネージャー、Matt Riley（マット・ライリー）氏は言う。また、トレーニングに使用する情報は基本的にインターネットから取得したものだ。「つまり、個人情報にはアクセスできないのが普通です」

意思決定や行動を支援するインサイトエンジン

米調査会社ガートナーによると、Elasticなどが提供しているインサイトエンジンは、検索機能と複合AIを組み合わせて豊富なコンテキスト情報による分析を行うものだという。リポジトリやWebサイト、データベース等の様々なソースから多種のデータを取得（いわゆる「ワイドデータ」）、一元的かつクエリ可能なインデックスに取り込んでいる。

「インサイトエンジンが仲介役となり、情報によって意思決定や行動を支援、データによって自動化を支援することが可能になっている」とガートナーは述べている。

企業内やWebサイト上での検索はもちろんのこと、質問に回答し、コンテキストに沿った助言を提供するほか、洞察や気付きを導き出すこともでき、その後の行動に生かすことが可能だ。

Elasticや、競合に当たるマイクロフォーカス、Squirro、IBM、マイクロソフト、Sinequa、Coveo、その他にもニッチな新興企業がひしめくエンタープライズサーチ市場は、ある予測では2030年までに世界で88億ドル（約1兆2,270億円）規模に達するとも言われている。

「大量のデータを効率よく管理し、業務能力を強化したいというニーズが企業・団体の間で高まっています。これによってこのような成長が実現する可能性があります」。米調査会社Grand View Researchが述べている。

また、企業が求めているのはデータ検索の時間短縮とセキュリティ対策の強化にもなるツールだとした。

Elastic、企業独自のデータを安全に活用

Elastic によると、ESREはAIを活用した検索機能をさらに一歩進めたエンジンだという。

企業が非公開のビジネスデータを扱うに当たり、生成AIを安全に活用すること、自社独自のデータを公開インターネットに送信することなく質問をすることが可能となった。

ベクトル検索機能および、意味とコンテキストを捉えるためのTransformer（機械学習モデル）を利用できる統合APIを備えている。検索結果を順位付けする機能「BM25f」は与えられたクエリに対する文書の関連性を推定する際に役立つ。ハイブリッド検索は複数の検索アルゴリズムを組み合わせ、検索の精度や関連性を向上させたものだ。ユーザー企業は自社のTransformerを使用したり、サードパーティのTransformerを統合したりすることもできる。

「企業は自社のアプリケーションやワークフローに生成AIを組み込んだ場合の可能性に夢中になっていますが、一方で、どの企業も生成AIの技術革新のスピードには対応しきれていません」。米調査会社RedMonkの共同創業者、James Governor（ジェームズ・ガバナー）氏は言う。

氏の指摘によると、ESREは「検索分野を事業の中核としているElasticがもともと持っている強みを土台とし、Transformerや自社製／サードパーティ製のLLMを簡単に導入できるようにしたもの」だという。

顧客の要望に対応

例として、大手ホームセンター向けのeコマース用検索エンジンについて考えてみよう。従業員がプラットフォームにこう質問したとする。「デトロイトにある1エーカー（約4,047平方メートル）の裏庭に灌漑システムを作るにはどうすればよいか」。Riley氏によると、手順や必要な用具、実際の企業のカタログや特定の拠点の在庫に基づいた機器リストの提供が可能だという。

ESREはすでに複数の企業が利用している。そのうち1社が米Relativityで、ESREと「Azure OpenAI Service」を組み合わせ、自社のeディスカバリー（電子証拠開示）製品に利用して検出結果の関連性を向上させる実験を行っているという。

「お客様やパートナー企業様が業界をリードする検索機能を保有できるようにすることは、データの組織化、事実の発見、その後の対応を支援するという当社のミッションに不可欠です」。RelativityのCPO（最高プロダクト責任者）、Chris Brown（クリス・ブラウン）氏が述べている。「当社は現在、ESREを利用した実験を行っておりますが、AIで拡張した非常に効果的な検索結果をお客様に提供できる可能性を感じており、社内は活気に溢れています」

急速に拡大するAI、対応を迫られる企業

AIのような技術が急速に発展している時期には、顧客が期待する内容や対話に利用したいと考えるソフトウェアはすぐに移り変わっていくとRiley氏は指摘する。ごく記述的で詳細な回答を提供できるChatGPTの普及は「途方もない熱狂を巻き起こしました――技術界隈を超えて、広く一般ユーザーにも伝わっていきました」と氏は言う。

「（それと同時に）企業が生成するデータの量も爆発的に増加しています。今後も増え続けるでしょう」とも話す。キーワードだけでなく、人間の使う自然言語に基づいたスマートな検索技術にコストをかけることが企業の義務になっているのだ。

Elasticがベクトル検索とTransformerに資金を投じ始めたのは2年ほど前のことだという。オープンソースコミュニティから寄せられたフィードバックがきっかけだった。

「当社はコミュニティの声に耳を傾け、注目され始めているトレンドに関しては可能な限り早い段階で行動を起こすようにしています」

従来型の検索がなくなることはない

様々な新しい機能が登場した一方で、キーワード検索やナビゲーション検索、オートコンプリートといった私たちの知る検索がすぐになくなるわけではない、と氏は言う。

「私たちが検索機能と聞いて思い浮かべるものは、長いこと大きく変わることはありませんでした。AIによって完全になくなってしまうことはないと思います」と氏。「急に世の中が変わり、誰もがPCに話しかけ、回答の読み上げを使うようになるとは考えていません」

LLMは既存の機能を無くすのではなく拡張することに利用できる。新旧の両立を図り、必要な時に適切な方を利用できるようにすることが可能だ。

とはいえ、LLMはまだ早期の段階にあり、急速に変化していると氏は言う。「こうした機能が1年後にどうなっているか、正確に予測することは困難です」と語った。

New Elastic search tool allows enterprises to harness generative AI