システムソリューション営業本部の原田です。

「Azure OpenAI Add your data」がAzure Build 2023で発表され、パブリックプレビューが開始されましたね。
今回は、この機能の使い方や実際の社内への導入までの活用方法をご紹介させていただきます。

Azure OpenAI Add your dataとは

Azure OpenAI Add your data（以下add your data）は、Azure OpenAI Studioのプレイグラウンドでファイル検索を組み合わせたChatGPTの検証が行える機能です。
俗に言うエンタープライズサーチというものです。
2023年6月21日時点ではプレビュー版となっています。

本来GPT自体は、ある時点のデータを学習したモデルであるため、それ以外の情報については答えてくれません。
しかし、Add your dataでは、ファイルデータを読み込んでくれるため、モデルが保持していない情報も答えてくれるというわけです。
ファイル検索は、Azure Cognitive Searchと連携します。

では実際に試してみましょう。

Add your dataの設定方法

まずはAzure OpenAI Studioを開きます。
アシスタントのセットアップに「Add your data(preview)」が表示されています。
「＋Add a data source」をクリックします。



3種類のデータソースを選択することができます。
・Azure Cognitive Search
・Azure Blob Storage
・Upload files

今回は「Azure Cognitive Search」を選択します。

「Azure Cognitive Searchサービス」の選択欄は、既に展開されているものから選択します。

同じく「Azure Cognitive Searchインデックス」についても既に作成済みのインデックスを指定します。

すべて選択が終わりましたら、「I acknowledge that・・・」にチェックを入れ「次へ」をクリックします。


次に「Index data field mapping」画面にて以下の項目を指定します。
・Content data
・ファイル名
・Title
・URL

ここでは、Cognitive Searchのインデックスデータのどの項目を使うのかを指定していきます。
設定が終わりましたら「次へ」をクリックします。


「Data Management(optional)」については、現時点では設定変更ができないようです。
今後セマンテック検索などが設定できるんですかね。
そのまま「次へ」をクリックします。


確認画面が出てきますので「保存して閉じる」をクリックします。


設定が保存されました。
設定を削除する場合は「Remove data source」をクリックすることで初期状態に戻すことができますので、間違えても何度もやり直しが効きます。

ChatGPT自体の設定

あまり設定自体は変更する必要が無いと思いますが、何点かだけポイントをお伝えしておきます。
①デプロイ モデル
　GPT-4を使うのか、gpt-35-turboを使うのかなど、使うトークン量(質問や回答、リファレンスの文字数)を考えて選択します。

②過去のメッセージを含む
　過去の質問と回答を何回含むかを選択します。
　GPTからの回答内容にさらに指示を出したい時などに利用します。もちろんトークンを消費するので無駄に最大値を設定しない方が良いでしょう。


③最大応答
　GPTエンジン側で受け付ける最大のトークン数を設定します。
　モデルにより最大値は異なりますが、②の過去メッセージはかなり影響すると思います。
　もちろんこれ以外にもシステムロールプロンプトなどもトークンに含まれますので考慮してください。

実際に問い合わせしてみる

今回検証に使用するファイルは「SKYSEA」という資産管理やセキュリティ対策を行える製品のマニュアルを使用しています。
とりあえず、SKYSEAのオプションとして良く使用される「画面録画オプション」について聞いてみます。

するとこんなエラーが表示されました。
同じようにエラーが表示されて、困っている方が多いのではないでしょうか？

質問の内容を変えたり、モデルをgpt4-32Kに変更したら回答が得られました。
おそらくですが、ファイルから拾ってくる文字数が多くて起こるエラーなのかなと思います。（違ったらごめんなさい）

また、Add your dataの設定自体が見えなくなってしまう現象も確認できています。
その場合は、一度ログオフ・ログオンを試すか、画面を再読み込みするなどすると、Add your data設定が出てきましたのでお試しください。

上手くいくと返答が戻ってきます。
その際、参考になった文章のリンクも付いてくるので、クリックすると右ペインにその中身が表示されます。


ちなみに、危険な言葉などはしっかりと排除してくれます。（たまに突然英語で返したりするのはご愛敬）


これにてAdd your data の紹介を終わりますが、
Add your dataはプレイグラウンドで使える機能ですので、あくまでも「手軽に検証ができる機能」とお考えいただくのが良いかなと思います。
さすがに数百人以上の企業でAzure portal自体で行える機能を本番環境として展開することは想像できません。

ここからが大事

サービスページを公開後、数十社の企業様から「AIチャットボット構築サービス」へのお問い合わせを頂いております。
今回Add your dataが追加されたことで、もう一段敷居を下げてAIに関するPoCを行うことができるようになりました。

ですので、今後私たちは以下のようにお客様を支援しAIとの共創へ導いていきます。

Step1：
　まだAzureテナントをお持ちでないお客様へサブスクリプションを提供します。
　弊社からサブスクリプションを提供させていただく場合には、Step2や3についても支援させていただきます。
　既に環境をお持ちのお客様に対しても支援が可能です。

Step2：
　Azure OpenAIの申請を支援します。
　ここまで基本的には費用は掛かりません。お気軽にご相談ください。

Step3：
　現在AI活用を検討されているお客様のご要件は、「ChatGPT」と「ファイル検索」の機能でほとんどの場合クリアできることが多いです。
　今回ご紹介した機能でそれを試せます。費用はAzureの従量課金分だけで済みますので、検証期間中で月々数千円～10万円程度で収まると思います。
　もちろん費用を頂いて色々と支援させていただくことも可能です。
　ここまでは、数人から十数人レベルで機能を確認されたい主に情シスやAI導入の検討を担当される方向けの環境です。

Step4：
　AIチャットボット構築サービスの導入を支援します。
　本格的に社内にChatGPTを用いたチャットボットを構築されたいお客様やファイル検索をChatGPTと連携したいお客様向けのサービスとなります。
　こちらは全社的にChatGPTをセキュアに展開したい場合に利用いただける有償サービスとなります。
　もちろんStep3よりもより本格的なPoCを行いたいお客様にも最適な環境となります。

Step5：
　ChatGPTおよびファイル検索(Cognitive Search)に関するチューニングを支援します。
　システムごとに求められる検索精度は異なると思いますので、必要な時間だけ支援するサービスとなります。
　こちらも有償サービスとなります。
　お客様のご予算や想定される期間に合わせてご提供させていただきます。

Step6：
　AI活用や既存システムとの連携、新サービス開発など、弊社にてAIに関するご支援をさせていただいたお客様に伴走させていただきます。
　こちらは個別見積の対応となります。

※Step5やその先のStep6においては、様々なポイントでAIの精度向上を目指すことができます。
　軽くそのあたりも触れておきます。

1.システムロールプロンプト:
Azure OpenAI(ChatGPT)の内容を変えることで回答結果や回答結果のフィルタリング等を行い精度向上を目指します。

2.インデキシング:
インデキシングは検索精度に大きな影響を与えます。
Azure Cognitive Searchでは、データソースからデータを取り込み、それを検索可能な形式に変換します。
このプロセスを最適化することで、検索精度を向上させることができます。

3.検索モード:
Azure Cognitive Searchでは、全文検索モードと単語検索モードを選択できます。
全文検索モードは、文書全体を検索対象とします。
一方、単語検索モードは、特定の単語やフレーズを検索対象とします。
検索モードを適切に選択することで、検索精度を向上させることができます。

4.ランキング:
Azure Cognitive Searchでは、検索結果のランキングをカスタマイズすることができます。
これにより、より関連性の高い結果を上位に表示することができます。

5.検索結果のフィルタリング:
Azure Cognitive Searchでは、検索結果をフィルタリングすることができます。
これにより、不要な結果を排除し、関連性の高い結果だけを表示することができます。

6.ファイル分割:
大きなファイルを小さなファイルに分割することで、検索精度を向上させることができます。
これは、特に大きなテキストファイルやPDFファイルを検索する場合に有効です。

7.AIエンリッチメント:
Azure Cognitive SearchのAIエンリッチメント機能を使用すると、検索インデックスに追加の情報を追加できます。
これには、キーフレーズ抽出、エンティティ認識、画像解析などの機能があります。
これらの情報を使用して、検索結果をより精度高くフィルタリングしたり、ランキングしたりすることができます。

まとめ

いかがだったでしょうか。
Add your data機能が提供されたことで、今現在検討しているAI活用に関する機能要件を満たすのか、システムの実現性はどれくらいあるのかが、気軽に試せるようになったのではないかと思います。もちろんその先には、これまで同様にシステム開発案件としてお客様も私たちも対応していくことになると思います。

すでに出来上がったChatGPT関連のパッケージやSaaSの導入も1つの選択肢だと思います。
完成度が高く魅力的な反面、パッケージやSaaSはカスタマイズ性が乏しいことが弱点でもあります。

私たちQESは最終的にお客様独自のご要件を満たすための個別AI開発案件の対応を支援していきます。
しかし、エンジニアリソースが限られているため、いきなりすべてのご要望に応えることもできません。
一緒にビジョンを共有いただけるお客様に対して、何かしらの支援ができれば幸いです。

ぜひこちらのサービスもご検討いただき、お問い合わせをお待ちしております。

Azure OpenAIはAzureでは「Cognitive Services」の一部に分類されています。
QESでは過去にCognitive関連のブログも投稿しておりますので、ご興味がある方はご覧になってください。

Cognitive関連ブログはこちら

※このブログで参照されている、Microsoft、Azure、Azure OpenAI、PowerAppsその他のマイクロソフト製品およびサービスは、米国およびその他の国におけるマイクロソフトの商標または登録商標です。
※その他の会社名、製品名は各社の登録商標または商標です。