記事公開日
Azure OpenAI GPT Realtime APIを使って対人トレーニングアプリを作ってみた
この記事のポイント
Azure OpenAI GPT Realtime API の音声対話機能を活用して、対人スキルを鍛える 4 つのトレーニングアプリを社内の実験場として作成しました。AI が練習相手となることで、いつでも・何度でも本番さながらの対話練習が可能です。
- 4 つのシナリオを実装：
面接練習（受ける側・面接官側）、顧客対応・クレーム対応、英会話トレーニングの 4 アプリを実装。それぞれ AI がリアルタイムの音声で相手役を演じます。 - 細かい設定でリアルな練習体験：
採用レベル・顧客の感情状態・英語レベルなどを細かく設定できるため、自分の課題に合わせた難易度で練習できます。 - 練習後のフィードバック機能：
セッション終了後に AI による評価レポートや合否判定を受け取れます。繰り返し練習して改善につなげられます。
はじめに
面接、顧客対応、英会話——これらに共通するのは「相手がいないと練習できない」という課題です。一人でロールプレイをイメージしても、実際の場面に近い緊張感や予測不能なやり取りはなかなか再現できません。
Azure OpenAI GPT Realtime API（以下、Realtime API）を使えば、AI がリアルタイムの音声で応答する「練習相手」を作れます。テキストのやり取りではなく、実際に声を使って会話するため、本番に近い感覚でトレーニングができます。
今回は、この技術を活用した 4 つの対人トレーニングアプリを実験場として作成しました。それぞれのアプリの内容と、どのような場面で活用できるかをご紹介します。
1. Azure OpenAI GPT Realtime API とは
Realtime API は、音声入力・音声出力をリアルタイムで処理できる API です。通常のチャット API がテキストを送受信するのに対し、Realtime API はマイクからの音声をそのまま送信し、AI の応答も音声で返ってきます。
この低遅延の音声対話が可能になったことで、「会話の間」や「返答のテンポ」まで含めた自然な対話体験が実現できるようになりました。対人トレーニングアプリと非常に相性の良い技術です。
Realtime API の基本や実装については、以下の関連記事もあわせてご覧ください。本記事ではアプリケーションとしての活用例にフォーカスします。
2. 作ってみたアプリ一覧
今回実装した 4 つのアプリの概要です。いずれも AI が「相手役」を演じ、ユーザーが実際に声でやり取りしながら練習します。
| アプリ名 | 練習できること | AI の役割 | 主な対象者 |
|---|---|---|---|
| バーチャル面接官 | 採用面接の受け答え | 面接官 | 就活生・転職希望者 |
| 面接官トレーニング | 面接官としての質問・評価スキル | 応募者 | 採用担当者・管理職 |
| 顧客対応ノック | 顧客問い合わせ・クレーム対応 | 顧客 | カスタマーサポート担当者 |
| 英会話トレーニング | 英語での会話・ビジネス表現 | 英語講師 | 英語学習者・グローバル業務担当 |
3. アプリ紹介
各アプリの詳細をご紹介します。それぞれシナリオや難易度を細かく設定できるため、自分の課題や習熟度に合わせた練習が可能です。
① バーチャル面接官 — 面接練習
AI が面接官を演じ、ユーザーが応募者として採用面接の練習ができるアプリです。応募するポジションや会社情報、必須スキル・求める人物像を事前に設定することで、実際の面接に近い状況を再現できます。「自己紹介してください」から始まり、職務経歴・スキルの深掘り・志望動機・応募者からの逆質問まで、面接の一連の流れを通して練習できます。面接官の雰囲気（穏やかなスタイル、深掘りが厳しいスタイルなど）もテキストで指定できるため、想定している企業の面接に合わせた設定が可能です。
▼ 設定画面
応募ポジション・会社概要・必須スキル・求める人物像・面接官のスタイルなどを入力してからセッションを開始します。
▼ 対話中の画面
AI アバターと向き合いながら面接が進みます。残り時間はタイマーで表示され、「残り5分」「残り1分」のタイミングで AI が通知します。必須スキルを満たしていない場合は面接が早めに切り上げられます。
▼ フィードバックレポート
セッション終了後、「どの回答が曖昧だったか」「何を改善すべきか」など AI からのフィードバックを受け取れます。
② 面接官トレーニング
今度はユーザーが面接官側に立ち、AI が応募者を演じるアプリです。面接官として適切な質問を投げかけ、応募者の回答から適性を見極めるスキルを磨けます。
最大の特徴は、採用レベルを 5 段階で設定できる点です。「不採用」から「即戦力」まで AI の応募者レベルを指定することで、「採用したい候補者からしっかり情報を引き出せるか」「見送りにすべき候補者を適切に判断できるか」といった、さまざまな判断場面を体験できます。
| 採用レベル | AI の応募者の振る舞い |
|---|---|
| Lv.1 不採用 | 必須スキルが欠落・的外れな回答が多い |
| Lv.2 見送り | 基礎はあるが経験・意欲が不十分 |
| Lv.3 ボーダー | 長所もあるが懸念点も残る |
| Lv.4 採用 | 具体的な実績・意欲がある |
| Lv.5 即戦力 | 説得力のある回答・高いスキルを示す |
応募者のキャラクター特性（緊張気味・元気で積極的・落ち着いた・自信家タイプ）も設定でき、さまざまなタイプの候補者を相手にした面接を体験できます。また、履歴書・職務経歴書の画像をアップロードすると OCR で自動テキスト抽出し、その内容に基づいて AI が応募者として振る舞います。実際の候補者の書類を使ったシミュレーションも可能です。
▼ 設定画面
採用レベル・応募者のキャラクター特性・応募タイプを選択し、必要に応じて履歴書画像をアップロードします。
▼ 対話中の画面
AI が演じる応募者を相手に面接を進めます。採用レベルや特性に応じた自然な受け答えが返ってきます。
▼ 合否判定モーダル
セッション終了後、「通過 / 要検討 / 見送り」の判定とコメントを記録します。自分の評価判断を振り返る材料になります。
③ 顧客対応ノック — 顧客問い合わせ・クレーム対応
AI が顧客を演じ、ユーザーがカスタマーサポート担当者として対応練習をするアプリです。野球のノック練習のように、さまざまなケースを何度でも繰り返し実戦練習できることが名前の由来です。通常の問い合わせから強いクレームまで、6 種類のケースタイプと 5 段階の難易度を組み合わせることで、幅広い顧客対応シーンを体験できます。
| ケースタイプ | 顧客の特徴 |
|---|---|
| 穏やかに問い合わせる顧客 | 穏やかで協力的、情報を整理しながら話す |
| 軽度の不満を持つ顧客 | 不満はあるが口調は穏やか、誠実な対応で解決しやすい |
| 強い怒りをぶつける顧客 | 開口一番から怒鳴り型・攻撃的、圧力をかけてくる |
| 丁寧な説明が必要な顧客 | 同じことを何度も聞き返す、説明の工夫が必要 |
| 引き下がらない顧客 | 礼儀正しいが「でも」「だとしても」を繰り返し引き下がらない |
| 具体的な解決策を求める顧客 | 明確な補償がなければ絶対に納得しない |
対応場所（カスタマーサポート・電話窓口・店頭・医療受付・行政窓口・飲食サービスなど）も選べるため、自分の業務に近いシーンを再現できます。会社・サービスの概要や問い合わせシナリオを事前に入力すれば、より実態に即した練習が可能です。シナリオを空白にすると AI が自動でシナリオを生成します。
▼ 設定画面
ケースタイプ・難易度・対応場所・会社情報・シナリオを設定してセッションを開始します。
▼ 対話中の画面
顧客の感情ゲージ（ムードバー）がリアルタイムで変化します。難易度が高い設定では、怒りが限界に達すると顧客が一方的に通話を強制終了します。
▼ 対応結果の評価
セッション終了後、「解決できた / 部分解決 / 解決できなかった」で自己評価を記録します。
④ 英会話トレーニング
AI が英語講師を演じ、ユーザーと 1 対 1 で英会話練習ができるアプリです。レベル・トピック・サポートスタイルを組み合わせることで、超入門から上級者まで対応したパーソナライズされた練習ができます。
英語レベルは 6 段階で設定できます。レベル 1 では 1 文 8 語以下・毎文日本語訳つきのゆっくりした会話から始まり、レベル 6 ではネイティブスピードの完全イマージョン（英語のみ）まで対応しています。
トピックは「日常会話 / ビジネス / 旅行英語 / 意見・議論 / フリートーク」の 5 種類から選べます。フリートークでは自分でテーマを入力できます。また、サポートスタイルとして「困ったときだけ日本語補足するバランス型」や「徹底的に英語のみのイマージョン型」なども選べるため、自分の学習スタイルに合わせた練習が可能です。
▼ 設定画面
英語レベル・トピック・サポートスタイル・講師キャラクターを選択してセッションを開始します。
▼ 対話中の画面
AI 講師と英語で会話練習が進みます。レベルに応じて日本語補足の入り方やスピードが変わります。
▼ スコア・評価レポート
セッション後にスコアと評価レポートを確認できます。過去の履歴や進捗チャートも記録され、レベルアップの推奨タイミングも表示されます。
4. こんなアプリも作れそう
今回の 4 アプリを作る中で、「この仕組みを応用すればほかにも使えそう」というアイデアが次々と浮かびました。シナリオのアイデアと、実運用に向けた機能拡張の観点でご紹介します。
シナリオ案
- 電話対応訓練：一次受け・予約受付・問い合わせ対応など、電話口でのやり取りを練習するアプリ。新人スタッフの研修や、コールセンター向けトレーニングとして活用できます。
- プレゼン・デモ練習：AI が聴衆や顧客を演じ、プレゼン中の質疑応答を想定したシミュレーション。「想定外の鋭い質問」を繰り出す設定にすることで、本番前の準備に役立てられます。
- 1on1・フィードバック面談練習：マネージャーが部下との 1on1 や評価面談を練習するアプリ。「なかなか本音を話さない部下」や「フィードバックに過敏に反応するメンバー」など、難しいケースを体験できます。
- 採用説明会の練習：AI が就活生を演じ、会社説明会や個別面談で受ける質問に答える練習ができます。採用担当者や広報担当者向けのトレーニングとして活用できます。
- 多言語トレーニング：英語だけでなく、中国語・韓国語・スペイン語など、グローバル業務に必要な言語の会話練習アプリ。海外拠点とのやり取りが多い部門のトレーニングに対応できます。
機能拡張案
今回の実験場はシンプルな音声対話アプリですが、以下のような機能を加えることで、組織のトレーニング基盤として本格活用できます。
| 機能 | 内容 |
|---|---|
| データ保存・履歴管理 | 訓練結果を DB に保存し、過去のセッション・スコア・フィードバックをいつでも振り返れるようにする |
| 管理者ダッシュボード | 部署・チーム単位の受講状況や達成率を管理者が一覧で確認できるページを用意する |
| 必修管理・リマインド | 管理者が課題シナリオと受講期限を設定し、未受講者へのリマインド通知も合わせて管理する |
| 分析・可視化 | スコアの推移グラフや成長トレンドを表示し、個人・チームの上達を可視化する |
| 認証連携（Entra ID） | Microsoft Entra ID と連携し、組織のアカウントでそのままログインできるようにする |
| シナリオ管理 | 管理者が GUI 上でシナリオ・設定を追加・編集できる仕組みを設け、独自のトレーニング内容を柔軟にカスタマイズする |
| 振り返り（録音再生） | セッションの音声を録音・保存し、後から再生して自分の対応を振り返れるようにする |
まとめ
今回は、Realtime API を活用した 4 つの対人トレーニングアプリをご紹介しました。
音声でリアルタイムに AI と会話できる技術は、テキストベースのロールプレイとは異なる「本番に近い体験」を生み出します。面接・顧客対応・英会話など、相手がいなければ練習できなかった対人スキルのトレーニングを、いつでも・何度でも繰り返せる環境が実現できます。
「自社の業務に合ったトレーニングアプリを作りたい」「こんなシナリオで練習できるアプリがあれば使いたい」というご要望があれば、ぜひお気軽にご相談ください。業種・職種・社内課題に応じたカスタムシナリオの設計から開発まで、ご支援できます。
もし「このサービスについて知りたい」「Azure 環境の構築・移行」「AI アプリの開発相談」などのリクエストがございましたら、弊社お問い合わせフォームまでお気軽にご連絡ください。複雑な内容に関するお問い合わせの場合には直接営業からご連絡を差し上げます。また、よろしければ以下のリンクもご覧ください！
＜ QES 関連ソリューション/ブログ＞
※Microsoft Azure、Azure OpenAI Service、およびこのブログで使用されるその他の Microsoft 商標は、米国およびその他の国々における Microsoft Corporation の商標または登録商標です。
※OpenAI は、OpenAI, L.L.C. の商標または登録商標です。
