【簡単】AI Builder のプロンプトを Copilot で作成

Copilotを使用するメリット・デメリット

Copilotを使用すること得られるメリット・デメリットはいくつか存在しますが、その中でも代表的なものを紹介いたします。

—メリット— 時間の大幅な短縮: プロンプトのアイデア出しから具体的な文言作成までCopilotが考えるため時短開発につながる 質の高いプロンプトの生成: プロンプトエンジニアリングのベストプラクティスに基づいた、効果的な指示文のアイデアを得ることができる アイデアの壁打ち相手に: 「こんなことをさせたい」という漠然としたイメージをCopilotに伝えることで、具体的なプロンプトの形に落とし込む手助けをしてくれる

—デメリット— 日本語での出力に未対応: Copilotが導き出したプロンプトは現状英語での出力のため、手作業で日本語に変換する必要がある 過度な自動化による業務理解度の低下: プロンプトの構造や動作原理を理解しないまま使うことになり、トラブル発生時の対応力が低下する可能性がある

あくまでも私の意見ですが、メリット・デメリットを踏まえても、デメリットを充分考慮した上であれば、プロンプトの指示文をCopilotに考えさせることは市民開発を活性化させる有効な手段であると思います。

作成アプリの紹介

実際にCopilotでAI Builder用のプロンプトを作成し、活用するにはどのようにすればよいのかを分かりやすく伝えるために、今回は「Power Automate のフローを解説するアプリ」をPower Apps、AI Builderを使用して1から作成してみました。

このシステムでは、登録者が Power Apps のキャンバスアプリを使って画像をアップロードします。
アップロードされた画像は、AI Builderによって解析され、画像の内容を説明する文章（解説文）が自動で生成されます。
その解説文は、Power Apps の画面上に表示される仕組みになっています。
つまり、画像をアップするだけで、AIが内容を読み取って説明してくれる便利なシステムです。
詳細は以下のアーキテクチャイメージをご確認ください。

CopilotでAI Builder用プロンプトを作成

ここからは、実際にAI Builderにアクセスをして、Copilotを使用してプロンプト文を作成していこうと思います。

１．AI Builderにアクセス　　
①Power Appsの画面左側メニューから「AI ハブ」をクリック
②「プロンプト」＞「独自のプロンプトを作成する」をクリック
③ プロンプトに名前を付ける
④「Copilot の使用を開始する(プレビュー)」に作成したいプロンプトの詳細を入力


⑤ 出力されたプロンプト文を確認(※今回は日本語に翻訳いたします)

あなたは、Power Automate のワークフロー画像を分析し、その中に含まれるトリガーとアクションを説明する任務を与えられています。

###指示事項

1. 提供された Power Automate の画像を注意深く調べてください。
2. ワークフローに描かれている各トリガーとアクションを特定してください。
3. 各トリガーとアクションについて、それが何をするのか、そして全体の自動化プロセスにどのように貢献しているのかを明確に説明してください。
4. トリガーとアクションの順序に基づいて、ワークフローの論理を段階的に説明してください。
5. 画像から視覚的に明らかなこと以上の推測は避けてください。

###ガイドライン

• 画像に表示されている要素のみに焦点を当ててください
• 各コンポーネントを明確かつ簡潔な言葉で説明してください
• ワークフローが実行される順序に従って説明を構成してください

###出力形式

Power Automate ワークフローの詳細なテキスト説明を提供してください。以下を含みます。

• トリガーの特定
• 各アクションの説明
• これらのコンポーネントをつなぐ流れと論理

Power Automate フロー画像をこちらに提供してください：{{コンテンツ}}

⑥　{{コンテンツ}}を削除し、[コンテンツの追加]＞[画像またはドキュメント]を追加する

⑦ 「テスト」「保存」をクリック

Power Appsの作成

① [空のキャンバスを使用して開始]をクリック


② [タブレット PC のサイズ]をクリック
③ [+ 新しい画面]＞[スクロール可能]をクリック


④ [Screen1]、[Canvas1]を削除
⑤ [LblAppName1]のTextプロパティをシステム名に変更 
　 下記画像の場合： "Power Automate解説アプリ"


⑥ [+ 挿入]＞[画像の追加]コントロールをクリック　
　 ※[画像の追加]コントロールとは、自分のデバイスから写真を撮影したり、画像ファイルをアップロードしたりできるもので、画像 と 画像の追加ボタンの 2 つのコントロールを含んでいます。


⑦ [データ]＞[+ データの追加]＞[作成したAI Builderプロンプト]を追加


⑧ [+ 挿入]＞[ボタン]コントロールをクリック


⑨ [Button1]のOnSelectプロパティにPredict(プロンプトを呼び出す)関数を入力 
　　　　　　　　　　　  _{変数名      　 　　プロンプト名　　　　　　　　　　　　　　　コントロール名}
　 下記画像の場合： Set(_output,blog_AIBuilderプロンプト.Predict(UploadedImage1.Image))


⑩ [+ 挿入]＞[テキスト ラベル]コントロールをクリック
　 ※[テキスト ラベル]コントロールとは、テキスト、数値、日付、または通貨などのデータを表示する際に使用します


⑪ [Label1]のTextプロパティに変数の中身を表示させる式を入力 
　 下記画像の場合： _output.Text


⑫ [Label1]のオーバーフローを[スクロール]に、表示モードを[ビュー]に変更

⑬ [保存]、[公開]をクリック

動作確認

AI Builderによる情報分析の精度や、安定性、業務への適用可能性などを総合的に評価しました。
テスト実行時の結果は以下のようになっております。

・概要：
このフローは、画像やPDF文書からテキストを抽出し、その内容をメールで送信することを目的としています。AI Builderのテキスト認識機能を活用し、抽出したテキストを整理して自動的にメール送信する一連の処理を自動化しています。

・トリガー：
「フローを手動でトリガーする」
このフローはユーザーが手動で開始します。つまり、必要なときにボタンを押して実行するタイプのフローです。

・アクションとステップ：
1. **Recognize text in an image**
　AI Builderの機能を使い、画像またはPDFからテキストを認識・抽出します。

2. **Initialize variable**
　抽出したテキストを一時的に保存するための変数（文字列型）を初期化します。

3. **Apply to each page**
　抽出したデータが複数ページに分かれている場合、各ページごとに処理を繰り返します（ループ処理）。

4. **Apply to each line**
　各ページ内のテキスト行ごとに、さらにループ処理を行います。

5. **Append to string variable**
　各行のテキストを、先ほど初期化した変数に順次追加していきます。これにより、全ページ・全行のテキストが1つの変数にまとまります。

6. **Get my profile (V2)**
　メール送信者の情報（自分のプロフィール）を取得します。

7. **Send an email (V2)**
　まとめたテキストを本文として、メールを自動送信します。

・データの流れ：
- フロー開始時に画像やPDFが入力され、AI Builderでテキストが抽出されます。
- 抽出されたテキストはページ単位、行単位でループ処理され、1つの文字列変数にまとめられます。
- その後、送信者情報を取得し、まとめたテキストをメール本文として送信します。

・重要ポイント：
- **AI Builderの設定**：画像やPDFの種類、認識精度など、AI Builderの設定が抽出結果に大きく影響します。
- **変数の初期化と追加**：テキストを正しくまとめるために、変数の初期化と「Append to string variable」の使い方が重要です。
- **ループ処理**：ページや行ごとにループを使うことで、複数ページ・複数行のデータも漏れなく処理できます。
- **メール送信設定**：送信先や件名、本文の内容など、メールアクションの設定も重要です。

このフローは、紙文書や画像データからテキスト情報を自動で抽出し、すぐにメールで共有したい場合などに非常に便利です。各ステップが連携し、手作業を大幅に削減できる仕組みになっています。

この結果から鑑みても、実際の業務にAI Builderを使用することは可能だと思います。

• 適切な出力結果 指示文の記載通りの出力◎
• 処理時間 1件あたり約14秒で処理が完了〇
• プロンプトの推測機能 折りたたまれた状態のコントロールを添付した場合にも推測をしてフローを作成できる〇
• 出力形式 Output形式 Markdown記法のため「**（ボールド）」などの記号が表示されてしまう上、フォントサイズが共通のため一目で内容を把握しづらい△
• 複数画像の添付 [画像の追加]コントロールが1つしかないことによって、規模の大きいフローを添付できない×

まとめ

この機能に慣れないうちは思った通りの出力にならず、プロンプトを何度もテスト・修正を行う必要があるかもしれません。
しかし、Copilotを利用すれば、AI Builderの効果的なプロンプトを作成することができ、簡単に業務に活かすことができるかと思います。
そのため、まずは身近なものから Copilot を利用してプロンプトを作成し、日々の業務をさらに自動化・効率化してみてはいかがでしょうか。

QES では Power Platform の開発支援、QAサポート、開発者教育、ガバナンス整備など、組織で Power Platform を活用するためのサポートを包括的にご提供しています。Power Platform 活用についてご興味がある／利用中だが課題を感じていらっしゃるお客様はまずはお気軽にお問い合わせください。

---

このブログで参照されている、Microsoft、Windows、その他のマイクロソフト製品およびサービスは、米国およびその他の国におけるマイクロソフトの商標または登録商標です。