【Microsoft Ignite 2024】[セッションレポート] BRK131 | Innovate with AI: govern, manage and secure your AI platform

はじめに

　こんにちは、DXソリューション営業本部 小出です。

　セッション「Innovate with AI: govern, manage and secure your AI platform」に参加したのでレポートいたします。

　本セッションでは、Microsoftのクラウド導入フレームワーク（CAF）を使用してAzure上でAIソリューションを導入するためのガイドラインが紹介されています。
　RajiniとStevenからは、Azureクラウド環境でAIワークロードを効果的に戦略立案、計画、設計、展開、管理、そしてセキュリティ対策を行うためのステップとベストプラクティスが説明されました。

セッションスピーカー

・Praveen Gururaja　Microsoft　Director,Business Strategy
・Rajani Janaki Ram　Microsoft　Tech Strategy Lead: AI Ready Infrastructure
・Stephen Sumner　Microsoft　Senior Content Developer

セッションの概要（Google翻訳）

AI を導入する準備はできていますか? このセッションでは、Azure Essentials AI 導入ガイダンスについて説明し、実用的な手順とベスト プラクティスを紹介します。ビジネス目標に沿った強固な基盤を確立し、堅牢なガバナンスを組み込んで信頼性が高く安全なワークロードを設計し、AI 展開を最適化して継続的なパフォーマンスと効率性を維持する方法を学習します。

セッション内容

過去18か月間、MicrosoftはAIの取り組みにおいてお客様と緊密に連携し、重要な学習インサイトとベストプラクティスを収集してきました。本日、それらのインサイトの共有と、それをデモのフレームワークにパッケージ化した方法について話がされました。




まずは「Vision and Value」ということで生成AI市場の今後と、AIトランスフォーメーションの価値について説明がありました。

・市場規模: 生成AIは、2032年までに1.3兆ドル規模に成長し、年間成長率(CAGR)は59.1%が予想されている。
・組織の関心: 多くの組織が生成AIに強い関心を持ち、ビジネス全体に広がる可能性を見出している。
・課題: 組織の35%しかAIからどのように価値を創出するかを理解していない。

AIトランスフォーメーションの価値
・収益向上:
　　効率向上により収益が25%増加。
　　戦略とエンゲージメントの改善により収益が4%増加。
・顧客満足度:
　　顧客満足度が12%向上。
・コスト削減:
　　コストを10%削減。
　　総支出を0.7%削減。
　　タスク完了速度が25%向上。
・リスク削減:
　　意思決定の質を40%向上し、リスクを低減。

全体として、生成AIは収益、コスト削減、顧客満足度、リスク管理といった多方面での価値を提供する可能性が示されています。




次にOrganizational Challenges (組織的課題)として生成AIを迅速に活用できない主な理由が話されました。
このスライドはとても重要なスライドです。生成AI導入の障壁を克服するためには、技術・人材・規制の整備が重要であることを示しています。

・経営層の理解・サポートが得られない
・社内のAI人材が不足
・そもそも活用すべきデータが整理されていなくサイロ状態
・投資効果が見えないので投資してくれない
というあたりは、いろんな会社で共通の課題ではないでしょうか？

ジェネレーティブAIを迅速に活用できない主な理由：

※ポイントのプラス (+)とマイナス (-)は、課題の重要性や懸念の度合いが過去の調査（2023年10月）と最新の調査（2024年2月）の間でどれだけ変化したかを示す。

技術的プラットフォームの未整備 (+10ポイント)
　ジェネレーティブAIを導入するためのテクノロジーが準備不足。

社内専門知識やリソースの不足 (+5ポイント)
　AIスキルや人材の不足が課題。

データの準備不足 (+4ポイント)
　AIの活用に必要なデータの整備が不足している。

投資のリターンが不確定 (+3ポイント)
　ジェネレーティブAIの導入による投資効果が不透明。

経営層のサポート不足 (-2ポイント)
　意思決定層のAIに対する理解と支援が欠けている。

知的財産の懸念 (-2ポイント)
　知的財産の取り扱いやリスクへの懸念。

品質・正確性の懸念 (例: 幻覚問題) (-3ポイント)
　AIのアウトプットに対する品質保証の課題。

規制の不確実性 (-6ポイント)
　法規制やコンプライアンスに関する懸念。

ユースケースの理解不足 (-7ポイント)
　ジェネレーティブAIの適用方法が不明確。

データセキュリティとプライバシーの懸念 (-10ポイント)
　セキュリティおよびプライバシーリスクが最大の障壁。

セキュリティおよびプライバシーリスクはクリアされて、実際のPoCや導入に関しての課題が増えてきています。

■カテゴリごとの課題
Platform Agility: 技術基盤の整備不足。
Cost Predictability: 導入コストと投資効果の不確定性。
Talent & AI Skilling: 人材不足とAIスキル開発。
Data Privacy & Regulations: 規制とプライバシーのリスク。
Business Value and ROI: ビジネス価値と投資効果の測定。




Rapid Advancements of Generative AI (生成AIの急速な進化)
生成AIの進化を示す技術的進歩とその適用領域が以下の形で説明されました。

モジュール
・Text (テキスト)
　テキスト生成やチャットボット、コード生成など、テキストを活用したAIの機能。
・Vision (ビジョン)
　視覚情報を活用した画像やビデオの生成。
・Real-Time Audio (リアルタイム音声)
　音声をリアルタイムで生成・活用する能力。

適用領域
・Text Generation (テキスト生成)
　人間らしいテキスト（記事、詩、小説、プログラムコードなど）の作成。
・Chatbot (チャットボット)
コンテキストに基づき、多ターン会話を維持できる高度な対話機能。
・Code Generation (コード生成)
複雑なコーディングタスクをサポートするため、複数のプログラミング言語でコードを理解・生成。
・Automation (自動化)
タスク自動化を促進するための外部システムの呼び出しや複雑な関数の生成。
・Human-Level Interactions (人間レベルのインタラクション)
音声や視覚を使用したリアルタイム会話や、物理的な世界をより包括的に理解することで、感情やニュアンスの認識を実現。

具体的な機能（Capabilities）
・Image & Video Generation (画像・動画生成)
革新的な画像や動画の生成能力。
・Function Calling (関数呼び出し)
外部APIとの連携や、実行可能な機能の呼び出し。
・Larger Context (大規模コンテキスト)
より広範なコンテキストを活用し、より深い理解を実現。
・Real-Time Audio Generation (リアルタイム音声生成)
即時の音声生成と音声認識能力。

全体像
生成AIは、テキスト、視覚、音声といった異なるモダリティにまたがり、それぞれの分野で急速に能力を拡大しています。特に自動化や人間レベルのインタラクションは、実世界での応用が広がる可能性を示唆しています。




LLMベースソリューションの進化について説明がありました。
単純なタスク処理から高度な意思決定や複雑なタスクの統合実行へと進化していて、
技術的進化により、複数のモダリティやエージェント間の協調が可能となり、実世界での複雑なユースケースへの対応力が高まっています。




Common Questions About Scaling AI Adoption (AI導入拡大に関する一般的な質問)
AIを企業や組織で大規模に導入する際に、よく挙げられる疑問点や課題が9つリストアップされました。

1. "How did Microsoft get AI Ready?"
マイクロソフトはどのようにAI導入の準備を整えたのか？

2. "How do I operationalize my AI solution?"
AIソリューションをどのように実運用化するのか？

3. "What is the baseline landing zone to get the AI solution running?"
AIソリューションを稼働させるための基盤（ランディングゾーン）は何か？

4. "How do I get my AI solution to safely access my data sources?"
AIソリューションがデータソースに安全にアクセスするにはどうすれば良いか？

5. "What are the networking requirements for my AI solution?"
AIソリューションのためのネットワーク要件は何か？

6. "How do we migrate and secure our estate to enable AI at scale?"
AIの大規模運用を可能にするために、どのように資産を移行し、安全性を確保するのか？

7. "How do I secure my AI solution?"
AIソリューションのセキュリティをどのように確保するか？

8. "How do I monitor the cost of the AI solution?"
AIソリューションのコストをどのようにモニタリングするか？

9. "What policies and protocols do I need to comply?"
準拠すべきポリシーやプロトコルは何か？

目的と背景
これらの質問は、AIをスケールする際の運用、セキュリティ、コスト管理、規制準拠などの主要な分野に焦点を当てています。多くの組織がAI導入時に直面する共通課題を反映しています。

全体的なポイント
　AI導入の成功には、明確なロードマップ、インフラ整備、セキュリティ対策、コスト管理、規制対応が不可欠で、他の企業（例: Microsoft）の成功事例を参考にすることで、導入プロセスを効率化できる可能性が示唆されています。




次に、Innovate with Azure AI Platform (Azure AIプラットフォームを活用したイノベーション)ということで、AIの導入準備に必要な主要な要素を3つのカテゴリに分けて説明されました。

1. Readiness and Foundation (準備と基盤整備)
　AI導入のための基盤を整える段階：
　
・移行と近代化:
　ワークロードとデータを移行し、モダナイズ。
・財務ベストプラクティスの採用:
　コスト効率を意識したアプローチ。
・プラットフォームランディングゾーン:
　AIソリューションを実行するための基盤を確立。
・価格設定 (Pricing):
　適切な価格戦略の検討。
・スキル向上 (Skilling):
　社内のスキルアップを推進。

2. Design and Govern (設計とガバナンス)
AIソリューションの設計と運用におけるガイドライン：
・信頼できるAI:
　セキュリティ、プライバシー、透明性を確保。
・アーキテクチャの指針:
　システム全体の設計に関する明確なガイドライン。
・GenAIOps:
　生成AI運用の管理。

3. Manage and Optimize (管理と最適化)
　運用中のAIソリューションのパフォーマンスと効率を管理：
・モニタリングとセキュリティ:
　システムの監視と安全性の維持。
・管理と最適化:
　リソースの効率的な運用。
・アーキテクチャの評価と是正:
　設計の評価と改善。

全体的なポイント
　Azure AIプラットフォームを活用してAIの導入を成功させるには、以下の要素が不可欠：
　1.基盤の準備とスキル向上。
　2.セキュアで透明性のある設計。
　3.運用効率とセキュリティの最適化。




「AI Ready Infrastructure」ということで、以下の5分野について、AzureがAIソリューションを安全かつ効率的に構築、運用、管理するための包括的なサービスを提供していることの説明がありました。

1. Landing Zone for AI（AIの基盤構築ゾーン）
　Azure Landing Zone: AI用インフラの初期構築を支援。
　Landing Zone Accelerator for AI: PaaSやIaaSでAIを活用するための加速ツール。
　Core Infrastructure: クラウド移行やVMwareソリューションによるAIデータおよびサービスのコロケーションを提供。

2. Data for AI（AI向けデータ基盤）
　SQL on Azure/Oracle on Azure: AIとのデータ連携のための移行サポート。
　ストレージと仮想マシン: AIデータ処理用の統合ストレージと計算環境を提供。
　セキュリティと暗号化: 特に規制業界向けのデータ保護およびセキュリティ標準の適用。

3. Network for AI（AI向けネットワーク基盤）
　簡単なネットワークセットアップ: DNS、エンドポイント、プライベートリンクの利用で安全な接続を確保。
　仮想ネットワーク: Azure上のサービス接続を安全に管理。
　セキュリティ機能: Azure Network SecurityやNSGなどによる保護。

4. Security for AI（AIのセキュリティ）
　Defender for Cloud: AIソリューションの脅威防御（41%の企業が過去にAI関連のセキュリティ侵害を経験）。
　Sentinel: SIEMツールを活用した監視と応答。
　APIM: Azure OpenAIでの入力やモデルデータのログ記録防止によるセキュリティ強化。
　Security Copilot: ナチュラルランゲージでセキュリティ管理を支援。

5. Management for AI（AIの管理）
　Azure Monitor: ログ分析、ダッシュボードレポートでAI基盤のインフラを監視。
　Azure Policy: データ資産やリソースの一貫性を確保。
　Copilot for Azure: 自然言語での管理と制御機能を提供し、より洞察的なインフラ管理を実現。




IDCの予測と顧客のトレンドについて説明がありました。

IDCの予測
2027年までに70%のITチームが基本に立ち返り、以下に焦点を当てたAI対応データ基盤の構築に注力する：
・データロジスティクス
・品質
・ガバナンス
・信頼性

顧客トレンド（300以上の顧客のデータに基づく）
・67%: Azure AI Landing Zoneを設定。
・45%: Blob Storage（データベースPaaSとのコロケーションを含む）を使用。
・54%: Defender、Key Vault、Sentinelでセキュリティを強化。
・46%: Azure Network Services（プライベートエンドポイント、VNetピアリング、Express Routeなど）を活用。
・49%: Azure Monitorを使用してインフラ管理を実施。

65%を超える企業がAIソリューションのスケールやセキュリティの強化に取り組んでおり、Azureのインフラサービスがその基盤として重要であることを示しています。




AIワークロードを適切に管理、運用、保護するための包括的なAIガイダンスについて説明がありました。

ベストプラクティスの構成要素
1.Cloud Adoption Framework (CAF)
・技術的な意思決定者向けのガイダンスを提供。
・新しいAIシナリオに対応。

2．Well-Architected Framework (WAF)
・ワークロードチーム向けの基盤設計を提供。
・新しいAIワークロードをサポート。

3．Azure Architecture Center (AAC)
・ユースケースごとの実装ガイダンスとソリューションを提供。
・AIアーキテクチャとガイドを利用可能。

ポイント
・この3つを組み合わせることで、チーム全体がAIベストプラクティスに従うことを確実にする。
・Microsoft Azureは、AIシナリオやワークロードに基づく設計・運用を支援する統合されたフレームワークを提供している。




Microsoft Azureの Cloud Adoption Framework における新しい「AIシナリオ」について説明がありました。
信頼性の高いAIワークロードを実現するための組織的なガイダンスを提供しています。

新しい「AIシナリオ」の主な要素

1.End-to-end AI roadmap
・組織全体でAIを採用、管理、運用、保護するための包括的なガイダンスを提供。
・AIの全プロセスにわたる計画を構築。

2.AI standards
・生成AIや非生成AIのための技術、人的リソース、プロセスに関する推奨事項を提示。
・AIの信頼性と一貫性を確保するための基準を提供。

3.Find additional AI resources
・AIワークロードをスケールするための重要な設計・プロセス決定をサポートするリソースを提供。




Azure Landing Zone におけるAI向けポリシーのアップデートとその重要性について説明がありました。

Azure Landing Zoneポリシーの4つの重要な要素

1.Operational Efficiency（運用効率）
・設定の自動化により手作業を削減し、ポリシーの一貫性を確保。

2.Scalability（スケーラビリティ）
・AIワークロードを複数のプロジェクトにわたってスケール可能にするため、ポリシーを標準化。

3.Security Posture（セキュリティ体制）
・一貫したアクセス制限とネットワークセキュリティを確保し、リソースを保護。

4.Risk Reduction（リスク削減）
・誤設定を防止し、セキュリティインシデントのリスクを最小化。

これらは、AIワークロードの導入における効率化、スケーラビリティの向上、安全性の確保、そしてリスクの低減を実現し、AI環境を信頼性高く運用するために必要なアップデートです。




Azure AI Services における新しい組み込みポリシーの取り組みについて説明がありました。主要なAIサービスの概要を以下のように整理しています：

Azure AI Services の構成要素

1.Azure OpenAI
・GPTモデル: 生成型AIモデルを活用可能。
・API統合: AI機能をアプリケーションに簡単に統合。

2.AI Bot Service
・Bot Framework: チャットボットの開発プラットフォームを提供。
・Conversational Interfaces: 自然言語インターフェースをサポート。

3.AI Search
・Semantic Search: 意味に基づく検索機能を提供。
・Personalized Results: 個別化された検索結果を実現。

4.Machine Learning
・Automated ML: 機械学習プロセスの自動化をサポート。
・Model Deployment: AIモデルの迅速なデプロイを可能に。

ポイント
・Azure AI Services は、これらのサービスを通じて、AIモデルの構築、検索、対話型インターフェースの作成、機械学習ワークロードの最適化を統合的に支援します。
・これらのポリシーとサービスは、企業がAIを活用して効率性を高め、ビジネス課題を解決するための強力なツールを提供します。




Azure OpenAI（AOAI）向けのLanding Zone Accelerator について説明がありました。
Landing Zone Accelerator は、Azure OpenAIを活用したAIアプリケーションの迅速かつ効率的なデプロイを可能にする重要なソリューションです。

目的
・Azure OpenAIアプリケーションのデプロイを簡素化することを目的としています。
・プラットフォーム全体のLanding ZoneとCAF（Cloud Adoption Framework）やWAF（Well-Architected Framework）のガイドラインと整合性を保ちながら実装をサポート。

主な利点
1.シームレスな統合
・プラットフォームLanding Zoneとの円滑な統合を実現。
2.デフォルト構成の提供
・ベストプラクティスに基づいたサービスのデフォルト設定を提供。
3.安全性・信頼性・スケーラビリティ
・セキュアで信頼性が高く、スケーラブルなアーキテクチャを即時にデプロイ可能。

ユースケースシナリオ
・チャットボットのデプロイ:
　最小限の複雑さでAzure OpenAIを活用したチャットボットを迅速に立ち上げ可能。

ポイント
・このツールは、Azure OpenAIを迅速かつ効率的に導入するためのガイドラインと統合ツールを提供します。
・詳細情報: http://aka.ms/AI/Chat/Baseline




AIセキュリティにおける3つの重要な柱について説明がありました。

1. Protect confidentiality（機密性の保護）
・AIインフラストラクチャへのセキュリティベースライン適用:
　AzureのWell-Architected Frameworkに従って設定。
・RBAC（ロールベースのアクセス制御）の適用:
　Microsoft Extra IDを使用したアイデンティティ管理。
・条件付きアクセスポリシーの活用:
　アクセスを制限し、機密情報を保護。

2. Protect integrity（整合性の保護）
・アクセス制御と最小権限の原則を適用:
　不要な権限を最小化してリスクを軽減。
・Jailbreakリスク検知の実装:
　悪意ある操作やシステムの脆弱性悪用を防止。

3. Protect availability（可用性の保護）
・モデル使用クォータを枯渇させる攻撃を防止するセキュリティ制御の導入:
　サービスが常に利用可能であることを確保。
・ネットワーク上でサービスを分離するための制御設定:
　サービスの安定稼働を保護。

Azureのセキュリティガイドラインは、AIインフラストラクチャにおける潜在的な脅威からの保護を包括的にサポートしています。




AIに特化したコスト管理に関するガイダンスの説明がありました。

コスト管理の主な要素

1.Estimate & Plan Costs（コストの見積もりと計画）
・Azure Pricing Calculator を使用してリソース展開前にコストを予測。
・使用量に基づき、VMやストレージ、AIモデルのサイズを正確に選択。

2.Cost Monitoring（コストのモニタリング）
・Microsoft Cost Management を通じて、日次、週次、月次で費用を追跡。
・予算設定やアラートで支出を管理し、予期しないコストを回避。

3.Optimize Resource Usage（リソース使用の最適化）
・アイドル状態のシャットダウンや自動スケーリングを有効化し、無駄なリソース料金を防止。

4.Billing Models（課金モデルの選択）
・従量課金制（Pay-as-you-go）: 実際の使用量に応じた課金。
・固定料金（Pay Through Usage）: コストを予測可能な範囲でロックイン。

5.Manage Unused Resources（未使用リソースの管理）
・未使用のリソース（VM、ストレージ、ロードバランサーなど）を定期的に削除し、残存コストを削減。

重要ポイント
・AIソリューションを効率的に運用するには、コストの可視化と最適化 が重要です。
・計画、監視、最適化、未使用リソースの削減などを組み合わせることで、コスト削減と運用効率の向上を両立します。




Azure Monitor Baseline Alertsを活用したAIモニタリングの手法について説明がありました。

1. Proactive Alerting（積極的なアラート通知）
・AIモデルのパフォーマンスやリソース使用量に異常が発生した際のアラートを設定。
・閾値を超えた場合に通知を受け取り、迅速な対応を可能に。

2. Automate Alert Policies（アラートポリシーの自動化）
・AIワークロードに特化したAzureポリシーテンプレートを利用して、アラート設定を簡素化。
・モニタリングポリシーをAI環境全体で一貫して適用し、運用効率を向上。

3. Guided Insights and Documentation（洞察とドキュメントの提供）
・AIモニタリングのベストプラクティスやセットアップに関するカスタマイズされたドキュメントにアクセス可能。
・専門家の推奨事項を活用し、AIソリューションのモニタリング戦略を強化。

重要ポイント
・Azure Monitor Baseline Alerts は、AIシステムの監視を高度化し、問題発生時に迅速な対応を可能にします。
・自動化と専門的な洞察により、監視プロセスの効率と信頼性を向上。

詳細情報: https;//aka.ms/AI/AMBA/RAG




Azure Proactive Resiliency Library(APRL)を活用した信頼性（Reliability）の向上に関する指針の説明がありました。

信頼性の主な要素

1.Deployment & Capacity（デプロイと容量管理）
・プロビジョニングされたスループットを使用して、本番環境の容量を確保。
・開発やテスト、オーバーフローのニーズには 従量課金制（Pay-as-you-go） を活用。

2.Redundancy（冗長性）
・ゲートウェイを実装して障害、スロットリング（制限）、リクエストのリージョン間ルーティングに対応。
・冗長性を高め、システム障害時でもサービスを継続。

3.Recovery（回復）
・大容量ファイル用にAzure Blob Storageを使用し、安定したアップロードを実現。
・トレーニングデータやファインチューニング済みモデルのバックアップを含む包括的な復旧戦略を策定。

重要ポイント
・信頼性を確保するためには、容量管理、冗長性、復旧計画が不可欠。
・APRLは、これらの要素を体系化して、予期せぬ障害に備えた堅牢なインフラを構築します。

詳細情報: https://aka.ms/aprl


最後にリソース一覧の共有がありました。
こちらでも共有しておきます。
・CAF documentation for AI: https://aka.ms/cafai
　AI向けCloud Adoption Frameworkのドキュメント。

・WAF documentation for AI: https://aka.ms/wafai
　AI向けWell-Architected Frameworkのドキュメント。

・Azure Landing Zone (Platform) documentation: https://aka.ms/alz
　Azure Landing Zoneのプラットフォームに関するドキュメント。

・Azure Landing Zone accelerator (portal): https://aka.ms/alz/portal
　Azure Landing Zoneアクセラレータのポータル。

・Chat Bot accelerator (Baseline): https://aka.ms/AI/Chat/Baseline
　チャットボット向けアクセラレータ（ベースライン）。

・Landing Zone Accelerator for AI: https://aka.ms/AI/Chat/BaselineWithALZ
　AI向けLanding Zoneアクセラレータ。

・Azure Proactive Resiliency Alerts: https://aka.ms/aprl
　Azureの事前対応型レジリエンシーアラート。

・Azure Monitor Baseline Alerts for AI: https://aka.ms/AI/AMBA/RAG
　AI向けAzure Monitorのベースラインアラート。

・Azure Verified Modules: https://aka.ms/avm
　Azure検証済みモジュール。

資料のリンク

　セッション動画、資料は公開済みです。リンクは以下となります。
　https://ignite.microsoft.com/en-US/sessions/BRK131?source=/schedule

まとめ

盛りだくさんの内容になってしまいましたが、どのスライドも重要なので紹介させていただきました。
Microsortは、エンタープライズ向けの施策がAWSやGoogleCloudとくらべて2，3歩進んでいる気がします。
Microsoftのフレームワークとツールを活用することで、AIソリューションが安全で、適切にガバナンスされ、コスト効果が高く、レジリエントであることを確保できます。提供されたガイダンスに従うことで、組織はリスクを軽減し、価値を最大化しながらAI推進を加速できますね。
私もリソース一覧のリンクを読み込んで、理解を深めていきたいと思います！

※このブログで参照されている、Microsoft、Azure OpenAI、その他のマイクロソフト製品およびサービスは、米国およびその他の国におけるマイクロソフトの商標または登録商標です。
※その他の会社名、製品名は各社の登録商標または商標です。