背景

すかいらーくホールディングスでは、全国で約3,000店舗を展開し「価値ある豊かさの創造」を理念に世界最大規模の直営レストランチェーンを展開しています。

各レストランのレジ付近には様々なお菓子が並んでいます。



このお菓子について、弊社は2021年に全店舗の賞味期限を集約管理するシステムを提供しました。
本システムは以下の特長を持ちます。

• 低コストなシンプルインタフェースアプリケーションの提供
• すかいらーくグループ内でのJANコードデータ共有
• 情報共有による店舗側と本社管理部門の２重チェック
• 全てのデータを二次利用可能（ポータル内に利用）
• メールによるリマインド機能の提供
• 画像の撮り直し、ソート、部長向けメールの集約化等の改善を実施

今回、本オペレーションの自動化を推進するためOpenAIの導入を行いました。
お菓子の賞味期限表記は目視を前提としており、商品ごとにフォーマットや記載場所が異なります。
そのため、柔軟な処理が可能なOpenAIを採用しました。

内容

弊社は賞味期限管理における二重チェックの仕組みをAWS RekognitionとAzure OpenAIを用いて実装しました。
確認画像からAWS Rekognitionが読み取った文字列をAzure OpenAIが分析する事により、多様なフォーマットで記載されかつ周辺に様々な文言がある画像情報から柔軟に賞味期限情報を抜き出し自動チェックする仕組みを実現しました。
本番運用での実績を踏まえ将来的には賞味期限登録オペレーションが商品画像撮影のみになる想定です。

実装のポイント

本実装に際し事前検証を行い確認画像の画角を改善するなど自動化を前提としたアプリケーション改善も併せて実施しました。
ただし確認画像は店舗ごとの撮影条件（場所や照明など）により画質が異なります。そのため、初めから入力を代替するのではなく２段階の自動化としました。
アプリケーション改善を前提に実績を重ね、最終的な入力自動化を実装する予定です。


※このブログで参照されている、Microsoft、Azure、Azure OpenAI、PowerAppsその他のマイクロソフト製品およびサービスは、米国およびその他の国におけるマイクロソフトの商標または登録商標です。
※Amazon Web Services、”Powered by Amazon Web Services”ロゴ、およびブログで使用されるその他のAWS商標は、米国その他の諸国における、Amazon.com, Inc.またはその関連会社の商標です。
※その他の会社名、製品名は各社の登録商標または商標です。