三島正裕のOffice365コラム「PowerAppsで画像認識!?スマートフォンを活用した働き方改革」

こんにちは!クラウドビジネス担当の三島です。Office365徹底活用コラムということで、今回はスマートフォンのカメラや画像認識AIを使ったアプリについてお話をさせて頂きたいと思います。
ビジネスの場でも利用される機会が増えてきたスマートフォンのカメラですが、Office365でもPowerAppsを使えばカメラと連携したアプリを作成することが出来ます。作業前後の記録や資料の撮影、状況報告や調査記録など、カメラをビジネスで利用するシーンは沢山あるのですが、便利な反面、意外と苦労させられるのが写真の管理ではないでしょうか。
ビジネスで利用する写真には、誰が、いつ、何の目的で撮影したのか、その写真に関する情報もセットで管理をする必要があります。これを手作業で行うのは、枚数が多くなればなるほど大変な作業となります。ですが、写真も情報も撮影した瞬間に同じ場所に保存され、しかも整理まで行ってくれるアプリがあればどうでしょう?便利になると思いませんか?こうした写真を管理する市販のアプリやサービスは、調べてみると沢山出てくるのですが、簡単なものであればOffice365を使えば意外にもあっさりと作れてしまいます。今回はPowerAppsとExcelを使った簡単な写真管理アプリの作り方を紹介させて頂きます。

1.写真を管理するためのExcelファイルを用意する

最初に写真を管理するためのExcelファイルを用意します。Excelはテーブルの形式で作成します。テーブル名は任意で問題ありませんが、今回は「camera」と設定しておきます。テーブルの項目は下図を参考に作成して下さい。PowerApps側で作業がしやすいよう、今回サンプルとして1件データを入れておりますので、最初は同じように値をセットしてみて下さい。
◇サンプルデータ
Image [image]:.\camera_images\Sample1.jpg
__PowerAppsId__:1 ※前後にアンダーバーが2つずつ
Comment:サラダの写真 ※任意
「Image [image]」には写真の保存先、「Comment」にはアプリ側で入力したコメントがセットされます。「__PowerAppsId__」はアプリ側から写真が保存されると一意のIDが自動的に割り当てられますので、サンプルデータの場合は任意の値で問題ありません。

写真の保存先はOneDriveを使用します。任意の名前でフォルダを作成し、その中に先程作成したExcelファイルを置きます。更にExcelファイルと同じ場所に写真を保存するフォルダ「camera_images」を作成します。フォルダの中には「Sample1.jpg」という名前で、任意のサンプル画像ファイルを置いて下さい。

2.PowerAppsでアプリを作成する

PowerAppsを開いてアプリを作成します。今回はスマートフォンのカメラを使用しますので、「新規」画面から「携帯電話レイアウト」を選択してください。続いて「アプリの設定」画面から任意の名前でアプリ名を入力し、アイコンを設定します。設定が完了したら「保存」画面で保存をします。
3.データソースを追加する

OneDriveに保存したExcelファイルをPowerAppsのデータソースとして追加します。「ビュー」の「データソース」ボタンから「データソースの追加」を選択しOneDriveを選択。保存したExcelファイルを選択するとテーブル名「camera」が表示されますので、チェックボックスにチェックを入れて「接続」ボタンを押します。

4.撮影画面を作成する

画面Screen1に撮影画面を作成します。「挿入」ボタンから配置する各コントロールについては下図を参考にして下さい。各コントロールに設定する主なパラメータについて記載しております。コントロールの位置、サイズについては任意に変更してください。なお、カメラ(Camera1)についてはサイズを指定して配置するだけでOKです。

Button1のパラメータにセットしたPatch関数はデータソースに対してデータを追加します。実行されると、データソース「camera」に対してTextInput1に入力されたコメントとImage1に表示された画像の保存先となるURL、その画像がデータソースで一意となるように自動生成されたID(__PowerAppsId__)がセットで保存されます。
設定が完了した後、Gallery1に写真が表示されない場合は、Excelファイルの設定に誤りがある可能性があります。項目名が合っているか、パス情報に誤りがないかをご確認下さい。

5.アプリを実行してみる

実際にアプリを動かしてみましょう。スマートフォンでアプリを実行すると下図のような画面が表示されるはずです。PowerAppsアプリがカメラへ接続しても良いか、確認画面が表示された場合は「許可」を選択して下さい。アプリの操作の仕方ですが、最初にカメラ画像をタップして、保存する画像を決定します。保存する画像はカメラ画像の隣に表示されますが、保存ボタンを押すまで何度でも撮り直すことができます。保存する画像が決まったらコメントを記入し、保存ボタンを押します。ギャラリーに撮影した写真とコメントが追加されていれば成功です。

実際に実務で使用するには、ギャラリーの内容を修正したり、削除したり、データが増えてくれば検索機能やカテゴライズをして管理をする仕組みも必要になるかもしれませんね。また、PowerAppsには画像認識AIと接続するためのコネクタも用意されていますので、組み合わせると更に役に立つ便利なアプリが作成出来るかもしれません。次に紹介させて頂くアプリは当社で実際に作成したアプリの一例ですので参考にしてみて下さい。

6.廃棄物処分方法アドバイザーアプリ

業務で発生する廃棄物の中には処分方法がわからないものもありますよね。このアプリではカメラで廃棄物を撮影すると、処分方法のアドバイスを受けることが出来ます。判定に使用しているサービスはAzureのCustom Vision Serviceです。ブラウザーから操作できる専用ポータルサイトに画像をアップロードしてAIに学習をさせると、送信した画像が何であるかを返してくれます。PowerApps側では受け取った情報を基にアドバイスを返す仕組みを設けています。

7.OCR機能付き資産管理アプリ

目検で行っていた資産チェックをPowerAppsでアプリ化しています。資産に張り付けられている資産シールをスマートフォンのカメラで読み取り、AIに文字認識をさせることで台帳情報を検索することが出来ます。文字認識にはAzureのComputer Visionを使用しています。


8.おわりに

今回はスマートフォンのカメラを活用したアプリを取り上げてみましたが如何でしたでしょうか?カメラを使用したアプリの作成は一般的には敷居が高いものと思われがちですが、PowerAppsにはカメラに接続できるパーツが用意されていますので、誰にでも直ぐにアプリ作成を始めることが出来ます。
ぜひ皆さんもトライしてみて下さいね。それでは次回もお楽しみに。

※PowerAppsについては以下をご覧ください。
https://www.si-jirei.jp/office365/powerapps/

Related post

更新情報

最新コラム

  1. こんにちは。吉政創成の吉政でございます。 Windows Server 2008が2020 年1月…
  2. こんにちは。ディーアイエスソリューションの向坊です。今回のコラムのテーマは「RPAが得意とする業務」…
  3. こんにちは。吉政創成の吉政でございます。今日は「BCP対策やバックアップシステムの投資規模を決める基…

ログインステータス

You are not logged in.
Return Top