技術検証事業に関する取り組み:カメラ・センサー技術によるDXと将来像
こんにちは。デジタル庁デジタル法制推進担当です。
この記事では、デジタル庁の「技術検証事業に関する取組」のうち、
における技術概要や検証技術のメリットなどを解説します。
我が国では、法令の定めに基づき、建物の建設現場での施工検査、鉱山や火薬類取扱所での管理状況や監視、鶏のひなのふ化場での健康状態の判断について、現地で人が目で見て、道具で計測し、また人の手でさわったりして点検・監視、判定することが義務付けられています。
しかし、中には高所での作業や危険物に近い場所など、危険を伴う場所での作業が求められる場合があるうえ、安全面や効率面での課題が指摘されています。
一方、近年ではカメラ・センサーやAI、画像解析などの技術が進歩することで、遠隔でモニタリングできる技術が発展しています。
現在デジタル庁では、こうしたデジタル技術を活用して安全かつ効率的に遠隔で点検・監視、判定を代替できる可能性について、法規制を所管する他府省庁や民間事業者などと連携しながら技術検証に取り組んでいます。
具体的にどのような技術を用いて、どのような検証をしているのか。技術検証の概要やポイント、検証している技術のメリットや課題など、参加事業者の方たちによる解説を紹介します。
技術検証の概要について
シャープ株式会社による技術検証の概要
村山氏:
「建築基準法」第7条から第7条の4では、「配筋(はいきん)工事」の中間検査と完了検査が義務付けられています。
「配筋」とは、コンクリートの建物をつくる際に鉄筋を配置することです。建物の強度に影響するため、正しく配置されているかを確認することは品質管理業務では重要な項目です。
配筋の検査は、要求品質の確保・向上を目的とした元請がおこなう自主検査や、工事監理者がおこなう検査、特定行政庁などがおこなう「中間検査」や「完了検査」などがあります。また、発注者が検査をおこなう場合もあります。
今回の取組では、デジタルカメラを活用して構築した「配筋検査システム」を用いることで、検査にかかる作業時間と作業人数の大幅削減、測定精度の安定化が達成できるのではと考えています。
使用する配筋検査システムは、3台のカメラを搭載した3眼カメラです。対象物をそれぞれのレンズで同時に撮影することで、各カメラの画像に写る被写体位置のずれ(視差情報)から「三角測量」の原理に基づいて、縦・横・奥行きといった3次元情報を取得します。
本装置は土木向けとして、清水建設株式会社と共同開発したシステムですが、今回は建築の現場向けに活用の可能性を検証しています。併せて、3次元情報(3Dモデル)を出力する機能追加も検討し、検証を進めています。
パーソルプロセス&テクノロジー株式会社による技術検証の概要
岡田氏:
「鉱業上使用する工作物等の技術基準を定める省令」第40 条第2 項第2号では、鉱山の火薬類取扱所での見張人による目視の監視行為が定められています。
私たちは複数のデジタル技術を活用して、人による監視と同等以上の精度を実現できるのかという検証をおこなっています。
今回は鉱山を模したテストフィールドを設定し、さまざまな方法を用いて防犯・防火などの監視を省人化するための取組をおこなっています。
今回の検証で使用している遠隔監視の技術は、「固定カメラ」、「ドローン」、「UGV(Unmanned Ground Vehicle、無人地上車両)」の3つです。それぞれにデジタルカメラを装着し、静止画やHD品質の動画を取得します。
撮影されたデータはリアルタイムで送信され、AI解析で異常を検知し、得られた情報からアラートメールを送ります。
検知する主な異常物は、不審者や火災、煙です。これらをAIに事前学習させて対応できるようにしています。
データ通信は、LTE(Long Term Evolution)回線を含む 携帯電波の回線を使い、携帯電波が届かない場所も考慮し低軌道衛星を活用した検証もおこないました。
株式会社パスコによる技術検証の概要
寳樂氏:
「火薬類取締法施行規則」第44条及び第44条の5では、火薬関連施設と周辺施設の保安距離・間隔について、目視や測定機器で検査することになっています。
また、火薬庫を囲む土堤の崩れや「防爆壁」の割れなどの管理状況も同様の検査をします。
岩﨑氏:当社が開発し、すでに多くの活用事例があるIoTセンサー「Infra Eye(インフラアイ)」と、人工衛星という2つの技術を活用することで、こうした目視や検査を補完し、省人化につながる遠隔監視ができると考えています。
技術検証ではIoTセンサーを設置することで、土堤などの変位を1/100ミリメートル単位で計測できるかについて確認します。
寳樂氏:
人工衛星は「光学衛星」と呼ばれるタイプで、通常のカメラと同様に、人の眼で見える可視光を捉えて撮影します。
火薬関連施設と周辺施設の保安距離・間隔が適正に保たれているかを測定する上では、地上の物体をどのくらい鮮明に撮影できるかという「分解能(解像度)」がカギとなります。
そのため、使用する光学衛星の分解能で、保安距離・間隔を正確に計測し数値化できるかを検証します。
株式会社Ridge-iによる技術検証の概要
市來氏:
「養鶏振興法」第7条第1項第2号では、鶏の卵をひなにかえすふ化場で、ふ化の過程段階を目視検査することになっています。また、この法律は、技能・経験を有する者が1名以上常駐することを定めています。
今回は、カメラ技術とAI判定を組み合わせた遠隔化により、常に人がいなくてもふ化の過程段階を検査することが可能な技術についての見込みを精査します。
ふ化場での主な業務は、「卵を温める温度管理」、「卵の数の管理」、「ふ化したひなの健康管理」の3つです。私たちはとくに、ふ化したひなの健康状態の判定に着目しました。
技術検証では、ひなをレーンに1列に並べ、4台の産業用カメラ(156万画素)で1羽ずつ撮影します。健康状態の判定をリアルタイムでおこなうAIの処理速度の観点から、1枚1枚の静止画像のほうが適していると考えました。
現在実施されている人の手による健康状態の判定では、熟練技能者とそうでない人では、判定基準が大きく異なると聞いています。
そのため、人の感覚や疲労による影響を受けずに、一定の基準・精度を維持できる判定システムの構築を目指します。
そもそも“不健康とされるひな”をカメラで見た場合、外見のどこを見れば健康状態を判断できるのかという点を考えて対応しようと考えています。
検証している技術のメリットや課題とアナログ規制見直しの効果について
村山氏:
通常の配筋検査は、作業員が図面を確認した上で、鉄筋にマーカーを設置し、メジャーを使って鉄筋同士の間隔を測り、鉄筋の本数も数えて検査表に記載しています。また、メジャーや黒板を写した現場写真を撮影しています。
施工者や工事監理者による配筋の検査は、基本的に建造する建物すべてにわたっておこなわれるので、検査箇所が多くなれば単調な作業になりがちです。
そのため、作業員の疲労が蓄積してミスが起きたり、作業員によって測定の精度が異なったりする問題などが発生する可能性があります。
配筋検査システムは、簡単な操作でだれでも計測できますので、作業者によらず同じように計測し、ミスや誤差を低減できると考えています。
また、とくに高所での作業では、マーカーなどの検査用具が落下する危険も考えられます。配筋検査システムは、マーカーやメジャーの設置が不要で離れた位置から計測できるので、導入によりヒューマンエラーを排除し、スピーディかつ安全な配筋検査を実現できると考えています。
配筋検査システムは、撮影用の「3眼カメラ」と、操作と処理用の「タブレットPC」で構成されたシステムです。タブレットPCによりカメラの制御、画像処理による計測、データ保存などをおこなっています。
簡単に持ち運びできますので、ひとりの作業員が、配筋の計測から3次元データの作成、操作タブレット上に表示される計測結果の確認、撮影画像や計測データの保存まで、検査作業を一括で行えることがメリットです。
技術導入の効果としては、従来は1か所あたりの作業に2、3人で5分から10分程度かかっていたところを、ひとりで2分から3分程度に短縮できると考えています。
配筋検査システムは、カメラで撮影した画像に基づいて計測しますので、照明のない現場や天候の影響で、撮影画像が暗くなると計測誤差が発生しやすくなります。
そこで、配筋検査システムの開発時には、さまざまな現場で検証を重ねて画像処理ソフトを改善し、さらにLED照明を使用することで、どのような環境でも適切な明るさで撮影できるようになっています。
ただ、太陽光によって逆光になるなど、鉄筋の見え方が変わる場合などもあるため、運用方法の工夫や、さらに画像処理ソフトを改善することも必要と考えています。
また、配筋検査システムは所定の間隔以上で配置された鉄筋を対象としているので、より複雑な構成の配筋にも対応するためには、計測処理を改善する必要があります。
岡田氏:
鉱山の火薬類取扱所は、保管する製品の特性上、危険を伴うことに加え人里離れた所にあるため、監視人を立てての運用が難しくなっています。
そのためデジタル技術で代替できれば、通常の監視はもちろん、人では監視困難な状況でも対応できるようになります。
たとえば、ドローンによる空からの俯瞰(ふかん)撮影や、固定カメラによる24時間監視、UGVによる悪路での走行監視、「サーマルカメラ」による熱検知や夜間撮影も可能になります。
火薬類取扱所の建物の構造が法令上の規定を満たさないときは、見張人は1時間に1回以上巡監することが義務付けられています。この解決方法の1つとしてドローンを導入します。
ただし、ドローンのバッテリー持続時間が20分程度なので、離着陸や充電ができる「ドローンポート」を活用した離発着所に人を派遣せずに、遠隔操作でのドローン運航が可能となる巡監体制を構築することで代替が可能となると考えています。
また、ほかのカメラが異常を発見した現場にドローンが急行するといった多岐にわたる監視手法も可能なので、防犯・防火に寄与するメリットは十分にあると考えています。
ドローンが異常を検知してから、アラートを担当者に自動でメール発信するまで、およそ2分から5分で行えることも検証済みです。
問題点としては、1つには気象条件が挙げられます。強風や豪雨・豪雪状態だとドローンを使えません。
もう1つ、異常を検知するAIの設定も課題があります。いろいろな状況下での異常物検出となるので、カメラの設置角度や高さが変わると、あらためてAIに対象を学習させるための時間と労力がかかってしまいます。
今回は、こういったドローンやAIといった技術を活用するための技術的な検証だけでなく、省人化の観点では具体的な工数の比較、経済性では長期的な費用対効果など、実用化や将来的な社会実装を見据えて取り組むことがとくに重要だと考えています。
社会実装に向けて、ユーザーやベンダーのビジネスモデルの確立だけでなく、それを受け入れる基盤となる制度や社会受容性を向上させていく取組を継続していくことも必要だと考えています。
岩﨑氏:
火薬関連施設の周りは高さ3メートル程度の土堤がめぐらされていて、年月の経過や天候条件により崩れなどの形状変化が起こります。
この計測に導入するIoTセンサーは、地形や構造物の変位を1/100ミリメートル単位で捉えることができ、1日に1回データをLTE回線で送信します。ただし、日常的でない値を検出した場合は即座にアラームメールを送信します。
目視点検ではわからない微細な変位はセンサーで監視し、逆にセンサーではわからない変状は人による目視監視で補完するという両方の技術で、安全性を高め安心感も得られると思います。
また、人が監視・調査した場合と比べ、IoTセンサーで代替することで、現場で歩いて見て回る時間などが減り、作業時間を削減することができます。
寳樂氏:
光学衛星による撮影では、火薬関連施設と周辺施設との距離が、法令が定める500メートル以上離れているかなどを確認します。
これには、分解能という衛星から地上の物体がどれくらいの大きさかを見分ける能力が重要です。
500メートルを測るのにどれくらいの分解能や許容範囲が適切かを判断するため、当社が地図作りで得た知見をもとに、分解能1.5メートルと0.5メートルの光学衛星を運用し、分解能が適切かという検証をおこないます。
ただし、光学衛星には天候環境に左右されるという課題があります。たとえば、夜間の撮影では地上をみることはできません。
また、雲がかかるなどの天候条件だと撮影できないことがあります。そのため、撮影頻度を高めて撮影するなど運用方法を整理すれば、課題を解決できると思っています。
現状、人がおこなっている10戸ほどの火薬関連施設の計測を、衛星画像による判定で代替すると、2〜10%の作業時間を削減できると試算しています。
市來氏:
私たちが開発しているカメラ技術とAI判定を含めた遠隔モニタリングシステムは、ふ化場の規模に合わせて水平展開し幅広く普及することも見据えています。
そのため、一般的なカメラと照明器具を使用して、ひなの健康状態の判定をどこまできるのか、という観点で検証を進めています。
ひなの健康状態の判定では、人がさわって不調や虚弱と判断する場合でも、実はひなの外見に不調などが表れていることもあります。
そのため遠隔モニタリングシステムの開発では、現在の業務で何を見て判断し作業しているのかを聞き取り、判定の基準となるAIの学習やPCでアクセス可能なWebアプリケーションをカスタマイズしています。
今後の課題は、画像だけではわかりづらい健康状態の判定精度や速度の向上です。
現状の人による判定業務では、「発生日」と呼ばれるひながふ化する日に、2〜3人体制でひなの健康状態を検査していますが、技術導入が進めばこういった作業はなくなるのではと考えられます。
また副次的なメリットは、人が立ち入らなくても検査できるため、鳥インフルエンザなど外からの病原菌を持ち込むリスクが小さくなることです。
遠隔監視・判定の導入により、ふ化場で重要となる衛生管理のコストが減少していくと考えています。
カメラ・センサー技術の広がりについて
村山氏:
光学カメラ以外に、レーザーの反射光から高精度に距離を計測する「LiDAR(ライダー)」などのレーザー測距装置に注目しています。
LiDARは、工場や配送センターなどで使用される搬送用の台車などに搭載されたり、自動運転を支援するシステムに導入され始めたりしています。
装置が高価であることや、天候の影響を受けやすいことから、屋外で導入しづらいという課題がありましたが、最近は価格も下がり、技術的な課題も改善されてきているので、さまざまな分野での活用が期待できる技術だと思っています。
市來氏:
カメラで撮影した画像では、どうしても平面情報になってしまうので、距離や立体感についての情報がほしい場合はLiDARを採用しますね。どちらも得手不得手があるので、うまく組み合わせて使用できればと考えています。
たとえばLiDARは、情報量が多いことがメリットでもあり、デメリットでもあります。私たちはAI解析を得意とする会社ですが、情報量が多すぎると解析するのに時間やコストがかかってしまいます。また、多様なトレーニングデータを集めることが難しく、AIの過学習による精度低下が起きるケースも存在します。
そのため、カメラで撮った画像で大まかな判断をして、詳細に把握したい部分だけをLiDARから取得したデータでさらに解析するなどの工夫をおこない、効率的に業務を進められるシステムを構築することが多いです。
岡田氏:
私たちが取り組んでいる対象は火薬類取扱所であり、その性質上、24時間の監視が望ましいものではあります。
そのため、人的リソースによる夜間の監視業務をデジタルで代替することが大きなポイントのひとつとなっていました。
しかし、可視光カメラで監視する場合、夜間だとそれなりの照明設備が必要となり設置するためのコストもかかります。
また、火薬類取扱所の立地は、電力供給が少ない人里離れた場所であることが多いので、インフラ設備への負担が大きいことも課題となります。
そこで、照明設備や消費電力のコストを抑えるため、熱である赤外線を検出・可視化し夜間でも監視可能なサーマルカメラを採用したのです。
通常の可視光カメラはもちろん、サーマルカメラなどさまざまなカメラを使い分けることで、どのような環境であっても日中夜間を問わず、コスト的にも圧迫せず、業務を遂行できるという観点から技術を選定しています。
寳樂氏:
夜間でも撮影可能な方法としては、「合成開口レーダー(SAR、Synthetic Aperture Radar)衛星」がありますね。
SAR衛星は、電磁波の一種である「マイクロ波」を地表に向けて照射し、はね返ってきたマイクロ波を受信・解析することで、地表の状態を映像化します。
光学衛星が観測する可視光とは違い、マイクロ波は雲を透過しますし、太陽光が少ない夜間でも観測でき天候にも左右されません。
SAR衛星で利用されるマイクロ波は主に、「Xバンド」「Cバンド」「Lバンド」の3つに区分されます。最も波長数の長いLバンドであれば、森林も通過して地盤に当たって戻ってくるので、森林のある地盤の変動もみることができます。当社ではこの技術を活用して、山間部の地滑りのモニタリングをしています。
また災害時や夜間は、可視光カメラよりSAR衛星のほうが、現地状況をより迅速に把握できるというメリットもあります。
岡田氏:
衛星は常に同じ場所を観測するわけではないので、場合によっては1週間に1度しかデータを取得できない場合もあります。
しかし、現在ではさまざまな種類の衛星が飛んでいるため、用途に合わせて使い分けたり、光学衛星とSAR衛星のデータを掛け合わせて判断したりするなど、最適な衛星を適宜使っていくことで用途の広がりを感じます。
市來氏:
可視光カメラの性能も上がっていますし、赤外線やマイクロ波などと組み合わせることで、今まで人がアナログで判断してきた異常検知などを、カメラ・センサー技術によって代替できるようになりました。
今まさに、さまざまな技術検証が可能な時代になってきたのだなと、実感しております。
カメラ・センサー技術とAI技術の組み合わせについて
村山氏:
従来、設備の汚れや傷、ひびなどの異常個所を、カメラの撮影画像に基づいて、画像処理で検出する技術が検討されていました。
昨今は、それらの画像データをAIに学習させることで、AIによって検出する方法が検討されています。これらのAIは画像データを学習していますが、加えて撮影時の条件や被写体の情報、人による判断結果なども含めて学習していくことで、今後、AIによる検出の精度を上げられるのではないかと考えています。
ただ、AIは学習したモデルに基づいて結果を出力しますが、どのように処理されてその結果が導きだされたのか、実際のところはブラックボックスだと思っています。
今回の私たちの検証のように、計測値によって判断する検査が対象の場合には、計測自体をAIでおこなうのではなく、ステレオカメラのようなシステムを使って「どこをどのように処理して出力された結果」なのかがわかる方法で、計測する必要があると考えています。
また、今のところは、AIによる結果が正しいか、それを採用するかどうかは、人が判断するしかありません。
将来的には、配筋検査システムのようなシステムによる計測データと、それらの結果から人がどのように判断したのかというデータを併せてAIで学習していくことで、人が判断していた作業を、AIが行えるようになるかもしれないと思っています。
岡田氏:
私たちもAIの精度や検知率について、学習量に対する検知率の変化や、環境による影響などを検証しています。
AIを有効に活用したサービスの可能性や、アナログの代替手段としてのAIは大きなポイントとなると考え、検証しています。
市來氏:
最近、AIの技術では、「0か1」の判断だけではなく、「実は0.78である」や「0.44である」という判断ができるようになっています。「0か1」の判断をしている軸(基準)がわかれば、「なんとなくこのあたり」と示せるようになるのです。
運用しながら、その軸を調整していくことで、AIが判断できることも増えていくので、新しい分野や用途でも活用できるようになっていくと考えます。
寳樂氏:
衛星画像の判定にもAIを活用できます。同一の場所で、時期をずらして撮影した画像を比較することで、周辺施設の変化や新しい建物の確認などの変化を自動抽出できるようになるでしょう。
また、皆さんが実感されているよう、カメラやセンサーの性能向上により、今まで見えなかったものが見えるようになってきました。これに加え私は、カメラやセンサーの性能向上は、AI技術の発展にもつながっていくと考えています。
たとえば、天気予報で使われている静止軌道上の「気象衛星ひまわり」は、初号機では3時間に1回の観測でした。それが今の8号機・9号機では、10分に1回で地球すべての観測が可能になりました。
日本だけに絞れば2.5分ごとに観測でき、カラー画像も撮影可能になるなど、大幅に機能が向上しました。
スーパーコンピューター「京(けい)」を使いデータ解析することで、今まで予測が難しいとされていた、ゲリラ豪雨の予測などが可能になってきているそうです。
カメラやセンサーの性能やデータ転送の通信技術が向上することでデータ量が増え、AIの計算能力も向上して予測範囲が広がるという相乗効果により、デジタル技術は発展していくのだと思います。
カメラ・センサー技術の導入によるDXと未来のデジタル社会について
村山氏:
弊社では、ワインの香りを嗅ぎ分けることができる匂いセンサー技術を発表しているのですが、匂いの情報が画像から出せるとおもしろいかもしれません。匂いに限らず、目には見えない気流などが可視化できたらいいですね。
市來氏:
匂いの情報を取得できるのはおもしろそうですね。
人間の五感でいうと、カメラは「眼(視覚)」ですよね。動画になるとそれに「音(聴覚)」も入ってきます。触覚、味覚、嗅覚のセンサーもそれぞれ開発されています。
こうした人の五感の情報をすべて、カメラやセンサーで取得できるものが開発されれば、今までは想像もできなかったような活用方法が出てくるかもしれません。
またカメラ技術では、人の顔認証という技術が実用化されていますが、動物でも顔による個体特定の研究が進んでいて、動物園の動物管理などでの活用が考えられます。
人であれ動物であれ、技術的には同じ方向性なのですが、人の場合は解析するデータが豊富にあるため精度も高く実用化されています。
一方、動物の場合はデータを集めるのが難しいことが課題だと考えます。技術を発展させるためには、いかに解析データを集められるかがポイントではないでしょうか。
岡田氏:
集まったデータをいかに共有化し、連携していくかも大切ですね。
私たちもドローンやUGVを使用していますが、そのほかにもさまざまなIoT機器と都市機能のデータ連携など、いわゆる「スマートシティ」といった観点での情報連携のしくみができると、生活の利便性が向上すると考えています。
たとえばドローンで医薬品を配送することは、業界的に結構スタンダードな考え方となっています。加えて、スマートフォンアプリで薬品の予約や診療したデータと連携させることで、都市機能への活用や配送の利便性、早期化につながると考えています。
「ドローンがさまざまなサービス基盤と連携し、1つのプラットフォームになることで、付加価値を生み出す」ことを、まさに今大きく進めているところです。
寳樂氏:
データ共用ということでは、国土交通省が取り組むプロジェクト「PLATEAU (プラトー)」のように、3次元地図データなどをオープン化していく潮流があります。
PLATEAUは、日本全国の都市を3Dモデル化したデータを整備し、オープンデータとして流通させ活用するプロジェクトです。
私たちも参加していて、現実世界から収集したデータを活用して、精密にバーチャル世界を再現する「デジタルツイン構想」の下、日本の最新技術を用いて3次元地図を制作しています。
これは単なる3Dデータではなく、建物なら建物、樹木なら樹木と、意味を持たせた形のオブジェクトにしてあるのが特徴です。
たとえば、災害のシミュレーションにPLATEAUのデータを活用することで、「ここに建物がない場合はどうなるのか」「道路の有無で被害が変化するのか」など、高精度のシミュレーションが可能となります。
こうした官民によるDXの取組を背景に、分野・業界を超えてデータが共有され、都市レベルでのデジタルツインや高度な自然災害対策など、あらゆる領域に活用される社会になるのが理想だと思います。
参考資料・関連情報
検証対象となっている法令と法令に基づく業務
シャープ株式会社
法令:建築基準法第7条から第7条の4
法令に基づく業務:建築物に関する中間検査・完了検査(国土交通省)
概要:建築主は、特定工程の工事を終えたとき又は工事を完了したときは、建築主事等の検査を申請しなければならないこととされている。
パーソルプロセス&テクノロジー株式会社
法令:鉱業上使用する工作物等の技術基準を定める省令第40条第2項第2号
法令に基づく業務:火薬類の盗難及び火災防止のための監視(経済産業省)
概要:火薬類を存置するにあたり、当該火薬類を存置する坑外の火薬類取扱所が必要な建物構造を満たさない場合に、見張人を常時配置する。
株式会社パスコ
法令:火薬類取締法施行規則第44条及び第44条の5
法令に基づく業務:検査方法に従って行う完成検査・保安検査のうち、火薬類関連施設の土堤等の検査(施設等間の距離、構造物の高さ、こう配、厚さ等を計測するもの)(経済産業省)
概要:火薬庫の外壁から保安物件に対する距離、土堤のこう配及び高さを巻尺その他の測定器具を用いた測定により検査する。
株式会社Ridge-i
法令:養鶏振興法第7条第1項第2号
法令に基づく業務:ふ化場における技能・経験を有する者の業務(農林水産省)
概要:ふ化場(人工のふ化法により種卵(鶏の受精卵)をふ化する事業所)において、種卵のふ化の際には常時、農林水産省令で定める経験を有する者が1人以上従事することとされている。
関連情報
参考資料
◆これまでの「技術検証事業に関する取り組み」紹介記事は以下のリンクをご覧ください。
◆これまでの「デジタル庁Techブログ」記事は以下のリンクをご覧ください。