IoTシステムでは、多種多様なセンサーデバイスが使われています。例えば製造業の工場に導入されている生産装置を監視するIoTシステムには、温度の変化を検知する温度センサー、動作速度や回転数を測定する加速度センサー、運動周期を検知する振動センサーなどが搭載されており、それぞれのセンサーが、異常発生の予兆を知らせる微妙な変化を検知するという役割を担っています。そんな数あるセンサーデバイスの種類のうち、最近のIoTシステムに多く採用されているのが「カメラ」と「マイク」です。

カメラは可視光線や赤外線などの電磁波を感知し、物体の形状や位置を検知・認識するために使われるセンサーデバイスです。光学レンズを使って被写体の映像を結像させ、イメージセンサーが映像を電気信号に変換するという機能を果たしています。

一方のマイクは、空気や水などを伝わる振動（音）を磁石やコイルを使って拾い、それを電気信号に変換するセンサーデバイスです。振動センサーの一種であり、主に人間の可聴周波数帯の音波を認識するために使われます。

IoTシステムにとって、カメラは「目」、マイクは「耳」としての働きをするものであり、カメラとマイクに関連する技術の発展により、高度なIoTシステムが実現できたといっても過言ではありません。

今回は、そんなカメラとマイクを取り巻く最新技術を紹介します。

現在のIoTシステムで最も多く利用されているセンサーデバイスがカメラです。カメラが撮影した映像をリアルタイムに分析するIoTシステムは、不審者の疑わしい行動を検知する防犯目的の仕組み、 店舗内の顧客属性や行動を分析して効果的なマーケティング施策につなげる仕組み、工場の品質検査工程で不良品を即座に発見する仕組みなど、多岐にわたる用途で活用されています。それらのIoTシステムを支えるカメラの技術は、カメラの構成要素の一つであるイメージセンサー、カメラの機能を高めるソフトウェアの両方で目覚ましい進化を遂げつつあります。

“電子の目”とも言うべき撮像素子（半導体）であるイメージセンサーには、大きく分けてCCD（Charge-Coupled Device：電荷結合素子）を利用したもの、CMOS（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）を利用したものの2種類があります。1990年代までは画質の良いCCDイメージセンサーが主流でしたが、現在はCCDよりも、高速・安価・低消費電力という特長を持つCMOSイメージセンサーが主流となっています。

そんなCMOSイメージセンサーは現在、熾烈な画素数競争が繰り広げられています。画素数が増えれば増えるほど高精細な映像を撮影することが可能です。スマートフォンやコンパクトデジタルカメラは1000～3000万画素のイメージセンサーを搭載していますが、メーカーの開発競争は億レベルに達しています。例えばキヤノンが開発したCMOSイメージセンサーの最大画素数は2.5億。同社によると、18km先を飛行する航空機の機体に書かれた文字を認識できるそうです。

ただし画素数だけを追い求めても、画素ピッチが小さくなって画質が損なわれるという課題があるため、世界のCMOSイメージセンサー市場で5割以上のトップシェアを誇るソニーは、安易な画素数競争に乗らないという立場です。

画素数以外では、高感度・偏光などの技術開発が進められています。光量の非常に少ない暗闇の中でも、真昼のような映像を撮影できる超高感度センサー、太陽光の反射や逆光、濃霧、雨天といった悪条件下でも鮮やかな映像が撮影できる偏光センサーがすでに開発されており、民生用カメラ製品だけでなくIoTシステムのカメラにも適用されつつあります。

図1●キヤノンが開発した2.5億画素のCMOSイメージセンサー（出典：キヤノン ニュースリリース）

https://global.canon/ja/news/2015/p2015sep07j.html

カメラについては、IoTシステムとしての機能を高めるソフトウェアも続々と登場しています。例えば被写体の人物が立ち止まらなくても、さまざまな角度から認証できる顔認証技術（NEC）、複数の映像に写った対象人物を特定して追跡する技術（日立）、高速な動きでもブレを抑えた映像を撮影して高精度にパターンマッチングを行う技術（リコー）、センサーが感知できる波長を可視光線から広げて可視化する多波長化技術（パナソニック）などは、いずれもCCDイメージセンサーの機能を高めるソフトウェア技術によって実現されています。

さらに最近は、チップの中にAIによる画像解析処理機能を搭載したCCDイメージセンサーも登場しました。例えばソニーが発表した「インテリジェントビジョンセンサー」は、AIに特化した処理を行う独自のDSP（Digital Signal Processor）と、AIモデルを書き込めるメモリを搭載。撮影した映像をエッジで処理したうえで、多彩な形式の画像フォーマット、特定領域を切り出した画像、対象物を認識したメタデータとして出力する機能を備えています。

さらにソニーは、光源から発した光が被写体に反射してセンサーに届くまでの時間差を検出し、被写体までの距離を測定する距離センサーの開発も進めています。このセンサーが実用化されれば、VR（仮想現実）／AR（拡張現実）をはじめ、自律的な動作が求められる自動運転車、ロボット、ドローンに搭載し、物体認識や障害物検知を実現できるIoTシステムが容易に実現できるようになるでしょう。

図2●ソニーのAI処理機能搭載イメージセンサーは、多彩なデータ出力が可能

（出典：ソニー ニュースリリース）

https://www.sony.co.jp/SonyInfo/News/Press/202005/20-037/

IoTシステムに使われるマイクも進化しています。

IoTシステムのセンサーデバイスで音を拾うとき、問題になりがちなのが「雑音」です。例えば自動車内の異音を検知して異常を知らせるようなIoTシステムを実現しようとしたとき、車内で流れている音楽、同乗者同士の会話、エアコンの送風音、走行中の風切り音やロードノイズといった雑音に惑わされることなく、必要な音の情報だけを認識させる必要があります。

こうした用途を想定して開発が進められているのが、高指向性マイクです。例えば富士通では、2つのマイクデバイスと独自の信号処理技術を応用し、対象の音以外の雑音レベルを人間の耳に聞こえないレベルにまで落とす技術の開発に取り組んでいます。

また、人間の耳には聞こえない音も拾える超高感度マイクの開発も進められています。例えば東芝は、同社のスピンエレクトロニクス技術を応用した「ひずみ検知素子」を搭載したMEMS（Micro Electrical Mechanical Systems：微小電気機械システム）マイクを開発しました。このマイクは可聴周波数よりも高い超音波を拾うことができるため、これまで気づくことができなかった超音波の異常音を検出するようなIoTシステムへの応用も期待されています。

マイクについては、上述したハードウェア技術以外にもユニークな取り組みが研究されています。音響制作現場やコンサート会場では、マイクで集音した音声をミキサーで編集し、アンプで増幅してスピーカーから出力します。このうちのミキサーとアンプの処理をクラウド化し、マイクが拾った音声をクラウドへ送信して編集・増幅を実行し、それを受信してスピーカーで流すということが考えられています。

センサーデバイスが収集したデータをクラウド上で処理し、その結果を返すという流れはIoTシステムと何ら変わりはありません。いずれはミキサーやアンプがなくても、音響制作やコンサートが開催できるようになるかもしれません。これもある意味、IoTシステムの進化と呼べるでしょう。

※文中に掲載されている商品またはサービスなどの名称は、各社の商標または登録商標です。