ソニーが、イメージセンサーとしては世界初のAI処理機能を搭載したインテリジェントビジョンセンサー「 IMX500 」と「 IMX501 」を開発・商品化しました！
世界初のAI搭載型イメージセンサーとは？
その機能は？
気になる部分を分かりやすく解説していきます！

AI搭載のイメージセンサーとは？

イメージセンサー

イメージセンサーとは、デジタルカメラの中にある半導体センサーのことです。カメラのレンズから入射した光を電気信号に変換し、データ転送を行います。デジタルカメラの心臓と言われるほど大事な部分で、イメージセンサーの性能によって写真の画質は大きく左右されます。

AI搭載イメージセンサー

今回商品化された「IMX500」と「IMX501」にはAI処理機能が搭載されており、高速なエッジAIシステムを可能にします。AIが必要なデータだけを抽出することで、クラウドサービス利用時におけるデータ転送遅延時間の提言、プライバシーへの配慮、消費電力や通信コストの削減が実現します。またAI搭載のイメージセンサーを採用することで、AI機能を実装したカメラの開発が可能になります。小売業界や産業機器業界における多様なアプリケーションの実現や、クラウドと協調した最適なシステムの構築に貢献します。

※エッジAI
IoTデバイスが置かれている現場（エッジ）でAI処理をおこなうこと。反対にインターネット経由でクラウドコンピューティングを利用して AI 処理を実行する場合は「クラウドAI」と呼ばれています。

特徴

2層構造によりエッジAIシステムを実現

このインテリジェントビジョンセンサーは通常のイメージセンサーと異なり、「画素チップ」と「ロジックチップ」で構成された特殊な2層構造になっています。この組み込まれた「ロジックチップ」には、通常のイメージセンサーの信号処理回路に加え、AI処理に特化した信号処理を担うソニー独自のDSPと、AIモデルを書き込むことができるメモリーが搭載されています。これにより、高性能なプロセッサや外部メモリーを必要とすることなく、エッジAIシステムを実現することが可能になります。

※DSP（Digital Signal Processor）　＝　光・音・振動などのアナログ信号と呼ばれるものはデジタルサンプリングした情報（デジタル信号）として入力しなければなりません。DSPとはこのデジタル信号処理に特化したプロセッサのことです。

Sony 世界初AI処理機能を搭載したインテリジェントビジョンセンサー 2タイプを商品化 より

メタデータの出力が可能

画素チップから取得した信号をロジックチップで処理する過程で、ISP処理やAI処理を行うことで、対象物をメタデータで出力し、扱うデータ量が削減できます。また、画像情報を出力しないことで、セキュリティリスクを低減し、プライバシーに配慮した対応が可能となります。またユーザーのニーズや用途に応じて、出力データの形式を選択することも可能です。

※メタデータ　＝　あるデータに対して、付帯情報が書いてあるデータのこと。例えば、犬が映り込んでいる被写体を撮影する際、付帯情報として「犬」というメタデータを加えるなど。

※ISP（Image Signal Processor）　＝　デジタルカメラ等で撮影したとき、イメージセンサーから出力される生のデータ（RAWデータ）に対して行われる画像処理のこと。レンズなどの補正処理やイメージセンサーのばらつきなどから生じる傷補正など、主に画素単位の処理を行う。

Sony 世界初AI処理機能を搭載したインテリジェントビジョンセンサー 2タイプを商品化 より

高速なAI処理

通常のイメージセンサーで動画を撮影する場合、クラウドAIシステムのため、出力された1フレームの画像ごとにAI処理に繋げる必要があることから、データの送信が多くなり、リアルタイム性を確保することが困難という問題がありました。しかしこのロジックチップによって、ISP処理および高速なAI処理を行うことにより、動画の1フレーム内で全ての処理が完結します。これにより、動画を撮影しながらの対象物の高精度なリアルタイムトラッキングも可能になりました。

Sony 世界初AI処理機能を搭載したインテリジェントビジョンセンサー 2タイプを商品化 より

自分好みのAIモデルの選択が可能！

AIモデルを書き込むことができるメモリーが搭載されているため、ユーザーの任意のAIモデルをメモリーに書き込み、使用環境や条件に合わせて書き換え、アップデートできます。
例えば、ショッピングモールのような商業施設での利用ケースを想定します。このAIイメージセンサーを採用した複数台のカメラを店舗に設置した場合、1種類のカメラで、設置位置・状況・時間など、目的や用途に応じて使い分けることが可能になります。入り口であれば入店者のカウント、棚であれば商品の欠品検知、天井であれば来店者のヒートマップ（人が多く集まる場所の検知）などの複数の用途に活用できます。また、これまでヒートマップの検出に使用していたAIモデルを、消費者行動を把握するために使用するAIモデルなどに書き換えることも可能です。

参考

Sony 世界初AI処理機能を搭載したインテリジェントビジョンセンサー 2タイプを商品化
ainow 近年話題のエッジAIとは？　クラウドAIとの違い・メリットから有名企業の導入事例・開発事例までとことん紹介
東京エレクトロン CMOSイメージセンサーとは？
Macnica マイコンとはここが違う！デジタル信号処理に特化したDSPとは？
THine Electronics ISP (Image Signal Processor)
Udemy メタデータとは？データ管理に使えるメタデータの意味やメリットを解説！

まとめ

今回は、ソニーが世界で初めて商品化したAI処理機能搭載のイメージセンサーについてご紹介いたしました。このAIイメージセンサーを開発した背景には、AI処理をデータ転送によって通信コストや遅延が発生するクラウドではなく、デバイスで行いたいというニーズがあり、エッジAIシステムによってこの問題を解決しています。小売業や産業機器業界などで活用が期待されますね。