エッジAI とは？

クラウドAIはクラウド側で処理するのに対し、エッジAIはスマホやカメラ、現場のサーバーなどで処理するよ。身近な例では、AppleのFace IDが端末内のNeural Engineなどを使い、顔認証データは端末外に出ないと説明されているんだ。

クラウドとの通信の往復による待ち時間や、送信するデータを減らせるよ。モデルや必要なデータが手元にあり、処理が外部サービスに依存しない構成なら、オフラインで動かせる。すべてのエッジAIが通信なしで動くという意味ではないんだ。

モデルの大きさと、機器のメモリや処理能力などによるよ。小さいモデルを選んだり、量子化などの最適化を使ったりする方法がある。CPU・GPU・NPUなどの利用も含め、対象の機器で動作を確かめる必要があるんだ。

たとえばGoogleのLiteRTは、TensorFlow Liteを基盤とした端末向けAIの仕組みだよ。学習済みモデルを使うか、対応する形式に変換し、必要な最適化を行って端末へ配置する。学習を必ずクラウドで行うという条件はないんだ。

回線の速度だけでは決まらないよ。処理の待ち時間や送信するデータ、通信が切れたときの動作なども関係する。現場で推論してクラウドでモデルを更新するなど、役割を分担する構成も選べるんだ。