オンデバイスAI とは？

推論を外部サーバーに任せるか、端末上で行うかが違うよ。端末上なら、その処理のために入力を外へ送らずに済む。ただし、モデルの取得や別機能の通信もあるので、アプリ全体のデータの扱いは別に確認するんだ。

たとえばGoogleのML Kitには、端末上で画像の文字を読んだり、写真の物体を識別したり、文章を翻訳したりする機能があるよ。サービスの名前だけで、すべての機能が端末内の処理だとは決めつけないでね。

必須ではなく、CPUやGPUを使う実装もあるよ。NPUを使うにはモデルやソフトの対応が必要。使えるメモリや計算能力に合わせ、量子化などでモデルを軽くする工夫もあるんだ。

必要なモデルが端末にあれば、推論をオフラインで行える機能もあるよ。ただし最初のダウンロードが必要な場合もあるし、クラウド機能を組み合わせるアプリもある。手元での処理と外部での処理を、機能ごとに見分けよう。