How it works
モデルがスマホで動くほど小さくなるまで
ステップ 1 / 6
大きく学習
まずクラウドで高性能なモデルを学習します。この段階ではスマホには到底載りません。
詳しい解説
プライバシーは「局所性」の副産物
オンデバイスAIの強みは、そもそもデータを端末の外へ出さないことにあります。生データがネットワークに乗らないため、プライバシーと低遅延（さらにオフライン動作）が同時に手に入ります。CODASが掲げる「生データを外に出さずにAIを使う」という思想と最も素直に噛み合う方式です。
圧縮の道具箱
巨大なモデルを端末に載せるには、①量子化（int8/int4化、GGUFなどの形式）②蒸留（大きなモデルの知識を小さなSLMへ）③枝刈りが使われます。特に量子化は効果が大きく、int4はFP16に対しメモリをおよそ1/4に抑えます。
重労働を担ったのはシリコン
この普及を支えたのは専用アクセラレータです。AppleのNeural Engine、QualcommのHexagon（AI Engine）などのNPUがint4/int8をCPUから切り離して高速に処理し、Apple M4やSnapdragon X Eliteなど主流の端末に載りました。Apple Intelligenceは約30億パラメータのモデルを端末側に常駐させ、Gemini NanoはAndroidのAICore経由でシリコンに焼き込まれています。
限界とハイブリッド
端末のメモリ・電力・演算には天井があり、最大級のモデルはそのままでは動きません。そこで、日常の処理は端末で行い、重い処理だけを機密性の高いクラウド（AppleのPrivate Cloud Computeなど）に逃がすハイブリッド構成が現実解になっています。
主要パラメータ・設計要素
量子化
int8/int4、GGUFのk-quant等。ビット数を半分にするごとにメモリはほぼ半減し、int4はFP16の約1/4。
NPU／Neural Engine
専用アクセラレータ（Apple Neural Engine、Qualcomm Hexagon等）がint4/int8をCPUから切り離して高速実行。
蒸留・SLM
大きなモデルから1〜3B規模の小型モデルへ知識を移す。多くの実務タスクには十分な精度。
メモリ／電力の制約
RAM予算（Gemini Nano級で概ね十数GB）とバッテリーがモデルサイズの上限を決める。
レイテンシ
ローカル推論はネットワーク往復を消し、オフラインでも動く。応答が速く、途切れない。
産業・ユースケース
この技術が実際に価値を生んでいる領域と、その使われ方。
スマートフォン
アシスタント・キーボード・写真整理などの機能を端末内のNPUで実行する。音声認識や被写体分類、顔グルーピングを行う際に画像や音声をクラウドへ送らずプライバシーを保つ。
医療・ウェアラブル
スマートウォッチや医療ウェアラブルが心拍異常・転倒・睡眠段階の推定を端末上で行う。連続的な生体信号を外部送信せずに解析し、必要な通知やサマリーだけを共有する。
自動車・ADAS
先進運転支援システムはカメラ・レーダー映像を車載チップでリアルタイム処理し、歩行者検知や車線維持を行う。低遅延が必須なため知覚推論を端末内で完結させる。
小売・スマートカメラ
店舗のスマートカメラが人数計測やヒートマップを端末側で生成し、集計データだけを送る。個々の顔映像を保存・送信せずに来店分析を行える。
産業・エッジ
工場や設備のエッジ機器が振動・音・映像から異常検知を現場で行う。ネットワークが不安定でも稼働し、機微な稼働データを外部に出さずに保守判断を下せる。
最新の動向
SLM（小型言語モデル）が「実用に十分」に。多くの本番用途で、安く・速く・プライベートに動く（BentoML）。
Apple Intelligenceが約30億パラメータのオンデバイスモデルをシステム全体で提供（Apple）。
Gemini NanoがAndroidのAICore経由でシリコンに統合。相応のNPUとRAMを要求する（Google/Android）。
int4が実配布の既定精度になり、GGUFが可搬なコンテナ形式として定着（llama.cpp）。
端末＋機密クラウドのハイブリッド化（AppleのPrivate Cloud Compute）が、あふれた処理の受け皿になっている。
ベンチマーク・実測の目安
int4量子化のメモリ削減
FP16に対し約1/4（4ビットは0.5バイト/重み）
llama.cpp（ggml-org）の量子化。メモリはビット数に比例するため4ビットで約1/4。
Appleのオンデバイス基盤モデル
約30億パラメータ・端末側に常駐
Apple Intelligence（Apple Developer）。システム全体で使える端末内モデルの規模。
Gemini Nanoの動作要件
対応NPUと相応のRAMを要求
Android の Gemini Nano／AICore ドキュメント。対応ハードウェアでのみローカル動作。
※数値は各出典に基づく参考値です。前提条件により大きく変わります。実装時は一次情報をご確認ください。