llama.cpp とは？

学習済みのモデルを読み込み、入力に対する答えを生成する推論エンジンだよ。モデルの知識がllama.cppに入っているわけではないので、対応するモデルも用意する。C/C++で実装され、Llama以外の対応モデルも実行できるんだ。

CPUだけでの実行にも対応しているよ。CUDA・Metal・Vulkanなどのバックエンドで対応GPUを利用したり、CPUとGPUを組み合わせたりもできる。ただし、どのモデルでも快適に動くという意味ではない。モデルの大きさと、機器のメモリや処理能力を合わせて選ぼう。

GGUFはモデルを保存して読み込むためのファイル形式だよ。量子化は重みなどを少ないビットで表して、メモリの負担を減らす方法。4ビットや5ビットなどの方式があるけれど、精度との兼ね合いがあり、実行時には重み以外の領域も必要なので単純なビット数の比だけで必要メモリは決まらないんだ。

公式の配布物やビルド手順を確認し、まずは対応する小さなモデルで試すと状況をつかみやすいよ。コマンドラインでの実行や、Web画面・APIを提供するサーバーの仕組みがある。モデルによって利用条件も違うので、ダウンロード元とライセンスを確認しよう。

モデルを手元に用意し、ローカルで推論すれば、外部のAIサービスへ入力を送らずに実行できるよ。ただしモデルのダウンロードや外部ツールとの連携などは通信を伴う場合がある。サーバーとして使う場合も、待ち受ける範囲や認証を確認しよう。どの構成でも自動的に非公開になるわけではないんだ。