【オラマ】

Ollama とは?

公開:
💡 おうちでAI、コマンド一発
📌 このページのポイント
Ollama — ローカルLLM実行の仕組み ユーザー ターミナル / API ollama run Ollama サーバー REST API モデル管理 llama.cpp エンジン モデルライブラリ Llama 3 Mistral / Gemma Phi / Qwen ... 簡単操作 コマンド1つで起動 プライバシー データがPC外に出ない API提供 アプリと連携可能
OllamaによるローカルLLM実行のイメージ
ひよこ ひよこ
Ollamaって何ができるの?ChatGPTとは違うの?
ペンギン先生 ペンギン先生
ChatGPTOpenAIサーバーにアクセスして使うけど、Ollamaは自分のPCでAIを動かすツールだよ。インターネットに繋がなくても使えるし、会話内容が外部に送信されないから安心なんだ
ひよこ ひよこ
使うのは難しくないの?
ペンギン先生 ペンギン先生
とても簡単だよ。インストールしたら「ollama run llama3」みたいにコマンドを打つだけ。Dockerを使ったことがあるなら馴染みやすいと思う。モデルのダウンロードも自動でやってくれるんだ
ひよこ ひよこ
どのくらいのスペックのPCが必要なの?
ペンギン先生 ペンギン先生
7Bパラメータくらいの小さめのモデルなら、メモリ8GBのPCでも動くよ。もちろんGPUがあれば速くなるけど、CPUだけでも使える。70Bクラスの大きなモデルは32GB以上のメモリが欲しいところだね
ひよこ ひよこ
プログラムから呼び出すこともできるの?
ペンギン先生 ペンギン先生
もちろん。OllamaはREST APIを提供していて、PythonJavaScriptから簡単に呼び出せるよ。VS Codeの拡張やチャットUIと組み合わせれば、自分専用のAIアシスタントが作れるんだ。内部的にはllama.cppがベースになっているから、量子化モデルも効率よく動くよ
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「Ollama」って出てきたら「自分のPCでLLMを手軽に動かせるツール」と思えればだいたいOK!
📖 おまけ:英語の意味
「Ollama」 = オラマ
💬 ラマ(Llama)モデルを手元で動かすというコンセプトから名付けられたよ
← 用語集にもどる