DeepSeek とは？

開発組織の名前であり、公開するモデルのシリーズにも使われているよ。たとえばV3は文章やコードを扱う言語モデル、R1は推論能力を重視したモデル。ここではこの二つを例にするね。

V3はMoEを使い、トークンごとに一部のエキスパートを選んで計算するよ。「数学係」などの担当を人が固定しているわけではないんだ。共有エキスパートやAttentionなども働くので、選ばれた部分だけでモデル全体が完結するわけでもないよ。

V3の技術報告の費用は、そのモデルの正式な学習にかかったGPU時間をもとにした見積もりだよ。事前研究や実験の費用は含まない。開発総費用や別モデルの費用と、そのまま比べることはできないんだ。

強化学習などを使い、数学・コード・推論の課題で評価されたモデルだよ。R1から生成したデータで学習した小さい蒸留モデルもある。こちらはQwenやLlamaを基にしたDenseモデルで、全部がMoEではないんだ。性能は課題や設定によって変わるよ。

公開された重みを使って動かす方法が案内されているよ。ただし必要なメモリや計算資源はモデルごとに違う。R1本体と蒸留版でも利用条件を確認しよう。重みの公開だけで、訓練データや開発過程の全てが公開されたとは言えないんだ。