【えすじーらんぐ】

SGLang とは?

公開:
💡 LLMへのリクエストを受け、効率よく回答を生成する推論ソフト
📌 このページのポイント
質問を受け、モデルの計算を進める アプリ推論ソフトGPUソフトが要求と計算を管理モデル自体を表す名前ではない
推論ソフトとモデルは別の役割です。対応機器や設定により、実行できる機能は異なります。
ひよこ ひよこ
SGLangって、新しいAIモデルなの?
ペンギン先生 ペンギン先生
モデルを動かす側のソフトだよ。アプリの質問を受け取り、LLMの計算を進めて回答を返す。モデルを料理のレシピに例えるなら、注文をさばく厨房のような役だね。
ひよこ ひよこ
何を工夫しているの?
ペンギン先生 ペンギン先生
複数の要求を組み合わせて計算したり、同じ入力の先頭部分で計算済みの情報を再利用したりするよ。実際の効き方は入力の長さや同時利用の数で変わるんだ。
ひよこ ひよこ
vLLMと同じもの?
ペンギン先生 ペンギン先生
どちらもLLM推論に使うけれど、別のプロジェクトだよ。使いたいモデル、機器、運用機能をそろえて比較する。どちらが常に速いとは決められないね。
ひよこ ひよこ
手元のPCでも動く?
ペンギン先生 ペンギン先生
公式資料で機器とモデルの組み合わせを確認しよう。必要なメモリや実行方法が異なるので、ソフトを入れるだけでどのモデルも動くわけではないよ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「SGLang」って出てきたら「LLMの注文を受けて、回答の計算を進めるソフト」と思えばだいたいOK!

参考資料

← 用語集にもどる