【えすじーらんぐ】
SGLang とは?
公開:
💡 LLMへのリクエストを受け、効率よく回答を生成する推論ソフト
📌 このページのポイント
SGLangって、新しいAIモデルなの?
モデルを動かす側のソフトだよ。アプリの質問を受け取り、LLMの計算を進めて回答を返す。モデルを料理のレシピに例えるなら、注文をさばく厨房のような役だね。
何を工夫しているの?
複数の要求を組み合わせて計算したり、同じ入力の先頭部分で計算済みの情報を再利用したりするよ。実際の効き方は入力の長さや同時利用の数で変わるんだ。
vLLMと同じもの?
どちらもLLM推論に使うけれど、別のプロジェクトだよ。使いたいモデル、機器、運用機能をそろえて比較する。どちらが常に速いとは決められないね。
手元のPCでも動く?
公式資料で機器とモデルの組み合わせを確認しよう。必要なメモリや実行方法が異なるので、ソフトを入れるだけでどのモデルも動くわけではないよ。
まとめ:ざっくりこれだけ覚えればOK!
「SGLang」って出てきたら「LLMの注文を受けて、回答の計算を進めるソフト」と思えばだいたいOK!