直積量子化（PQ） とは？

どちらも少ない表現で近似する量子化の仲間だよ。モデルの量子化では重みなどを少ないビットで表すことが多く、この記事のPQは検索対象のベクトルを部分ごとの代表番号で圧縮する方法なんだ。PQがモデル圧縮に応用されることもあるので、完全に無関係な技術という意味ではないよ。

まずベクトルをm個の部分ベクトルに分けるよ。たとえば128次元を、32次元ずつ4個に分けるイメージだね。それぞれの部分でk-meansを使って代表点の一覧（コードブック）を作って、各部分ベクトルは「いちばん近い代表点の番号」だけで表すんだ。

そうなんだ。代表点が256個なら、1つの部分は1バイトで表せるよ。128次元のfloat32は512バイトだけど、4個の部分に分ければ4バイトになるんだ。しかも、部分ごとに256通りを選べるから、全体では256の4乗通りの代表点を表せるよ。これが「直積」の名前の由来なんだね。 これはベクトル1本の符号長で、全体で共有するコードブックや索引などの容量は別に必要だよ。

できるよ。L2距離を使う例なら、クエリの各部分と対応するコードブックの代表点との二乗距離を表にするんだ。データの番号で表を引いて足すと、クエリと復元した近似ベクトルとの二乗距離になる。距離そのものを足すわけではないよ。クエリは元のままでデータ側だけ圧縮するので、ADC（非対称距離計算）と呼ばれるんだ。

代表点で置き換えるぶん、元のベクトルには戻らない非可逆圧縮だよ。精度の落ち方はデータや分割数・代表点数によって違うから、再現率などを実測して選ぶんだ。PQで候補を絞ってから元のベクトルで並べ直したり、IVFのような索引と組み合わせたりするよ。Jégouらの論文で検索への利用が説明され、Faissのような大規模なベクトル検索ライブラリでも使われているんだ。