手元で動かすとき、効くのは「重みの持ち方」だった

• 同じモデルでも重みの持ち方でメモリが変わる
• ファイル名の記号が持ち方を表している
• 必要な量はパラメータ数 × ビット数 ÷ 8でおおよそ出る

手元で言語モデルを動かそうとすると、同じ名前のモデルに記号違いのファイルが何種類も並んでいる。この記号が何なのかを調べたら、選ぶ基準がそこにあった。

配布されている形

手元で動かすときによく使われるのがGGUFという形式になる。

解説にはこうある。モデルの読み込みと保存を速くすることに最適化された二進形式で、推論に向いているとされる。

特徴として挙げられているのが、重みだけを入れる形式と違い、重みと決まった形の付帯情報の両方を収める点になる。設定が一緒に入っているので、1つのファイルを置けば動く。

記号の読み方

ファイル名の末尾に付いている記号が、1つの重みをどう持っているかを表す。

数字がきれいな整数にならないのは、まとまりごとに倍率を別に持っているためになる。重みそのものは4ビットでも、倍率の分が上乗せされて4.5ビットになる。

Kが付いているもの

解説によれば、K が付く形式は複数のまとまりをさらに大きなまとまりにして、倍率と最小値を持たせる作りになっている。

記号だけの旧式も残っているが、今は広くは使われていないと注記されている。選ぶときは K が付いているほうを見ればいい。

必要な量の見積もり

おおよその計算は単純になる。

重みの量 ≒ パラメータ数 × 1つあたりのビット数 ÷ 8

70億パラメータのモデルを4.5ビットで持つなら、重みだけでおよそ3.9GBになる。16ビットなら約14GB、32ビットなら約28GBだ。

これで全部ではない

注意したいのは、これは重みの分だけという点になる。

実際には文脈を保っておくための領域と、計算の作業領域が別に要る。しかも文脈の分は、やり取りが長くなるほど増える。

最初は動いていたのに、会話を続けると重くなったり落ちたりするのは、これが理由になることが多い。文脈ウィンドウに何が入っているのかで書いたとおり、やり取りは積み上がっていく。

選び方

手順にすると、こうなる。

1. 4ビット前後から試す。入らなければ下げ、余るなら上げる
2. 同じ質問を複数の持ち方で投げて比べる。体感ではなく、同じ入力で
3. 長いやり取りで試す。短いやり取りだけでは、足りるかどうか分からない
4. 何に使うかで決める。要約なら粗くても通るが、数字や固有名詞を正確に出したいなら上げる

2番目を飛ばすと、判断が印象になる。同じ入力を並べて見ると、どこで崩れるかがはっきりする。

言語モデルが文字を選ぶ仕組みそのものはどうやって文章を作っているのかに書いた。粗くすると、その選び方がぶれると考えると分かりやすい。

まとめ

• 手元で動かす形式は重みと付帯情報を1つのファイルにまとめる
• ファイル名の記号が1つの重みを何ビットで持つかを表す
• 数字が整数にならないのはまとまりごとの倍率が乗るため
• 見積もりはパラメータ数 × ビット数 ÷ 8
• 重みの分だけでは足りない。文脈の分が別に要り、やり取りで増える
• 4ビット前後から試し、同じ入力で比べる

出典

• Hugging Face「GGUF」（形式の目的、重みと付帯情報を収めること、各持ち方の1重みあたりビット数、旧式の扱い。2026年10月13日に確認）

図は本記事のために作成したもの。見積もりの計算値は、記載されているビット数から算出したもの。