1-bit LLM「Bonsai」活用ガイド — 1.15GB で動く 8B モデルをローカルで使い倒す

昨日M1 MBPでためしてだめだったんだけど、公式のLMStudioじゃ動かないのね

適当なこと言うし頭悪い印象

量子化なしだとしても、まだ8Bはまともじゃないよ。2Tパラメータとかのでっかいネイティブ1 bit LLM（学習とか全部1 bit 前提のやつ）の登場が楽しみ。

なんか微妙な評判が多いけどそのうち試してみたいな、VRAM消費あたりの性能は結局どうなんだろう

8Bのq1を何に使うんだよ。前のAIブームの時は「i7・HDD・GT710のマシーンを揃えたんだがAIが重くて動かないからどのXeonを買えばいいか教えろ」みたいなアホが山ほどいたよな。

デモ既定が三値版という点が要点。BitNet b1.58が示した-1/0/+1で品質差が縮む知見の延長で、純1bitとの住み分けはこの系譜で読むと分かりやすい

CPUとメモリだけで動かせる点は野心的。性能は人工無脳なみ。VRAM8GBあればQwen3.5 9BQ4が普通に動かせるので並のゲーミングノート持ってればQwen3.5がおすすめ。

少しずつではあるが軽量で性能が良いLLMが登場している。いずれインディレベルのゲームに組み込めるモデルが登場することを期待。

いまなら27Bの方を試すべきでは。1bit版なら3.9 GB。1.58bit版でも5.9 GB。

“日本語もかなり自然で、以下の用途は 8B で実用的。議事録・記事の要約 、メールや文章の下書き・リライト。自作アプリの推論エンジンに組み込める。　1.58-bit はわずかなサイズ増と引き換えに、1-bit 版より高品質”