Claude Opus 4.6と同等のAIをローカルで動かすにはいくらかかるか？ローカルLLMを構築してわかったこと

1.5億円分のGPUを5年使うとして、GPU代だけで一月あたり2500円か。電気代とか考えたら当然まだまだ赤字なんだろうなぁ

VRAM 11TBとかもう個人の域を超えてて草。APIがいかに安上がりかよく分かる良記事

やっぱたけえのかー

鉄腕アトムやドラえもんなどの自律したロボットに搭載されている電子頭脳の登場は相当先の話だね。

この立ち位置の内容は面白いね。

比較するにしてもなぜQwen2.5…？3.5の小型モデル使おう

飛鳥時代。

ローカルLLMのVRAM大容量化の一番安上がりは、ユニファイドメモリなMac mini一択が現状(帯域がグラボの約半分だが実用的な速度)、RTX 5090 32GB単品40万円に対し、Mac mini 32GBが15万円、クラウドLLMスペックはローカルだと無理ぞ

そもそもClaude Opusと同等の性能を持つAIがClaude Opusしかないから

“約11.6TBのVRAMが必要です”で笑った

"Anthropic Proプランを$20(3,000円)/月で使い続けた場合" 原油高のせいで電気代が爆上がりするので、こんな値段では使えなくなるだろうな。その瞬間にAI投資バブルも破綻する。

少し前に、OllamaとLMで動かそうとしてみたけど、事前情報どおり、な感じだった。

Ryzen AI 300シリーズのノートPCでRAM128GB載せてれば、gpt-oss-120bがそれなりに使える速度でローカルで動かせるよ。 手元のRyzen AI 9 HX 370だと18token/secくらい。とはいえClaude Opus 4.6には当然及ばない。o4-mini相当。

chatgpt やgeminiに聞くと、qwen2.5使えって出てくるけど、あいつら3.5が出たことを知らないだけだから、今なら3.5の4Bか9B使うのが正解。3070ならメモリ容量的に4Bが無難