無料で使えるAI｢ローカルLLM｣の進化がすごいよって話

Mac studioのいい感じのが手に入らなくなってる。

ローカルでここまで動くのは胸熱だけど、VRAMの暴力が加速して財布が死ぬ未来しか見えない

ライター氏はPCでの話をしてるけど、Google AI Edge Galleryをスマホにインストールして、Wifiの効かない飛行機の中でGemma 4とチャットして「まだまだだな」と優越感に浸れるか試してみるのもオツだと思う。

ローカルLLMは夢が広がるねえ。あとは人間の記憶を完全に蒸留できれば、もうSFの世界だわ

まだまだだという意見も多いけど、実際に自分で確かめてみるか

インターネットつなげられない環境にもエージェント欲しい場面が多い

1年後にはもっと簡単に導入できてさらに高性能になってるはず。だからまだ早い…♠（やらない言い訳）

も少し簡単にならないとなー

やっぱりネットに繋がらないとな〜ってなってくる。でも、安全性を担保しないといけない。難しい。

今後のAI進化のメインストリームかなとは

結構前にローカルで試した感じだとネットで調べてくれない分調べ物系はダメだった気がする。調べ物だけネットで推論はローカルとかできるようになってればいいな。

GPUがなぁ……

GIGAZINEにしてはわかりやすい見出しじゃん、と思ったらGIZMODOだったか

今だに概要がよく分からなくて手を出してない。これもいずれ無料ではなくなる？

「無料・格安で使わせて覇権取ったら有料・値上げ」のパターンが多すぎて、「今の時点で安い事」にあんまり価値を感じないんだよね。逆にこれを公開してる側のメリットはなんだろう。

ローカルLLMにぶち込んだ文章の中の個人情報の部分だけ匿名化させて、それを普通のAIにコピペすればいいとこ取りできないかな。

凄いが同時にまだまだ。メモリの容量、帯域に律速していて劇的にパソコン構成と価格構成が変わらない限りキツイ気がしてならない

31Bは半年～1年前のクローズモデル程度の能力は出てるらしい。GPT5～5.1相当。さすがに普通のゲーミングPCでは厳しく、ウルトラハイエンドかAI用に組んだものが必要だが。今後の進化が待ち遠しい

さすがにグラボ積んでないマシンだとねぇ。ゲームに使わないPCにGPU積むには高すぎるし、メモリで誤魔化すにも高騰しすぎだよ。

redisの作者がdeepseek 4用に書いたインターフェースエンジンが凄くて、SSD上にKV保存させて、MacのGPU最適化のMetalを利用し、128GBのメモリで1Mコンテクスト枠使えるようにしてる → https://github.com/antirez/ds4