ローカルLLMを動かすハードウェア - きしだのHatena

RTX5090が60万超えとかもう個人でLLM動かすのは富豪の趣味だな

企業向けでは？個人だと結局は趣味の範疇。ただ、ちょっと出せば数カ月前のフロンティア級が個人で動かせるのは今しか感じられないロマンかもしれない。後の人生も変わるかも知れない

真のガチローカルLLMは家庭用の電力契約と壁のコンセントでは無理で、電線からの配線も引き直す必要がある場合がある。夏季の排熱問題もあるので、まずダクトや空調設備から。GPUはその後に考えれば良い。

こう見ると4060tiがよいみたいに見えるがマザボ、電源、あと所詮二枚刺しというハードルと値段が上がることがデメリットが隠れてる

“Ryzen AI Max+ 395搭載の128GBのEVO-X2が48万円。DGX Spark互換のGX10が58万円。Mac Studioの96GBが60万円。GPUであれば、RTX 5060 Ti 16GBを2枚挿しが安く20万弱で32GBを得る”

GMKtec EVO-X2 128GBが50万円弱か1年前なら約半額だったが、昨今の半導体価格を見ていると倍で済んでいれば安い？ LLM目的ならDGX Spark 互換機が +10万円なのでそちらを選んだ方が幸せかも。どちらにしても手が届かなすぎるが。

大部分がVRAM 8~16GBで4～9Bぐらいが限界じゃないかなと。頑張ってMoEのA3B。ローカルはロマンあるけどかかるコストが富豪向けすぎる。安い時期に買ってた中古のRX7900XTXで27Bモデル使ってはいるけど。

AMDのRX9060 16GB×2枚が一番安いんだが（※ただし性能とホストの足回りは考慮しない）。↓富豪の趣味？プロ用のRTX PRO 6000 Blackwellでも軽自動車1台分だが、軽自動車は富豪の趣味か？年始にEVO-X2買っといてよかったわw

メモ

EVO-X2 が二十五万円くらいのときに買っておかなかったの人生で六番目くらいに後悔してる。 https://www.bosgamepc.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395 こっちのが少し安いね。

5060ti の2枚挿し…。単純に倍とはいかないだろうな。効果が出るシーンは限定されそう

ほぼアフィリエイトリンクだった

RTX 5600 Ti * 2 でも動くのか。確かに変な中古買うよりよさそう。

なんか、値段見て「結構です」としか

ロマンはあるが、コストが高い。もっと安くならないかなと思うが、最近はむしろ高くなっているか。

RX Pro9700上げるなら同じコアのRX9070XTのDualの方がRTX5600Tiより速くて安そう。問題は消費電力とGPU二枚刺しは一般向けはママ板選べばGPU間のPCIeレーン数が８でメインメモリ並みの帯域でアクセスはできなくはないが遅い。

クラウドとの比較だと何年くらいでローカルの方が上回るんだろ……。ここまでしてローカルでやりたいか？という話になるよなあ。

ええ今GX10普通に買えるのかぁ、年末買えず他社の4TBを66万で買ってしまった。うぐぐ。

ローカルでAIならSpark系統が俺はおすすめ。最新のモデルも大体載る上にスケールしやすい、且つ、値上がり幅が緩いので損した感が少ない。とはいえ、最オシはKimiとかDeepseekPro課金でいいのでは？20tok/s無いとストレス

個人で手を出せる値段じゃないなぁ