ローカル LLM を構築した

faviconZenn
https://zenn.dev/neet/articles/11bafab8645995
🔒 31
💬 5
先着人気新着➡️
sotonohitokun画像作成や動画もローカルでーならほぼそれだが、LLMだけならコストはGB10の方が良い。今そのモデルなら50TPS行くし24Hエージェント立てる時の電気代がデカい
2026/07/15 22:01

sotonohitokun

画像作成や動画もローカルでーならほぼそれだが、LLMだけならコストはGB10の方が良い。今そのモデルなら50TPS行くし24Hエージェント立てる時の電気代がデカい
2026/07/15 22:01🔗 リンク
naozane2Qwen3.6-27B-FP8・2枚の RTX 3090 を導入・ VRAM は合計で 48 GB・33.2 token/s ／36万円くらいかな／電気代…。
2026/07/15 22:25★★

naozane2

Qwen3.6-27B-FP8・2枚の RTX 3090 を導入・ VRAM は合計で 48 GB・33.2 token/s ／36万円くらいかな／電気代…。
2026/07/15 22:25🔗 リンク★★
masatotoroメモリ48GB
2026/07/15 23:52

masatotoro

メモリ48GB
2026/07/15 23:52🔗 リンク
rdlfこの価格を出すならMacBook Proを買っても良さそうだが…まぁGPUがしょぼいから動くけど性能はイマイチだったりするけど。
2026/07/16 00:27★

rdlf

この価格を出すならMacBook Proを買っても良さそうだが…まぁGPUがしょぼいから動くけど性能はイマイチだったりするけど。
2026/07/16 00:27🔗 リンク★
wordi今は、普段は16GB VRAMのRTX5060Tiに収まるQAT Q4やNVFP4モデルで、コード補完ならそもそもLSPで良くて、必要時にOpenRouterで70B級を動かすくらいが良いと思う
2026/07/16 02:06

wordi

今は、普段は16GB VRAMのRTX5060Tiに収まるQAT Q4やNVFP4モデルで、コード補完ならそもそもLSPで良くて、必要時にOpenRouterで70B級を動かすくらいが良いと思う
2026/07/16 02:06🔗 リンク