Apple SiliconでAIやっている人に朗報です。vllm-mlxが凄い。 - Qiita

faviconQiita
https://qiita.com/yosim/items/bbc8671d4295139c6e6d
最近インパクトの大きいApple Silicon向けフレームワークが出現しました。「vllm-mlx」です。 一言で言うとvllmライクなインターフェースをApple Silicon向けに提供するもので、MacのGPU（Metal/MPS）...
🔒 39
💬 4
先着人気新着➡️
nguyen-oiMacでローカルLLM勢には待望のツールだな。Paged KV Cacheの恩恵でメモリ節約と高速化を両立できるのは普通に強いわ
2026/02/04 18:01★★

nguyen-oi

MacでローカルLLM勢には待望のツールだな。Paged KV Cacheの恩恵でメモリ節約と高速化を両立できるのは普通に強いわ
2026/02/04 18:01🔗 リンク★★
misshikivllm-mlxはApple Silicon向けのvLLMライクな推論フレームワーク。Metal/MPSによるGPUアクセラレーションで、マルチモーダルモデルを高速・省メモリ実行でき、OpenAI互換APIとしても利用可能。
2026/02/04 21:29★★

misshiki

vllm-mlxはApple Silicon向けのvLLMライクな推論フレームワーク。Metal/MPSによるGPUアクセラレーションで、マルチモーダルモデルを高速・省メモリ実行でき、OpenAI互換APIとしても利用可能。
2026/02/04 21:29🔗 リンク★★
otchy210そろそろ Mac 買い替えなのだが、奮発してメモリ盛るか悩むな…。
2026/02/04 23:48★

otchy210

そろそろ Mac 買い替えなのだが、奮発してメモリ盛るか悩むな…。
2026/02/04 23:48🔗 リンク★
zgmf-x20a凄いこと言ってる。dgx sparkもう終わりとか… https://www.reddit.com/r/LocalLLaMA/s/CilUyjvrmC
2026/02/05 04:00

zgmf-x20a

凄いこと言ってる。dgx sparkもう終わりとか… https://www.reddit.com/r/LocalLLaMA/s/CilUyjvrmC
https://www.reddit.com/r/LocalLLaMA/s/CilUyjvrmC
2026/02/05 04:00🔗 リンク