Google、最大4倍高速なLLM「DiffusionGemma」無償公開

試してみよう。

拡散モデルはinceptionのmercuryを1年ほど前から使っている。順番こではなく全体が一気にできていくビジュアルが楽しいのだけど、こちらもあの演出はできるんだろうか。https://www.inceptionlabs.ai/ 試してみるか。

おお、これは良さそう。動画にも対応してるし低遅延な翻訳とかに活用できそう

待ってたわーLLMのdiffusionモデル！2年くらい前に一瞬話題になったきりだったけど生きてたのかい。

離散フローマッチングを使えば近いうちもっと高速化されるだろうな

gemmaで遅いと思った事ないけど、早さが欲しい向きもあるよな（´－｀）シンプルに４回動かせるだけでも意味ありそう

“一般的な大規模言語モデル(LLM)がトークン単位で逐次処理を進めていくのに対し、テキストのブロックを同時に並列生成して処理することで、GPUやTPUの待ち時間を減らし、処理の効率化と高速化を図る”

LM Studio に Unsloth 版があったけどモデルローディングに失敗する。 LM Studio のバージョンアップを待つ。

拡散モデルのほうが高速化しやすいのかね

18GBだから使うのは無理だな

最低必要要件が書いて無いのは、そんなに一般向けじゃないって事だよね。

クローズ版の権利当たって使ってたけど連携できない単なるチャットとしてのLLMなんかいくら応答早くても要らなくてなぁ