国産LLMは作れるのか？ - RakutenAI 3.0の炎上から考える

NTTのtsuzumiはどうなんだろう

config.jsonに中身バラされてるの草。補助金もらってガワだけ国産アピールは萎えるわ

AIではないが、全文検索機能を作ってると日本語の検索のややこしさに頭痛くなる。英語と違って単語で区切られてないから、分ち書きを裏で行ったりとか、まあやることがとにかく多くてな。LLMも大変だろう

deepseek.v3が既にchatgpt4o超えてんじゃないの

「LLMのPre-trainingを設計・実行できるエンジニアは世界的に見ても希少」というのは事実なら残念だが、それこそ xx研とか日本のAIの第一人者とか言われている人は何をやっているのかという気にはなる。

誰もやらないだけじゃ？

ブックマークだけして使っていなかった。削除した。

今さらゼロから作るなんてそりゃいろんな意味で無理だし無駄でしょう。学習データ用意するとこから大変そう。最初から正直にゲロってたら問題なかった。存在感出すにはもうLLM以外のアーキを開発するしかないのでは。

日本でITサービス絡みは利権化させんと過去の事例から逮捕、投獄まであるからな。AIなら著作権法、個人情報保護法、弁護士法、医師法等々、幅広く難癖付けられてしょっ引かれて潰されるやで投資の旨味が無いんやで。

この分野は結局、資金。オープン化しているから、自前の技術力は無くてもよい。が、そこを隠したがるのが日本のメンツ。その縛りでの資金援助というのは筋が悪い。

A100なんて何世代も前のGPUで語ってるけど、このままGPUの価格性能比が上がっていけばゼロから作り直すのも設備費用面で現実的になりそうと感じる。けどこういう泥臭い仕事を今の日本人はやりたがらないんだよね。

純国産LLMは既にいくつも作られています。PFN（PLaMo）、NTT（tsuzumi）、Softbank（Sarashina）、NEC（cotomi）。

既に作られている事実に全く触れないのはどうなのか

nanochatだと、GPT-3相当が8xH100 で500万円程度と予測されてるし、最新GPUだとさらにコストが落ちるから、200万弱では作れそう。でもそれ自体に意味ないので、学習データの方を公開してほしい

PlamoやTsuzumiもそうだっけ？と思って調べてしまった。理研のやつ入れるくらいならなんでこの辺り入れんの

純国産LLMは作られてるけど全部ゴミレベルだよ。使ったことある？

今のLLMはアーキテクチャが日本語に向いてなさすぎる。何でかは知らんが。

日本発の基盤モデルを育てるという趣旨の公募で支援を受けて外国発の基盤モデルを使うのは条件違反なので返金を要求すべきではないか？採択や審査に不正があったのではないか？なあなあで済ませるべきでは無いと思う

PLaMoは？ねえPLaMoは？？

そもそも採択されている企業で安定的に金がありそうなのがNRIと楽天くらいなので、そもそも目的が育成って感じだからそんなに目くじらたてなくてもと思う。楽天は実績づくりにお付き合いしてる方じゃね