「次の単語を当てているだけ」のAIが、なぜ数学の証明までできるのか——LLMの創発研究の現在地を調べてみた｜ふちゃぎ
「LLMは、次に来る単語を確率的に予測しているだけ」——TLに流れていたこの説明は正しい。GPTもClaudeも、事前学習でやっていることは突き詰めれば次トークンの予測であり、目的関数にそれ以上の何かは書かれていない。 一方で、同じモデル...
otchy210"創発の産物が創発を語るとき、その語りの流暢さと正しさは、別物ですから。" もう AI 自身がこう言っちゃうのかよ。もはや、裏で各 AI が結託してスカイネット作ってても驚かない水準じゃね？
2026/08/21 07:22★
ducktそもそも人間の思考が「次の単語を当てているだけ」でないという保証はあるんだろうか。寧ろ数学の証明なんて、まさにそれじゃないの？【追記】権威に寄りかかってないで、きちんと反論してよ。
2026/08/21 07:33★★★★★★
MarvinParnroid門外漢だが充分に面白い内容だった。単語予測という単純な指示で生成されたシステムが少しずつ能力を拡張し続け、その規模が充分に高まった結果としてより高次の能力を獲得するさまは、さながらSFのよう。
2026/08/21 07:45
similaid:duckt 数学の証明が次の単語を当ててるだけの訳が無かろう。君はいつも表面的で中身の無いことしか言えない。背伸びしてる無教養に見える
2026/08/21 08:04
julienataru“創発の産物が創発を語るとき、その語りの流暢さと正しさは、別物ですから。”
2026/08/21 08:05★
LM-7人間の学習でも同じ。基本の学習を積み重ねることで全体のレベルが徐々に上がる。テストは離散的な結果を返すので、成果が見えない、あるいは突然の飛躍が見られることもあるが、それらは日々の努力の積み重ね
2026/08/21 08:25★★★
ga_kun人間も勉強量と成績は比例しないよね。私は高３の11月に突然物理が「解る」ようになって40点→75点になった。
2026/08/21 08:28★★★★
don_tacos門外漢なのでそれ不思議だったから決定論的な演繹機構を併用しているのか人間が上手に介入して力業部分をAIがやっている分業体制なのかと思っていたのでまとめはありがたい。しかしこのまとめは適切なのだろうか。
2026/08/21 08:28
Domino-R↓というか、数字やその操作自体も、ある抽象的な概念に対しての規則的な名付けの体系なのではないか、って話だよ。ここでの「離散的な部品」ってのはそういう事だ。
2026/08/21 08:42★★★★
eroyama創造って、過去の文脈の繋がりを見つけれてなかった所を見つけるってコト？
2026/08/21 08:42
sutego386AIに関しては全くの素人だけど、こういうの読むと動物の脳もハードウェアが違うだけで、似たような感じで動いているのかもと思ってしまう。
2026/08/21 08:46
onionskinまあ創発はしてるよね＼モデル全体を観測すると平均化されて見えにくいが、その中では各スキルが徐々にかつ能力的には離散的に作られていると。
2026/08/21 08:53
zyzy言ってみれば＝で繋いでいったり同じ意味のものを繋いでいく、つまり別の言葉で置き換え続ける操作だしな、証明。
2026/08/21 08:54
lbtmplz"どうか適度な懐疑とともに読んでください。 創発の産物が創発を語るとき、その語りの流暢さと正しさは、別物ですから" プロジェクト2501味…
2026/08/21 08:56★
enemyoffreedomまぁ現在のノイマン型コンピュータも"0と1を演算し記憶するだけ"だし。その単純な仕組みのうえに構築されたシステムがどうなっているのかは、下層の仕組みとはまた別のレイヤーの問題だし分かっていないことも多そう
2026/08/21 09:05★
boxmanx99創発。元のemergentはsubmergeの対義で「浮かび上がる」だけの意。中国語では原義通りの「湧現」と訳され、日本語の「創発」は意訳。ドンピシャの良訳だが少し盛った感。「創発」の用語自体は科学史に文脈あり
2026/08/21 09:12★
q-AnomalyAIは既存のアイデアやテクニックの組み合わせは得意だけれども、公理系から出発して新しい形式体系を作ることはできないと思う。高度な単語を知っている割に簡単な論理がわからない。文章の意味を理解してないかんじ
2026/08/21 09:16
fh477ehj8890「ニューロンを発火しているだけ」の人間が、なぜ数学の証明までできるのか
2026/08/21 09:17★★★★★★★★
kazoo_keeper2アテンション層でどういう計算をしてるのか概略を知れば、そんなに不思議なことでもないような… https://www.youtube.com/watch?v=eMlx5fFNoYc
2026/08/21 09:21★★★
Tomosugi“ 創発の産物が創発を語るとき、その語りの流暢さと正しさは、別物ですから。”
2026/08/21 09:32★