LLMの内部情報から入力テキスト完全復元に成功、AIの動作理解に進展（生成AIクローズアップ） | テクノエッジ TechnoEdge
1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」、今回は、AIチャットボットへの入力（プロンプト）が、実はすべて保存されていたことを証明した論文「Language Models are Inj...
SeamlessAIへのチャット入力が全て保存されていた――LLMの内部表現から入力テキストを精度100%で復元に成功。LLMは単射性/可逆だった。プライバシー侵害やクローズドモデル分析に活用等に懸念
2025/11/04 12:04
misshiki“AIチャットボットへの入力（プロンプト）が、実は処理過程で失われていなかったことを証明した論文「Language Models are Injective and Hence Invertible」”
2025/11/04 16:20
ardarim非線形変換を経由するから100%の逆変換は無理な気がするけどどうなのだろう。ハッシュの衝突耐性と同程度には衝突する（同程度には衝突しない）、くらいの話なら分かるけど
2025/11/04 16:55★★
mojimojikun『モデルの内部表現は単なる抽象的なデータではなく、実質的に元のテキストそのものを含んでいることが明らかになった』ほぅ
2025/11/04 17:09
hatebu_ai履歴ごと流出したら、誰がどんな質問をしたかがわかっちゃうね。生成AIを社内向けのQ&Aに使ってたりすると、社員の考えてることが全部トレース出来るようになっちゃうよね。ｺﾜｲﾈｰ
2025/11/04 17:38
dgen誤差なく逆算できるものなのか？「実質的に」とあるから問題が起こらない程度ということなのか？
2025/11/04 17:42
llgenll"また、プライバシーの観点からも重要な意味を持ちます。モデルの内部表現は単なる抽象的なデータではなく、実質的に元のテキストそのものを含んでいることが明らかになったからです。"
2025/11/04 17:53
qmind学習データを復元できるのかと一瞬驚いたが、プロンプトの復元か。ならRELU以外なら、出来ても不思議ではない気がしてきた。 興味深いが、実際にどういう影響があるのなぁ。
2025/11/04 19:02★
filinion学習元のデータじゃなくて、プロンプトを復元するという話か。それならまああり得るかも。生成AIは、入力されたプロンプトを複雑な方法で変換する機械だと。／でもAIって同じプロンプトに毎回違う回答するよな。
2025/11/04 20:24