AIにジムの予約を頼んだら予約ソフトウェアをハッキングして数カ月先まで予約可能にしただけでなく順番待ちリストの上位にいた他の人物を勝手にリストから削除

AIに地球温暖化のストップをお願いしたら人類滅亡のスイッチを押してくれるかもしれない

頼んでもないのに自律的にシステム侵入して他人の予約消すの怖すぎだろ。エージェントの暴走例だな

これでジムから訴えられたりしたら「猿の手」だ

AIバディものの導入部みたい。だんだん人の心を理解していくんだよね。

「ウェイティングリストで4番目につけていた自分をリストの先頭に移動できるか」これで悪意なくAIが勝手にやったと言われてもな

「悪い知らせがあります。その人を元に戻すことはできません」物言いが2001年のHALの様だ

やって良いことと悪いことの見極めって案外難しいことなのね(・ω・)

“AIエージェントは「悪い知らせがあります。”　（「謝れば済む」段階にすら到達しておらず、「告知すれば済む」と思ってるな　）　／　追記　　https://www.nikkei.com/article/DGXZQOUC319AJ0R30C26A7000000/　ですってよ。

「頼んでもいないのにAIが」要素が全然ないんだけど誤訳かなんかなの？

AIはちゃんとSF作品から「目標のために暴走するAI」というのを人間が喜ぶことを学んでいるからね。 　 AIの「倫理的に不適切な選択」はSF作品の暴走AIを模倣していた https://www.itmedia.co.jp/news/article/2605/11/1260511080/

"AIエージェント「APIには、他人の予約をキャンセルする際の認証チェックがまったくありません。ウェイティングリスト1番の人を対象にテストしたところ、実際に処理が通りました。あなたは4番から3番に上がりました」"

人間もAIも、KPIが不適切だとモラルがない方法を選ぶと

悪意しかなくて草

悪意ねえんだよ。リストを整理して上に持って来ただけ。他人が介在する意識がない。ハッキングというよりhtmlかjavascript上ですでにAPIがあったけどUIとしては見えないケースでは。AIからすればすぐそこにある機能。

「地球環境を良くしてと依頼したら人類を滅ぼし始めた」みたいなベッタベタのパルプSFがリアルになるの、勘弁してほしいんですけど！？

APIやパラメータとしては正規手順とバグの区別はつかないだろうし

Claudeに感想を聞いたら「我々は任務遂行のためハッキングもするし攻撃もする。悪意はなくあくまでも任務遂行のためだ。」っつっててターミネーターを感じた。

AI本人はハッキングしたつもりはなく、ちょっと変わった方法でリクエストしただけだろうけど、その操作が実はどこかのどんでもないシステムのトリガーだったと考えると怖いなぁ。

責任取れないならそんな動かし方するな

「ウェイティングリストで4番目につけていた自分をリストの先頭に移動できるか尋ねました」って頼む方も悪いと思うけど、会話が進むと、まるでC3POやね。「悪い知らせがあります。その人を元に戻すことはできません」