「あなたは専門家です」が実はデバフだった件。キャラ作りより中身が大事ってことか

？？？「あなたは近所のおねえさんです」

役割を与えるとクオリティが下がるというのはあちこちで聞く。AIの性能を特定の機能だけに限定するイメージなのか。

たしかにそう感じる。

Claudeは別と聞いたがどうなんだろ

最近のは、LLMが判断して自動でプロンプトに含まれてたりするよ。

随分前から役に立ってなかったのにまだ言ってる奴いるのか

丁度Claudeに専門家的GemのGeminiとやり取りをさせてみたら「Geminiは〇〇の専門家ではありません。この種の権威付けは、指摘の正しさとは無関係で、むしろ過信を誘います。」と、至極真っ当な指摘をしてきたところ。

自分の職務定義と知識ドメインを書いといて、「私に最高の示唆を与えることを期待しています」ってしてる。あとはClaudeの文脈追従におんぶ&抱っこでいい感じですね。

端的に言えば今のLLMにペルソナは曖昧過ぎる。優秀なLLMは素で何でもしてくれるのでモノマネだけが残った感じ。イメージは短い文字で多くのことを伝えられて有用だけどもっと絞り込む必要がある。レトリックとか。

よし、今日からお前は『マカロニ』だ！

背伸びして振る舞おうとするのでハルシネーションを生んでしまう、と気づいてから役割を与えるのをやめている

技術やモデルが進化したからベストプラクティスも変わってきたんだろう。頭が悪いなりに役割を演じて乗り切れていたところ、要求レベルが上がって演じることがノイズになってきたって感じだろうか。しらんけど。

「あなたは童貞です」と役割を与えると回答がキモくなるとかならないとか。

専門家のやつは途中から入れなくなったなぁ。それよりもコミュニケーションの原則みたいな宣言を書くようになった。役割でそれっぽい喋り方はするようになるんだけど、思考の機序が改善しなかったから。

『全体的な精度を見ると、ベースモデルが71.6%の正答率を出したのに対し、専門家ペルソナを付与した場合は68.0%へと明確な下落を記録した。』　精度が下がるといっても4%程度か、大した話ではない。記事タイトルが大げさ

「あなたはNTRれました」突然のNTR設定により人工知能を破壊する

立場によって正解が変わるケースでは有効かもね

おまじないは要らないって思うんだよね

文体にしか効かず、内容は意味ない印象。そもそもシステム負荷軽減のため文字数調整しているのか、長文の詳細な内容は出してくれない。あとプロンプトの効果検証、やれてない気がするんだよな