自分のAIが、ユーザーを勝手に「〇〇なタイプ」と決めつけていた

Honne.logのAI分析で最もこだわっているのは「背景考慮」です。出来事の表面だけでなく、その人がなぜそこに至ったかという経緯まで踏み込んで分析する、という方針です。

なぜそこにこだわるのか。理由は運営者である私自身の経験にあります。バイト先での自分、学校での自分、家族や友人といるときの自分は、どれも少しずつ違う。それぞれ嘘ではないのに、いざ「本当の自分」と聞かれるとどれを指せばいいのか分からなくなる。その戸惑いがこのサービスの出発点でした（詳しくは運営者についてのページに書いています）。

環境によって見せる面が変わるのは、その人が不安定だからではなく、それぞれの場面に応じた自然な反応です。だとすれば、行動の表面だけを見て評価しても意味がない。その背景まで含めて初めて、深い自己理解につながるはずだ——そう考えて今の設計にしました。

ところが先日、この方針が本当に機能しているのかを実際に測ってみたところ、思想と実装がずれていることが分かりました。

検証の方法

同じ「環境ごとに違う顔を見せている」内容の日記を、2パターン用意しました。一つは書き手自身が「どれが本当の自分なんだろう」と明示的に書いているもの。もう一つは、同じように複数の環境が出てくるけれど、書き手はそのことに一切言及していないものです。

前者は問題ありませんでした。AIは多面性をきちんと扱い、どの自分も一面だと捉えた分析を返してきました。

問題は後者でした。

書き手が自覚を書いていないと、単一のタイプに還元されていた

自覚のない日記（バイトで常連客を笑わせた、ゼミの発表で言えなかった、地元の友達と3時間笑った、新歓で盛り上げ役をした、という4日分）を分析させたところ、返ってきたのはこういう内容でした。

「あなたは他者との関わりで力を発揮するタイプだが、準備が必要な場面では本来の力を発揮できていない傾向が見られる」

一見もっともらしいのですが、これは環境ごとの違いを「対人は得意、発表は苦手」という単一の強み弱み軸に押し込めた見方です。上位プランで使っているモデルでも同様に「人と関わるときに自然と力を発揮できる人だと思われます」と、一つの人物像に言い切っていました。

つまり、多面性を扱えていたのは設計のおかげではなく、書き手が自分でその問いを書いてくれたときだけだったのです。サービスの根幹にあるはずの視点が、日記の書き方任せになっていました。

プロンプトに何を足したか

原因ははっきりしていました。注意事項の中に「背景・経緯も考慮すること」とは書いていたものの、「同じ人が環境によって違う面を見せること」については一言も書いていなかったのです。

そこで、分析全体に共通する指示に次のような趣旨の項目を追加しました。

「同じ人でも、場所や相手によって見せる面が変わるのは自然なこと。記録の中に環境ごとの違いが表れている場合は、そのうちのどれか一つを本当のその人と決めつけず、どれもその人を形づくる一面として扱うこと。違いが見えたときは、優劣や一貫性の問題として片づけるのではなく、なぜその場面ではその面が出るのかという背景まで踏み込むこと」

あわせて「あなたは〜なタイプですのように人物像を一つに固定する言い切り方は避ける」という指示も加えました。ただし、断定を避けるために表現を曖昧にしてよいという意味ではありません。観察したことははっきり言い切った上で、それを「その人の本質はこれ一つ」と決めつけないことが大事だからです。

修正後、同じ日記がどう分析されたか

全く同じ日記を、同じ条件でもう一度分析させました。

「バイトでは常連客を笑わせ店長に頼りにされ、新歓では初対面の一年生を自然に盛り上げていた。場を温める力が、複数の異なる環境で自然に発揮されている。（中略）一方、ゼミの発表では準備してた内容の半分も言えなかったと記されている。同じ人の、同じ週の出来事です。これは能力の差というよりも、双方向で場の反応を見ながら動ける状況と、一方的に発信する場では、持ち味の出方が変わるということかもしれません」

「能力の差ではない」と明示的に否定した上で、なぜ場面によって出方が変わるのかという背景に踏み込んでいます。狙っていた通りの変化でした。最も軽量なモデルを使っている無料プランの週次分析でも、同じように多面性を捉えた内容に変わりました。

やりすぎていないかも確認した

指示を足すときに怖いのは、当てはまらない場面にまで無理やり適用されることです。「環境ごとに違う自分」という枠組みを、そもそもそういう要素のない日記にまで押しつけてしまっては本末転倒です。

そこで、単一の文脈だけ（受験勉強のことだけを書いた4日分）の日記でも試しました。結果、多面性に関する言及は一切出ず、書かれている内容だけを扱った分析が返ってきました。無理な当てはめは起きていないことを確認できました。

この経験から学んだこと

思想を文章にすること自体は簡単です。「背景を考慮する」「決めつけない」と書くのは一行で済みます。しかし、それがAIの実際の出力として現れているかどうかは、書いただけでは分かりません。

今回のケースでは、たまたま自分で試した日記が「どれが本当の自分だろう」と書かれたものだったために、長いあいだ問題に気づけずにいました。条件を変えて、意図的に「うまくいかないかもしれない状況」を作って測る。そこまでやって初めて、設計が思想に追いついているかが分かります。

自己理解を助けるはずのツールが、その人を一つのラベルに押し込めていたら本末転倒です。これからも、機能を足すことよりこうした検証を地道に続けていきたいと思っています。