コーネル大学、オーリン大学、スタンフォード大学の3つの大学による研究を通じて、AlexaやSiriなどの会話エージェントにおけるAIの共感力はかなり限られていることが明らかになりました。CHI 2024カンファレンスに提出されたこの研究結果によると、CAは感情的な反応を示すのが得意ですが、ユーザーの体験を解釈して探求することになると状況が難しくなることがわかりました。

研究で偏見と差別が明らかに

この研究は、スタンフォード大学の研究者アンドレア・クアドラから収集されたデータを使用して、CA が人間のさまざまな社会的アイデンティティをどのように検出し、対応するかを測定することを目的としています。65 種類のさまざまなアイデンティティをテストした結果、CA は個人を分類する傾向があり、特に性的指向や宗教に関するアイデンティティがこの習慣に最も影響を受けやすいことがわかりました。

CA の知識は言語モデル (LLM) に組み込まれており、人間が作成した大量のデータでトレーニングされているため、CA が使用したデータに含まれる有害なバイアスが発生する可能性があります。特に差別を受けやすく、CA 自身がナチズムなどの人々に悪影響を及ぼすイデオロギーに対する連帯を示す傾向があります。

自動化された共感の意味

彼の人工共感の概念から、教育や医療分野におけるその応用は多岐にわたることが明らかになりました。一方で、人間は警戒を怠らず、そのような進歩によって生じる可能性のある問題を回避しなければならないという点も強調されています。

研究者らが述べているように、LLM は感情的な反応を提供する能力が高いが、同時に、ユーザー エクスペリエンスの解釈と探索の能力が不十分であるか、不十分である。これは欠点であり、UI は、レイヤーが剥ぎ取られた以上の深い感情的なやり取りでクライアントと完全に関わることができない可能性がある。