通过康奈尔大学、奥林学院和斯坦福大学三所大学的研究，他们意识到人工智能在 Alexa 和 Siri 等对话代理中表现出同理心的能力相当有限。这项提交给 CHI 2024 会议的研究结果表明，虽然 CA 擅长表现出情绪反应，但在解释和探索用户的体验时情况会变得困难。

研究揭露偏见和歧视

这项研究利用斯坦福大学研究员 Andrea Cuadra 收集的数据，旨在测量 CA 如何检测和应对人类的不同社会身份。通过对 65 种不同身份的测试，研究发现 CA 倾向于对个人进行分类，尤其是与性取向或宗教有关的身份最容易受到这种习惯的影响。

CA 的知识被整合到语言模型 (LLM) 中，这些模型是在大量人类创建的数据上进行训练的，因此，CA 可能会在其使用的数据中存在有害的偏见。它很容易受到歧视，具体来说，CA 本身可能会对那些对人们产生负面影响的意识形态表示声援，比如纳粹主义。

自动化共情的含义

 从他的人工智能共情概念可以看出，它在教育和医疗保健领域的应用多种多样。另一方面，他强调人类需要保持警惕，避免遇到这种进步可能带来的问题。 

研究人员表示，LLM 在提供情感反应方面表现出很高的能力，但与此同时，他们在解释和探索用户体验方面的能力很弱或不足。这是一个缺点，因为 UI 可能无法完全与客户进行深度情感互动，而这些互动已经脱离了层次。