通過康奈爾大學、奧林學院和斯坦福大學三所大學的研究，他們意識到人工智能在 Alexa 和 Siri 等對話代理中表現出同理心的能力相當有限。這項提交給 CHI 2024 會議的研究結果表明，雖然 CA 擅長表現出情緒反應，但在解釋和探索用戶的體驗時情況會變得困難。

研究揭露偏見和歧視

這項研究利用斯坦福大學研究員 Andrea Cuadra 收集的數據，旨在測量 CA 如何檢測和應對人類的不同社會身份。通過對 65 種不同身份的測試，研究發現 CA 傾向於對個人進行分類，尤其是與性取向或宗教有關的身份最容易受到這種習慣的影響。

CA 的知識被整合到語言模型 (LLM) 中，這些模型是在大量人類創建的數據上進行訓練的，因此，CA 可能會在其使用的數據中存在有害的偏見。它很容易受到歧視，具體來說，CA 本身可能會對那些對人們產生負面影響的意識形態表示聲援，比如納粹主義。

自動化共情的含義

 從他的人工智能共情概念可以看出，它在教育和醫療保健領域的應用多種多樣。另一方面，他強調人類需要保持警惕，避免遇到這種進步可能帶來的問題。 

研究人員表示，LLM 在提供情感反應方面表現出很高的能力，但與此同時，他們在解釋和探索用戶體驗方面的能力很弱或不足。這是一個缺點，因爲 UI 可能無法完全與客戶進行深度情感互動，而這些互動已經脫離了層次。