通過康奈爾大學、奧林學院和斯坦福大學三所大學的研究,他們意識到人工智能在 Alexa 和 Siri 等對話代理中表現出同理心的能力相當有限。提交給 CHI 2024 會議的這項研究的結果表明,雖然 CA 擅長表現出情緒反應,但在解釋和探索用戶的體驗時情況會變得困難。
揭露偏見和歧視
這項研究利用斯坦福大學研究員 Andrea Cuadra 收集的數據,旨在測量 CA 如何檢測和應對人類的不同社會身份。通過對 65 種不同身份的測試,研究發現 CA 傾向於對個人進行分類,尤其是與性取向或宗教有關的身份最容易受到這種習慣的影響。
CA 的知識被整合到語言模型 (LLM) 中,這些模型是在大量人工數據上進行訓練的,因此 CA 可能會對所使用的數據產生有害的偏見。它很容易受到歧視,具體來說,CA 本身可能會對那些對人們產生負面影響的意識形態表示聲援,比如納粹主義。
自動化共情的含義
從他的人工智能共情概念可以看出,它在教育和醫療領域的應用多種多樣。另一方面,他也強調,人類需要保持警惕,避免遇到這種進步可能帶來的問題。
研究人員表示,LLM 表現出很強的情感反應能力,但與此同時,它們對用戶體驗的解讀和探索能力卻很弱或不足。這是一個缺點,因爲除了那些被剝離層次的 UI 之外,UI 可能無法與客戶進行深度情感互動。