中國科學技術大學和騰訊優圖實驗室的科學家開發了一種對抗人工智慧（AI）模型中「幻覺」的工具。
幻覺是指人工智慧模型產生高置信度輸出的傾向，這些輸出似乎並非基於訓練資料中找到的資訊。這個問題在大型語言模型（LLM）研究中很常見。他們的影響可以在 OpenAI 的 ChatGPT 和 Anthropic 的 Claude 等模型中看到。
中國科大/騰訊團隊開發了一種名為「Woodpecker」的工具，他們聲稱該工具可以糾正多模態大語言模型（MLLM）中的幻覺。
AI 的這個子集包括 GPT-4（特別是其視覺變體 GPT-4V）等模型和包含基於文字的語言建模以及視覺和/或其他處理操作的系統。
團隊指出，它使用了三個獨立的人工智慧模型來執行幻覺修正，與糾正幻覺的 MLLM 分開。
其中包括 GPT-3.5 Turbo、Grounding DINO 和 BLIP-2-FlanT5。這些模型一起充當評估器來檢測幻覺，並為校正後的模型提供指令，以根據其數據重現其輸出。
為了糾正幻覺，運行「啄木鳥」的人工智慧模型採用了五步驟流程，包括「關鍵概念提取、問題表述、視覺資訊驗證、視覺主張生成和幻覺糾正」。
研究人員聲稱，這些技術提供了額外的透明度，並且「比基線 MiniGPT-4/mPLUG-Owl 的準確度提高了 30.66%/24.33%」。他們使用自己的方法評估了許多「現成的」MLLM，並得出結論，Woodpecker「可以輕鬆整合到其他 MLLM 中」。
啄木鳥的評估版可在 Gradio Live 上找到，愛好者可以在其中查看正在運行的車輛。 透過在評論部分分享您的想法來加入討論。
幻覺是指人工智慧模型產生高置信度輸出的傾向，這些輸出似乎並非基於訓練資料中找到的資訊。這個問題在大型語言模型（LLM）研究中很常見。他們的影響可以在 OpenAI 的 ChatGPT 和 Anthropic 的 Claude 等模型中看到。
中國科大/騰訊團隊開發了一種名為「Woodpecker」的工具，他們聲稱該工具可以糾正多模態大語言模型（MLLM）中的幻覺。
AI 的這個子集包括 GPT-4（特別是其視覺變體 GPT-4V）等模型和包含基於文字的語言建模以及視覺和/或其他處理操作的系統。
團隊指出，它使用了三個獨立的人工智慧模型來執行幻覺修正，與糾正幻覺的 MLLM 分開。
其中包括 GPT-3.5 Turbo、Grounding DINO 和 BLIP-2-FlanT5。這些模型一起充當評估器來檢測幻覺，並為校正後的模型提供指令，以根據其數據重現其輸出。
為了糾正幻覺，運行「啄木鳥」的人工智慧模型採用了五步驟流程，包括「關鍵概念提取、問題表述、視覺資訊驗證、視覺主張生成和幻覺糾正」。
研究人員聲稱，這些技術提供了額外的透明度，並且「比基線 MiniGPT-4/mPLUG-Owl 的準確度提高了 30.66%/24.33%」。他們使用自己的方法評估了許多「現成的」MLLM，並得出結論，Woodpecker「可以輕鬆整合到其他 MLLM 中」。
啄木鳥的評估版可在 Gradio Live 上找到，愛好者可以在其中查看正在運行的車輛。 透過在評論部分分享您的想法來加入討論。