Científicos de la Universidad de Ciencia y Tecnología de China y el YouTu Lab de Tencent han desarrollado una herramienta para combatir las "alucinaciones" en modelos de inteligencia artificial (IA).
La alucinación es la tendencia del modelo de IA a producir resultados de alta confianza que no parecen estar basados en la información encontrada en los datos de entrenamiento. Este problema es común en la investigación de modelos de lenguaje grande (LLM). Su influencia se puede ver en modelos como ChatGPT de OpenAI y Claude de Anthropic.
El equipo de USTC/Tencent ha desarrollado una herramienta llamada "Woodpecker" que, según afirman, puede corregir alucinaciones en modelos multimodales de lenguaje grande (MLLM).
Este subconjunto de IA incluye modelos como GPT-4 (específicamente su variante visual GPT-4V) y sistemas que incluyen modelado de lenguaje basado en texto, así como visión y/u otras operaciones de procesamiento.
El equipo señala que utilizó tres modelos de IA separados para realizar la corrección de alucinaciones, separados del MLLM que corrige las alucinaciones.
Estos incluyen GPT-3.5 turbo, Grounding DINO y BLIP-2-FlanT5. Juntos, estos modelos funcionan como evaluadores para detectar alucinaciones y dar instrucciones para que el modelo corregido reproduzca su resultado de acuerdo con sus datos.
Para corregir las alucinaciones, los modelos de IA que ejecutan “Woodpecker” utilizan un proceso de cinco pasos que incluye “extracción de conceptos clave, formulación de preguntas, verificación de información visual, generación de afirmaciones visuales y corrección de alucinaciones”.
Los investigadores afirman que estas técnicas proporcionan transparencia adicional y ofrecen un "aumento de precisión del 30,66%/24,33% con respecto al MiniGPT-4/mPLUG-Owl de referencia". Evaluaron muchos MLLM "listos para usar" utilizando su método y concluyeron que Woodpecker "puede integrarse fácilmente en otros MLLM".
La versión de evaluación del Woodpecker está disponible en Gradio Live, donde los entusiastas pueden ver el vehículo en acción. Únase a la discusión compartiendo sus pensamientos en la sección de comentarios.
La alucinación es la tendencia del modelo de IA a producir resultados de alta confianza que no parecen estar basados en la información encontrada en los datos de entrenamiento. Este problema es común en la investigación de modelos de lenguaje grande (LLM). Su influencia se puede ver en modelos como ChatGPT de OpenAI y Claude de Anthropic.
El equipo de USTC/Tencent ha desarrollado una herramienta llamada "Woodpecker" que, según afirman, puede corregir alucinaciones en modelos multimodales de lenguaje grande (MLLM).
Este subconjunto de IA incluye modelos como GPT-4 (específicamente su variante visual GPT-4V) y sistemas que incluyen modelado de lenguaje basado en texto, así como visión y/u otras operaciones de procesamiento.
El equipo señala que utilizó tres modelos de IA separados para realizar la corrección de alucinaciones, separados del MLLM que corrige las alucinaciones.
Estos incluyen GPT-3.5 turbo, Grounding DINO y BLIP-2-FlanT5. Juntos, estos modelos funcionan como evaluadores para detectar alucinaciones y dar instrucciones para que el modelo corregido reproduzca su resultado de acuerdo con sus datos.
Para corregir las alucinaciones, los modelos de IA que ejecutan “Woodpecker” utilizan un proceso de cinco pasos que incluye “extracción de conceptos clave, formulación de preguntas, verificación de información visual, generación de afirmaciones visuales y corrección de alucinaciones”.
Los investigadores afirman que estas técnicas proporcionan transparencia adicional y ofrecen un "aumento de precisión del 30,66%/24,33% con respecto al MiniGPT-4/mPLUG-Owl de referencia". Evaluaron muchos MLLM "listos para usar" utilizando su método y concluyeron que Woodpecker "puede integrarse fácilmente en otros MLLM".
La versión de evaluación del Woodpecker está disponible en Gradio Live, donde los entusiastas pueden ver el vehículo en acción. Únase a la discusión compartiendo sus pensamientos en la sección de comentarios.