Los modelos de lenguaje grande (LLMs, por sus siglas en inglés) han revolucionado el procesamiento del lenguaje natural, pero, sin embargo, presentan una limitación significativa: tienden a producir información inexacta, lo que en la jerga propia de este sector se conoce cómo "alucinaciones", y que consiste en que el modelo puede aseverar cosas que, en realidad, no han pasado.
Ahora, investigadores del Instituto de Tecnología de Israel (Technion), junto a Google Research y Apple, han analizado cómo estos errores están codificados en los propios modelos, revelando que los LLMs contienen información interna sobre la veracidad, que podría aprovecharse para mejorar la detección de errores y, por lo tanto, también su corrección.
El estudio sugiere que las señales de veracidad no están distribuidas de manera uniforme en el texto generado. En cambio, se concentran en tokens específicos, aquellos que contienen respuestas clave en la generación del texto. Dicho descubrimiento mejora notablemente las técnicas de detección de errores, aunque, según el equipo, las estrategias para detectar estos errores no son universales, sino específicas para cada tarea o conjunto de datos, lo cual presenta un desafío para desarrollar herramientas generalizables.
Una metodología efectiva empleada en el estudio fue el uso de "clasificadores de sondeo" que se entrenan en representaciones internas de estos modelos para predecir la veracidad de las respuestas generadas. No obstante, estos clasificadores no siempre logran generalizarse entre distintos conjuntos de datos, lo que cuestiona la idea de que los modelos de lenguaje contengan un "código de veracidad universal".
Los autores indican que la información de veracidad depende de las habilidades específicas necesarias para cada tarea, como la recuperación de datos o la coherencia contextual, lo cual sugiere una codificación múltiple y diferenciada de la veracidad en estos modelos.
Además, la investigación arroja luz sobre la variedad de errores que los modelos pueden cometer y cómo estos se manifiestan. Para categorizar estos errores, los investigadores recopilaron respuestas de los modelos mediante múltiples muestras de preguntas similares. Esto permitió identificar tipos de errores como respuestas incorrectas recurrentes, respuestas correctas ocasionales y casos en que el modelo no ofrece una respuesta.
Los resultados muestran que los modelos contienen una codificación interna que predice el tipo de error probable, lo cual abre la puerta a estrategias de mitigación específicas para cada tipo de error.
Una de las observaciones más relevantes del estudio es la discrepancia entre la codificación interna de veracidad y el comportamiento externo del modelo. En ciertas situaciones, el modelo puede codificar internamente la respuesta correcta, pero aún así generar una respuesta errónea. Este desajuste entre el conocimiento interno y la salida final apunta a un desafío complejo en el desarrollo de estos modelos, que podría abordarse mediante estrategias de selección de respuestas basadas en su representación interna, en lugar de la generación de texto tradicional.
Los investigadores concluyen que los modelos de lenguaje actuales contienen más información sobre la veracidad de lo que sus respuestas finales muestran. Estos hallazgos son prometedores para el desarrollo de técnicas que exploren y aprovechen el conocimiento interno de los LLMs, lo cual podría ayudar a mejorar la precisión y fiabilidad de sus respuestas en aplicaciones prácticas.
