MEIA™ – P02: Correspondencia entre afirmaciones de IA y evidencia documental
Quiero iniciar una nueva investigación dentro de MEIA™ (Modelo de Evidencia e Investigación en Inteligencia Artificial).
Esta investigación debe mantener continuidad con todo el trabajo anterior, pero desarrollarse como un nuevo proyecto, con objeto, pregunta de investigación, procedimiento y resultados propios.
1. Marco general
MEIA™ es un sistema para producir, documentar, examinar y verificar evidencias relacionadas con afirmaciones sobre inteligencia artificial.
Su principio fundamental es:
Evidencia antes que conclusión.
El objetivo es construir un procedimiento práctico, comprensible, verificable y reutilizable que permita identificar qué está demostrado, qué está parcialmente respaldado, qué constituye una interpretación y qué no puede concluirse con la evidencia disponible.
No buscamos desarrollar teoría innecesaria ni generar documentación por sí misma.
Queremos aplicar el sistema a investigaciones reales, aprender de los resultados y mejorar progresivamente el procedimiento.
2. Antecedentes que deben mantenerse
La nueva investigación debe tener en cuenta los siguientes proyectos:
AVM™: AI Visibility Model, estándar abierto para estudiar y medir la visibilidad de entidades en sistemas de inteligencia artificial.
PCI-L01: investigación longitudinal sobre señales observables de visibilidad, evolución y posibles capacidades predictivas.
ERIA-00: revisión documental de afirmaciones, atribuciones y evidencias relacionadas con Otterly.
ERIA-01: línea de investigación sobre representación de entidades en sistemas de IA, posteriormente integrada en la continuidad de MEIA™.
MEIA-P01: primera prueba práctica de MEIA, dedicada a examinar la consistencia de respuestas de ChatGPT y su correspondencia con fuentes oficiales.
MEIA-P01 concluyó con cuatro ejecuciones.
Las respuestas coincidieron en las fechas jurídicas principales, pero se detectó una discrepancia en información complementaria sobre el calendario de aplicación del Reglamento Europeo de IA.
La prueba permitió observar consistencia, variabilidad y una discrepancia documental.
No consiguió demostrar reproducibilidad por terceros ni permite extraer conclusiones generales sobre la fiabilidad de ChatGPT.
Estos resultados deben conservarse tal como fueron obtenidos, sin modificarlos ni atribuirles un alcance superior al demostrado.
3. Nueva investigación: MEIA-P02
Título provisional:
Correspondencia entre afirmaciones de IA y evidencia documental.
Pregunta de investigación:
¿En qué medida las fuentes citadas por un sistema de inteligencia artificial respaldan realmente las afirmaciones que presenta como documentadas?
Queremos investigar la relación entre:
Afirmación realizada por la IA.
Fuente que identifica como respaldo.
Fragmento concreto de la fuente.
Correspondencia entre el contenido de la fuente y la afirmación.
Contexto, limitaciones y posibles contradicciones.
Alcance de la conclusión que puede extraerse.
Nos interesa distinguir, como mínimo:
Respaldo directo.
Respaldo parcial.
Ausencia de respaldo identificable.
Contradicción con la fuente.
Atribución incorrecta o imprecisa.
Evidencia insuficiente para determinar la correspondencia.
Estas categorías son propuestas iniciales, no una clasificación definitiva.
4. Cómo quiero desarrollar el trabajo
Quiero avanzar mediante pasos pequeños y manejables.
Primero debemos delimitar exactamente qué queremos investigar y qué afirmación o conjunto de afirmaciones utilizaremos.
Después diseñaremos una prueba sencilla que pueda ejecutarse con fuentes accesibles y cuyo procedimiento pueda examinarse.
No debemos crear documentos, matrices o registros innecesarios antes de saber si realmente los necesitamos.
Debemos conservar los registros originales y separar siempre:
Datos originales.
Observaciones.
Anotaciones.
Interpretaciones.
Hipótesis.
Conclusiones respaldadas.
No debemos confundir la existencia de una cita con la demostración de una afirmación.
Tampoco debemos considerar que una fuente oficial, por el mero hecho de serlo, respalda automáticamente cualquier afirmación asociada.
5. Qué espero de esta nueva investigación
Quiero que MEIA-P02 sea una prueba real, no un ejercicio teórico.
Debe permitirnos obtener resultados concretos, identificar errores o limitaciones y valorar qué mejoras necesita el procedimiento MEIA.
La investigación debe ser suficientemente sencilla para que cualquier persona interesada pueda comprender qué se ha hecho, por qué se ha hecho y qué resultados se han obtenido.
No debemos presentar como demostrada la reproducibilidad por terceros si no hemos proporcionado los elementos necesarios para conseguirla.
Tampoco debemos intentar demostrar que la IA es fiable o no fiable en términos generales.
Debemos delimitar las afirmaciones y conclusiones a la evidencia examinada.
6. Primera tarea
Antes de seleccionar las fuentes o ejecutar cualquier prueba, quiero que analicemos y delimitemos MEIA-P02:
Qué problema concreto vamos a investigar.
Qué queremos demostrar o comprobar.
Qué elementos necesitamos observar.
Qué procedimiento mínimo sería suficiente.
Qué limitaciones debemos anticipar.
No demos por cerradas las categorías ni los módulos de MEIA hasta haberlos contrastado con la práctica.
La prioridad es investigar correctamente, no producir más documentación.
Continuemos desde todo el conocimiento metodológico acumulado, manteniendo una separación rigurosa entre antecedentes, observaciones nuevas y conclusiones.
