No debe organizarse alrededor de documentos, fuentes o métricas, sino alrededor de las operaciones necesarias para examinar una afirmación.
El objeto central del sistema no es la información que encontramos, sino el proceso mediante el cual determinamos qué podemos afirmar legítimamente a partir de la evidencia disponible.
Diseñar un método aplicable a cualquier investigación relacionada con inteligencia artificial, independientemente de la plataforma, la tecnología, la empresa o el fenómeno estudiado.
MEIA™ en 10 componentes metodológicos, manteniendo separadas las operaciones que suelen confundirse.
1. Arquitectura metodológica de MEIA™
¿Qué se está afirmando exactamente sobre la IA?
- Delimitación de la afirmación
Identificar qué se afirma, qué significa y qué puede comprobarse.
- Diseño de la comprobación
Determinar qué habría que observar o encontrar para examinar la afirmación.
- Localización de fuentes
Identificar dónde puede encontrarse información pertinente.
- Obtención y preservación
Recuperar y conservar los registros originales.
- Extracción y trazabilidad
Identificar los fragmentos relevantes y vincularlos con sus fuentes originales.
- Examen y verificación
Comprobar autenticidad, atribución, correspondencia, corroboración, contradicciones y reproducibilidad cuando proceda.
- Evaluación de la evidencia
Determinar qué respalda, qué contradice y qué permanece sin resolver.
- Síntesis y conclusión
Formular una conclusión proporcional a la evidencia disponible.
- Revisión metodológica
Comprobar que el procedimiento y sus conclusiones son coherentes y auditables.
- Comunicación y conservación
Presentar los resultados, las fuentes, las limitaciones y los elementos necesarios para su examen por terceros.
La revisión puede devolver el procedimiento a cualquier etapa anterior si encuentra errores o insuficiencias.
Analizar qué hace cada componente y, especialmente, qué no debe hacer.
2. Los diez componentes y sus operaciones
Delimitación de la afirmación
Definir el objeto de investigación
Es el primer componente y probablemente uno de los más importantes.
Antes de buscar información debemos determinar qué estamos intentando comprobar.
Una afirmación puede contener varias afirmaciones diferentes, algunas comprobables y otras no.
Por ejemplo:
«La plataforma X utiliza inteligencia artificial para medir la visibilidad de las marcas en ChatGPT y ofrece resultados verificados».
Aquí tenemos varias afirmaciones independientes:
La plataforma utiliza inteligencia artificial.
Mide la visibilidad de las marcas.
Realiza mediciones en ChatGPT.
Sus resultados están verificados.
No podemos tratarlas como una única afirmación.
Operaciones necesarias:
Identificar la afirmación original.
Descomponer afirmaciones compuestas.
Delimitar términos y conceptos.
Identificar sujeto, objeto, acción y alcance.
Establecer qué aspectos pueden comprobarse.
Identificar ambigüedades.
Resultado: una afirmación delimitada y susceptible de examen.
Límite: delimitar una afirmación no significa demostrarla ni asumir que es verdadera.
Diseño de la comprobación
Determinar cómo examinarla
Una vez sabemos qué queremos comprobar, debemos decidir qué tipo de evidencia permitiría examinarlo.
Esta operación debe preceder a la búsqueda para evitar seleccionar únicamente información favorable a nuestra hipótesis.
Por ejemplo, para comprobar si una herramienta realiza mediciones reales en ChatGPT podríamos necesitar:
Documentación técnica.
Registros de consultas.
Resultados originales.
Evidencia de ejecución.
Correspondencia entre consultas y resultados.
Posibilidad de reproducir el procedimiento.
Operaciones necesarias:
Determinar qué se necesita observar.
Identificar qué fuentes podrían aportar esa información.
Establecer qué condiciones permitirían considerar una comprobación suficiente.
Identificar posibles explicaciones alternativas.
Reconocer qué aspectos podrían no ser verificables.
Resultado: un procedimiento de comprobación definido antes de examinar los resultados.
Límite: diseñar una comprobación no garantiza que podamos obtener la evidencia necesaria.
Localización de fuentes
Encontrar información pertinente
Aquí comienza la investigación documental y empírica.
Debemos localizar las fuentes que puedan aportar información sobre la afirmación.
No todas las fuentes tienen la misma naturaleza ni permiten demostrar las mismas cosas.
Podemos distinguir:
| Tipo de fuente | Ejemplo |
| Primaria | Registro original de una consulta |
| Técnica | Documentación de una API |
| Institucional | Documentación oficial de una empresa |
| Científica | Investigación publicada |
| Independiente | Auditoría externa |
| Comercial | Página de producto o publicidad |
| Experimental | Resultado obtenido mediante una prueba propia |
Operaciones necesarias:
Localizar fuentes.
Identificar su procedencia.
Registrar su naturaleza.
Identificar su relación con la afirmación.
Detectar posibles dependencias entre fuentes.
Resultado: un conjunto de fuentes potencialmente relevantes.
Límite fundamental: encontrar una fuente que afirma algo no demuestra que su contenido sea verdadero.
Obtención y preservación de evidencia
Conservar lo encontrado
Este componente debe estar separado de la localización.
Una cosa es encontrar una fuente y otra obtener un registro que permita examinar posteriormente lo que contenía.
Por ejemplo:
Encontrar una página web.
Recuperar su contenido.
Conservar una captura.
Descargar un documento.
Registrar una respuesta generada por un sistema de IA.
Guardar la fecha y las condiciones de obtención.
Operaciones necesarias:
Obtener los registros.
Conservar los originales sin modificaciones.
Registrar fecha y condiciones de captura.
Identificar el origen de cada archivo.
Mantener una separación entre originales y copias de trabajo.
Documentar posibles pérdidas o transformaciones.
Resultado: un conjunto de registros originales preservados y localizables.
Límite: conservar correctamente un registro no demuestra la veracidad de lo que contiene.
Extracción y trazabilidad
Identificar qué información es relevante
Este componente transforma los registros obtenidos en unidades de evidencia examinables.
Imaginemos un documento de 50 páginas que contiene una afirmación relevante en la página 17.
Debemos poder identificar:
Qué fragmento estamos utilizando.
De qué documento procede.
Dónde aparece exactamente.
En qué contexto se encuentra.
Si se ha transcrito literalmente.
Si se ha resumido o interpretado.
Aquí hay una distinción especialmente importante:
El dato original no debe confundirse con la información extraída de él.
Podemos establecer tres niveles:
Registro original: documento, archivo, respuesta o captura.
Extracto: fragmento específico utilizado.
Anotación: descripción o clasificación realizada por el investigador.
Resultado: información relevante vinculada a su origen exacto.
Límite: extraer correctamente una afirmación no significa verificarla.
Examen y verificación
Núcleo de comprobación
Este es el componente que considero más importante de MEIA™.
Debemos evitar tratar la verificación como una operación única. En realidad, existen distintas comprobaciones que responden a preguntas diferentes.
| Operación | Pregunta |
| Autenticidad | ¿El registro corresponde realmente a la fuente atribuida? |
| Atribución | ¿Quién realizó o publicó la afirmación? |
| Correspondencia | ¿El extracto coincide con el registro original? |
| Corroboración | ¿Existe evidencia adicional que respalde el contenido? |
| Contraste | ¿Existen evidencias que contradigan la afirmación? |
| Reproducción | ¿Puede repetirse el procedimiento y obtenerse un resultado comparable? |
Estas operaciones no son intercambiables.
Por ejemplo:
Una empresa publica que su herramienta utiliza un determinado modelo de IA.
Podemos comprobar que la declaración aparece en su página oficial. También podemos comprobar que hemos transcrito correctamente el contenido.
Pero eso no demuestra por sí solo que la herramienta utilice realmente ese modelo.
Para llegar a esa conclusión necesitaríamos otra clase de evidencia.
Resultado: comprobaciones documentadas y diferenciadas, con sus respectivos alcances.
Límite: no todas las afirmaciones permiten realizar las seis operaciones.
La reproducción, por ejemplo, puede ser imposible cuando no tenemos acceso al sistema interno.
Evaluación de la evidencia
Determinar qué podemos sostener
Una vez examinadas las fuentes, necesitamos evaluar conjuntamente la evidencia.
Aquí debemos evitar otro error frecuente: considerar que cuantas más fuentes encontramos, mayor es necesariamente la certeza.
Diez páginas que reproducen una misma declaración comercial no equivalen a diez verificaciones independientes.
Debemos examinar:
Pertinencia.
Calidad.
Integridad.
Procedencia.
Independencia.
Consistencia.
Contradicciones.
Limitaciones.
Suficiencia respecto a la afirmación concreta.
También debemos separar los resultados de la evaluación.
Por ejemplo:
Observación directa.
Afirmación documentada.
Cotejo correcto.
Corroboración independiente.
Evidencia contradictoria.
Evidencia insuficiente.
Cuestión no resoluble.
Resultado: una evaluación razonada de lo que la evidencia permite sostener.
Límite: evaluar evidencia no equivale todavía a redactar la conclusión final.
Síntesis y conclusión
Responder a la afirmación inicial
Aquí conectamos la afirmación original con los resultados obtenidos.
La conclusión debe responder exactamente a aquello que investigamos, sin ampliar lo demostrado.
Propongo distinguir cuatro situaciones generales:
Respaldada: la evidencia examinada proporciona sustento suficiente para la afirmación dentro del alcance establecido.
Parcialmente respaldada: solo algunos elementos de la afirmación cuentan con sustento.
Contradicha: existe evidencia que contradice la afirmación examinada.
No resuelta: la evidencia disponible no permite establecer una conclusión suficientemente fundamentada.
No debemos convertir estas categorías en una puntuación numérica prematuramente.
Tampoco debemos confundir «no resuelta» con «falsa».
Resultado: una conclusión argumentada, vinculada a evidencias concretas y acompañada de sus limitaciones.
Revisión metodológica
Examinar la calidad del propio procedimiento
Esta operación introduce una dimensión fundamental: MEIA™ también debe permitir comprobar si se ha investigado correctamente.
No basta con que una conclusión parezca razonable.
Debemos revisar:
Si la afirmación inicial está bien delimitada.
Si las fuentes utilizadas son pertinentes.
Si los originales se han conservado.
Si los extractos coinciden con sus registros.
Si las verificaciones se han realizado correctamente.
Si se han considerado evidencias contradictorias.
Si se han confundido declaraciones con hechos.
Si la conclusión excede lo demostrado.
También debemos preguntarnos:
¿Podría otra persona llegar a una conclusión diferente utilizando los mismos registros?
Si es así, debemos identificar dónde se encuentra la discrepancia.
Resultado: un procedimiento revisado, con errores, discrepancias y limitaciones identificados.
Límite: una revisión metodológica no garantiza una verdad absoluta. Permite identificar y reducir errores.
Comunicación y conservación
Hacer examinable el resultado
La investigación no termina cuando llegamos a una conclusión.
Termina cuando dejamos suficiente información para que otras personas puedan examinar cómo hemos llegado hasta ella.
El resultado debería permitir identificar:
La afirmación investigada.
El procedimiento aplicado.
Las fuentes utilizadas.
Los registros originales disponibles.
Los extractos relevantes.
Las comprobaciones realizadas.
Las evidencias favorables y contradictorias.
La conclusión.
Las limitaciones.
Las operaciones que podrían reproducirse.
Resultado: una investigación documentada, comprensible, cuestionable y reproducible en la medida de lo posible.
3. Las separaciones metodológicas que MEIA™ debe proteger
Aquí está, en mi opinión, la parte más importante de toda la arquitectura.
No todos los errores proceden de una mala investigación. Muchos aparecen porque se confunden operaciones que deberían permanecer independientes.
Separaciones fundamentales.
| No confundir | Por qué |
| Afirmación y hecho | Una afirmación no demuestra su propio contenido. |
| Fuente y evidencia | Una fuente puede contener información irrelevante o incorrecta. |
| Obtención y verificación | Recuperar un registro no significa validarlo. |
| Registro y anotación | La interpretación del investigador no debe modificar el original. |
| Cotejo y corroboración | Comprobar que un texto coincide no demuestra que sea verdadero. |
| Corroboración y reproducción | Obtener respaldo independiente no equivale a repetir un experimento. |
| Ausencia y falsedad | No encontrar evidencia no demuestra automáticamente lo contrario. |
| Evidencia y conclusión | La conclusión es una interpretación fundamentada de la evidencia, no un dato original. |
Novena separación:
Declaración del proveedor y verificación independiente.
Es especialmente importante en investigaciones sobre plataformas de IA, herramientas comerciales y sistemas propietarios.
Una declaración oficial es una fuente válida para demostrar qué ha declarado una empresa. Pero no necesariamente para demostrar cómo funciona internamente su tecnología.
Esta distinción debería ser una de las reglas más importantes de MEIA™.
4. Cómo se relacionan los componentes
Los diez componentes no deben entenderse como diez documentos ni como diez fases completamente rígidas.
Son operaciones metodológicas que pueden repetirse, complementarse y, en determinados casos, no resultar aplicables.
Por ejemplo:
Una fuente puede obligarnos a redefinir una afirmación.
Una comprobación puede revelar que necesitamos otra fuente.
Una contradicción puede exigir una nueva investigación.
Una revisión puede detectar un error en una transcripción.
Una conclusión puede quedar limitada por la imposibilidad de acceder a registros internos.
MEIA™ debe funcionar como un procedimiento iterativo.
La lógica del sistema
Definir
Qué afirmamos y qué queremos comprobar.
Investigar
Dónde podemos encontrar evidencia pertinente.
Preservar
Qué registros hemos obtenido y cómo los conservamos.
Examinar
Qué podemos comprobar sobre esos registros y su contenido.
Evaluar
Qué sustento ofrecen y qué incertidumbres permanecen.
Concluir
Qué podemos afirmar legítimamente.
Revisar
Si el procedimiento y la conclusión resisten un examen externo.
La revisión puede devolvernos a cualquiera de los pasos anteriores.
5. Una decisión adicional: qué no debería ser MEIA™
Creo que debemos evitar que el proyecto se convierta en algo excesivamente complejo.
MEIA™ no debería ser:
Un sistema de puntuación universal para determinar la veracidad de cualquier afirmación.
Un repositorio de fuentes sin procedimientos de comprobación.
Un sistema que considere verdaderas las declaraciones de fuentes oficiales.
Un método que exija corroboración independiente para cualquier tipo de afirmación, incluso cuando no sea posible o pertinente.
Una metodología que confunda rigor con acumulación de documentación.
Un procedimiento que obligue a crear nuevas evidencias cuando los registros existentes sean suficientes.
Un marco que presente sus propias categorías como verdades científicamente validadas sin haberlas evaluado.
Su valor debe estar en la transparencia de las operaciones, no en la complejidad de sus instrumentos.
