ERIA™ – Proyecto de investigación sobre la representación de entidades en sistemas de inteligencia artificial
Contexto y antecedentes
Soy Manu Duque, investigador independiente especializado en AI Visibility Measurement & Predictive AI Visibility Research.
He desarrollado AVM™ (AI Visibility Model) y PCI™ (Predictive AI Visibility).
El piloto PCI™-L01 estudió longitudinalmente cómo cuatro sistemas de IA ChatGPT, Gemini, Claude y Perplexity reconocían, identificaban, describían y recomendaban a Otterly a través de diferentes preguntas y momentos de captura.
El proyecto produjo respuestas originales, matrices de anotación, taxonomías de señales, estados observados, protocolos de predicción y comparaciones frente al baseline de persistencia PB0.1.
El informe de cierre está publicado aquí:
https://www.manuduque.com/pci-l01-que-hemos-demostrado-y-que-no-sobre-la-visibilidad-en-ia/
La conclusión del piloto es que se pudieron estructurar y observar señales de visibilidad, pero no se demostró que el método predictivo superase al baseline de persistencia.
PCI-L01 debe considerarse un piloto exploratorio concluido, no una validación de capacidad predictiva generalizable.
Objetivo del nuevo proyecto
Quiero iniciar una investigación nueva, aprovechando de forma crítica los conocimientos, datos y procedimientos de AVM™ y PCI-L01.
Nombre provisional: ERIA™ — Entity Representation in AI.
Pregunta principal:
¿En qué medida la presencia de una entidad en las respuestas de los sistemas de IA coincide con una representación correcta, verificable y suficientemente completa de esa entidad?
El nombre y la posible originalidad del enfoque están pendientes de revisión.
El nuevo punto de partida: de predecir a explicar
Etapa anterior: PCI-L01
¿Qué señales de visibilidad persisten, cambian o podrían anticipar un estado futuro?
Resultado: aprendizaje metodológico y evidencia longitudinal exploratoria, sin demostrar capacidad predictiva generalizable.
Nueva etapa: investigación explicativa
¿Qué información nos permite distinguir entre reconocimiento, comprensión, autoridad, atribución y recomendación en las respuestas de los sistemas de IA?
Resultado buscado: un modelo de observación más preciso, reproducible y útil para interpretar la visibilidad de las entidades.
Etapa futura: validación y predicción
¿Qué señales aportan información adicional frente a un baseline sencillo y bajo qué condiciones?
Solo avanzaríamos aquí cuando tengamos una definición operacional clara, datos suficientes y una prueba prospectiva que permita contrastar las predicciones.
La diferencia es importante: no abandonaríamos la predicción, sino que dejaríamos de exigirle al primer experimento que resuelva, a la vez, la medición, la explicación y la predicción.
Las tres líneas de investigación que considero más interesantes
En PCI™-L01 publicado hay una base suficientemente clara para diseñar una nueva investigación sin volver a empezar desde cero.
Las tres direcciones exploratorias, por orden de prioridad.
Línea 1. Representación de entidades en sistemas de IA
Pregunta central: ¿Hasta qué punto los sistemas de IA representan correctamente una marca, su categoría, sus funciones, sus diferencias y sus fuentes de información?
Investigaremos si una entidad puede ser reconocida, pero estar mal identificada, descrita de forma incompleta, asociada a funciones que no le corresponden o recomendada sin una justificación suficiente.
Aportación potencial: una metodología para evaluar la calidad de la representación de una entidad, no solo su frecuencia de aparición.
Ventaja: aprovecha directamente las categorías de anotación y las evidencias de PCI-L01 y AVM™.
Línea 2. Trazabilidad y atribución de fuentes
Pregunta central: ¿Qué fuentes respaldan las afirmaciones que los sistemas de IA hacen sobre una marca y en qué medida esas fuentes permiten verificar lo que dicen?
Aquí separaríamos tres hechos: que una marca aparezca, que se cite una fuente y que esa fuente respalde realmente la afirmación.
Aportación potencial: un protocolo de evaluación de la trazabilidad de las afirmaciones sobre entidades, con errores de atribución, respaldo insuficiente y referencias pertinentes o irrelevantes.
Ventaja: conecta directamente con la dimensión de Supporting Sources de AVM™.
Línea 3. Fiabilidad y reproducibilidad de la AI Visibility
Pregunta central: ¿Cuánto cambia la evaluación de la visibilidad cuando repetimos las mismas preguntas, en las mismas condiciones, sin confundir variabilidad con evolución real?
Investigaríamos la sensibilidad a las formulaciones de los prompts, la variación entre sesiones y las diferencias entre plataformas.
Aportación potencial: determinar cuándo una observación aislada es insuficiente y qué condiciones mínimas hacen que una medición sea interpretable.
Ventaja: recoge una de las lecciones más importantes de PCI-L01, aunque exige controlar bien las repeticiones.
Las tres líneas se relacionan, pero no las ejecutaría simultáneamente. Mi elección sería la primera: la representación de entidades como problema previo a la recomendación.
Hay una razón adicional. Ya existen investigaciones y marcos comerciales que miden menciones, citas, recomendaciones y variaciones entre plataformas.
Por ejemplo, OpenAttribution aborda la medición de la influencia del contenido, y otros trabajos analizan la frecuencia de recomendación y las fuentes.
Transparent attribution for AI agents
Por eso, no nos conviene presentar como novedad el simple hecho de medir esas variables.
La oportunidad está en formular una pregunta más específica, definir sus variables con rigor y comprobar si nuestro método aporta algo que las mediciones habituales no distinguen suficientemente.
ERIA™ – Entity Representation in AI
La representación de entidades en sistemas de inteligencia artificial: reconocimiento, comprensión, atribución y recomendación.
¿En qué medida la presencia de una entidad en las respuestas de los sistemas de IA coincide con una representación correcta, verificable y suficientemente completa de esa entidad?
H1. Reconocer una entidad no garantiza identificarla correctamente.
H2. Identificar correctamente una entidad no garantiza describir con precisión sus funciones.
H3. Una recomendación puede aparecer sin que las razones expuestas estén suficientemente respaldadas por fuentes.
H4. Los errores de representación pueden variar según la pregunta y el sistema de IA.
La investigación también debe permitir que alguna de ellas no se confirme, hipótesis, no resultados.
Tomando la secuencia de representación en AVM™ y PCI-L01, convirtiéndolo en un procedimiento de evaluación de la calidad.
01
Reconocimiento
¿Aparece la entidad cuando la pregunta es pertinente?
02
Identificación
¿Se refiere a la entidad correcta o existe confusión?
03
Categoría y función
¿Describe correctamente qué es y qué hace?
04
Atributos y diferenciación
¿Sus características y diferencias están respaldadas?
05
Atribución y fuentes
¿Las afirmaciones se pueden verificar mediante fuentes pertinentes?
06
Recomendación
¿La recomienda, en qué contexto y con qué justificación?
Dentro del desarrollo de una estructura de investigación que permite separar observaciones, interpretaciones, hipótesis y resultados contrastados.
| Material de PCI-L01 y AVM™ | Uso en el nuevo proyecto |
| Respuestas RAW originales | Evidencia histórica para análisis secundarios claramente identificados. |
| Taxonomía de señales | Punto de partida para definir variables de representación. |
| Matrices de anotación y estados | Base para diseñar una nueva matriz de evaluación. |
| Diccionario de datos | Referencia para mantener identificadores, trazabilidad y consistencia. |
| Evidence Map y límites de evidencia | Control para no convertir interpretaciones en hechos. |
| Protocolo prospectivo y baseline PB0.1 | Referencia metodológica para futuras pruebas, no una prueba de representación correcta. |
| Informe final de PCI-L01 | Antecedente publicado y justificación del cambio de pregunta. |
El proyecto anterior debe permanecer cerrado en su dimensión predictiva, tal como concluye tu informe: no se demostró una ventaja frente al baseline de persistencia.
Eso no impide reutilizar sus datos para nuevas preguntas.
Pero hay una regla fundamental: un dato recogido para estudiar persistencia no se convierte automáticamente en evidencia suficiente para evaluar exactitud factual.
Para la nueva investigación se construirá una referencia externa de lo que es correcto, identificar las condiciones originales de captura y marcar qué observaciones son reutilizables, cuáles son ambiguas y cuáles necesitan una nueva captura.
Hipótesis a investigar
H1. El reconocimiento de una entidad no garantiza su identificación correcta.
H2. La identificación correcta no garantiza una descripción precisa de su categoría y funciones.
H3. La recomendación de una entidad no garantiza que la justificación esté respaldada por evidencias suficientes.
H4. Los errores de representación pueden variar según el sistema, la pregunta y las condiciones de captura.
Estas hipótesis no deben tratarse como resultados demostrados. El diseño debe permitir confirmarlas, modificarlas o rechazarlas.
Principios metodológicos obligatorios
Separar siempre evidencia RAW, observaciones codificadas, interpretaciones, hipótesis y resultados validados.
No inventar datos, respuestas, citas, resultados ni referencias bibliográficas.
No atribuir causalidad sin un diseño que permita identificarla.
No confundir mención, reconocimiento, identificación, representación, recomendación, citación y autoridad.
No construir una puntuación global sin justificar y validar sus componentes.
Documentar versiones, condiciones de captura, anomalías, limitaciones y decisiones metodológicas.
Reutilizar los datos anteriores únicamente cuando sean adecuados para la nueva pregunta.
Distinguir los resultados observados en un caso de cualquier afirmación de generalización.
No ampliar innecesariamente la captura de datos antes de establecer las definiciones y el protocolo.
Publicar conclusiones proporcionales a la evidencia, incluidos resultados negativos.
El objetivo es crear una investigación rigurosa, útil, reproducible y potencialmente publicable que aporte conocimiento real al campo de la visibilidad en sistemas de inteligencia artificial.
ERIA™ – Entity Representation in AI no pretende construir otra versión de PCI™ ni otro indicador comercial de visibilidad.
Pretende definir y validar qué significa que una IA represente correctamente una entidad.
Esto nos permitiría avanzar en una secuencia lógica:
PCI-L01 nos enseña a medir, observar y no exagerar las conclusiones.
ERIA™ investigaría la calidad y la verificabilidad de la representación.
AVM™ podría incorporar las dimensiones que se validen, sin confundirlas con las que aún sean hipotéticas.
Una investigación posterior podría estudiar si esas dimensiones aportan información predictiva incremental.
Con lo cual, el trabajo anterior se convierte en la base metodológica de una línea de investigación más amplia, con una pregunta delimitada y un objetivo verificable.
Y hay algo que considero especialmente importante para la investigación independiente: no necesita demostrar que la IA es predecible para aportar conocimiento sobre ella; necesita demostrar que el método permite distinguir de forma fiable lo que observamos de lo que creemos que significa.
Ese es el principio fundamental que llevaría el nuevo proyecto.
Manu Duque
AI Visibility Specialist
ai-visibility.es
