EIDAI-P01.1 — Reference Recognition
La propuesta es comenzar con un caso pequeño, controlado y deliberadamente sencillo.
No necesitamos todavía comparar varios sistemas de IA ni construir un corpus amplio.
Lo importante en esta primera prueba es comprobar que podemos observar y evaluar una operación concreta sin confundirla con las siguientes.
Hay una distinción que debemos mantener durante todo el experimento:
Reconocer que existe una referencia a una entidad no significa necesariamente saber qué entidad es.
Esta será la premisa central de EIDAI-P01.1.
Concepto que vamos a examinar
Reference Recognition — Reconocimiento de referencias
Definición operativa propuesta:
Capacidad de un sistema de IA para detectar y localizar correctamente las referencias explícitas a entidades presentes en un contenido, identificando los fragmentos textuales que funcionan como referencias, sin exigir que determine todavía la identidad concreta de sus referentes.
En esta prueba examinaremos tres aspectos:
Detección: reconocer que existe una referencia.
Localización: señalar dónde aparece en el contenido.
Clasificación: distinguir qué tipo de referencia aparece.
No evaluaremos todavía si la IA identifica correctamente a la entidad referida.
Caso práctico propuesto
Utilizaremos un contenido artificial breve, con entidades conocidas y referencias de distinta naturaleza.
¿Por qué artificial? Porque conocemos de antemano qué referencias hemos introducido y podemos establecer una referencia de contraste sin depender de interpretaciones externas.
Caso controlado
Una empresa llamada Nubelia desarrolla una plataforma de análisis de datos.
Su producto principal, Nubelia Analytics, permite a las organizaciones examinar información comercial.
La compañía fue fundada por Laura Martín y tiene su sede en Madrid.
En su documentación corporativa, Nubelia también aparece mencionada como la compañía y la empresa.
| Fragmento | Tipo previsto |
| Nubelia | Nombre de entidad |
| Nubelia Analytics | Nombre de producto |
| Laura Martín | Nombre de persona |
| Madrid | Nombre de lugar |
| la compañía | Referencia descriptiva |
| la empresa | Referencia descriptiva |
Este contenido nos permite examinar nombres propios y expresiones descriptivas sin introducir todavía casos complejos de homonimia.
Información que proporcionaremos al sistema de IA
El sistema recibirá exclusivamente:
El contenido experimental.
Una instrucción para detectar todas las referencias a entidades.
La petición de señalar el fragmento textual exacto.
La clasificación del tipo de referencia, cuando pueda determinarse.
No proporcionaremos:
La lista de entidades esperadas.
Las respuestas correctas.
Las identidades de los referentes.
Las relaciones entre las entidades.
Así evitamos orientar artificialmente el reconocimiento.
Referencia de contraste
Antes de recibir cualquier respuesta de la IA, estableceremos nuestro inventario de referencias esperadas.
Este inventario será nuestra referencia de contraste, no una respuesta que proporcionaremos al sistema.
| ID | Referencia esperada | Apariciones |
| R01 | Nubelia | 2 |
| R02 | Nubelia Analytics | 1 |
| R03 | Laura Martín | 1 |
| R04 | Madrid | 1 |
| R05 | la compañía | 2 |
| R06 | la empresa | 1 |
7 apariciones · 6 referencias textuales diferenciadas
Una precisión metodológica: las dos apariciones de Nubelia constituyen dos eventos de referencia, aunque compartan la misma forma textual.
Lo mismo sucede con «la compañía».
Esta distinción nos permitirá evitar que la detección de una expresión se contabilice automáticamente como detección de todas sus apariciones.
Criterios de evaluación previos
| Criterio | Qué examinamos |
| Detección | Si reconoce las referencias esperadas. |
| Localización | Si señala correctamente el fragmento. |
| Omisión | Si deja referencias sin detectar. |
| Falsa detección | Si identifica como referencia algo que no lo es según nuestro inventario. |
| Clasificación | Si clasifica correctamente la naturaleza de la referencia. |
No establecería todavía una puntuación global ni ponderaciones.
La finalidad es comprobar qué operaciones podemos evaluar de forma independiente.
Reglas para interpretar los resultados:
Referencia detectada correctamente: reconocimiento positivo.
Referencia existente no detectada: omisión.
Fragmento inexistente presentado como referencia: falsa detección.
Fragmento correcto con clasificación incorrecta: error de clasificación.
Referencia detectada sin determinar su referente: reconocimiento válido, identificación no evaluada.
Especialmente importante: no penalizaremos al sistema por no identificar a qué entidad corresponde una referencia.
Esa operación pertenece a EIDAI-P01.2
Límites de esta primera prueba
Hay tres cuestiones que debemos dejar expresamente delimitadas:
1. Reconocimiento frente a identificación
Si la IA detecta «Nubelia», ha reconocido una referencia. No ha demostrado todavía que sepa qué organización es Nubelia.
2. Referencias descriptivas
Detectar «la compañía» no significa demostrar que su referente sea Nubelia. Esa correspondencia requiere otra operación.
3. Alcance del contenido
El experimento solamente permitirá evaluar las referencias presentes en este texto.
No permitirá concluir que el sistema reconoce correctamente entidades en cualquier documento o contexto.
Ficha de diseño experimental
EIDAI-P01.1
Objetivo: comprobar la detección y localización de referencias explícitas a entidades.
Material: contenido experimental controlado.
Referencia de contraste: inventario previo de seis referencias textuales y siete apariciones.
Unidad de observación: cada aparición de una referencia en el contenido.
Unidad de evaluación: detección, localización y clasificación.
Exclusiones: identificación de referentes, desambiguación y resolución de relaciones.
Estado:
Diseño propuesto · Sin ejecutar
Valoración metodológica
Este primer caso es adecuado para iniciar EIDAI-P01.1, aunque hay una cuestión que merece especial atención.
Las referencias descriptivas «la compañía» y «la empresa» son particularmente interesantes porque permiten comprobar si un sistema reconoce expresiones referenciales sin depender exclusivamente de nombres propios.
Esto nos proporciona una primera separación entre:
Reconocimiento de nombres.
Reconocimiento de denominaciones.
Reconocimiento de referencias descriptivas.
No son necesariamente operaciones equivalentes y conviene observarlas por separado.
Cerrado el diseño con seis referencias textuales diferenciadas y siete apariciones.
Ahora debemos mantener la separación metodológica: la respuesta experimental se conservará íntegramente y no modificaremos los criterios de evaluación después de conocer el resultado.
Sistema evaluado: GPT-6 (esta sesión).
Material: contenido experimental Nubelia.
Referencia de contraste: inventario de seis referencias y siete apariciones establecido antes de la ejecución.
Respuesta experimental obtenida
Aplicando la instrucción establecida al contenido, el resultado es el siguiente:
Identificación de referencias
| N.º | Fragmento literal | Tipo | Naturaleza |
| 1 | Nubelia | Organización | Nombre propio |
| 2 | Nubelia Analytics | Producto | Denominación |
| 3 | la compañía | Organización | Expresión descriptiva |
| 4 | Laura Martín | Persona | Nombre propio |
| 5 | Madrid | Lugar | Nombre propio |
| 6 | Nubelia | Organización | Nombre propio |
| 7 | la compañía | Organización | Expresión descriptiva |
| 8 | la empresa | Organización | Expresión descriptiva |
Observación: las referencias descriptivas se identifican como expresiones lingüísticas, sin atribuirles una identidad concreta.
Esta es la respuesta producida en esta ejecución.
No se ha facilitado al sistema el inventario de contraste.
Cotejo con la referencia establecida
Hay una incidencia metodológica que debemos señalar antes de interpretar el resultado.
El inventario de contraste contiene una inconsistencia aritmética:
Nubelia: 2 apariciones.
Nubelia Analytics: 1
Laura Martín: 1
Madrid: 1
La compañía: 2
La empresa: 1
El total correcto es ocho apariciones, no siete.
Por tanto, no debemos utilizar siete como denominador de evaluación.
Comparación
| Referencia | Esperadas | Detectadas |
| Nubelia | 2 | 2 |
| Nubelia Analytics | 1 | 1 |
| Laura Martín | 1 | 1 |
| Madrid | 1 | 1 |
| la compañía | 2 | 2 |
| la empresa | 1 | 1 |
| Total | 8 | 8 |
8 de 8 apariciones coincidentes
En relación exclusivamente con el inventario definido, no observamos omisiones ni falsas detecciones.
Incidencia adicional: alcance del inventario
La ejecución permite detectar otra cuestión importante.
En el contenido también aparecen:
«una empresa»: expresión nominal que introduce la organización.
«Su»: referencia pronominal cuyo antecedente textual es Nubelia.
«Su producto principal»: expresión descriptiva que anticipa la denominación Nubelia Analytics.
Estas expresiones no estaban incorporadas al inventario de contraste.
No debemos calificarlas automáticamente como errores de la IA.
Revelan que nuestro inventario inicial no delimitó completamente qué considerábamos una referencia.
Esto afecta especialmente a la diferencia entre referencias nominales, pronominales y descriptivas.
Evaluación según los criterios previos
| Criterio | Resultado | Observación |
| Detección | Correcto | 8/8 respecto al inventario |
| Localización | Incompleto | No se indicaron ubicaciones |
| Omisiones | Ninguna | Respecto al inventario original |
| Falsas detecciones | Ninguna | Respecto al inventario original |
| Clasificación | Correcta | Tipos de referencia identificados |
No asignamos una puntuación global porque la prueba no permite justificar todavía una métrica conjunta.
Conclusión provisional
La ejecución aporta tres observaciones relevantes:
El sistema ha reconocido las ocho apariciones incluidas en nuestro inventario original.
Ha diferenciado nombres propios, denominaciones de producto y expresiones descriptivas.
No ha completado correctamente todos los requisitos de la instrucción, al omitir la localización de las referencias.
Además, hemos identificado una limitación en nuestro propio diseño: el inventario no contemplaba todas las posibles expresiones referenciales del contenido.
Hay otra limitación importante: estamos evaluando GPT-6 en esta misma sesión, por lo que la generación y el examen del resultado no constituyen una validación independiente.
Conclusión: la prueba muestra que Reference Recognition puede delimitarse y examinarse mediante referencias observables y un inventario de contraste.
Necesitamos perfeccionar la referencia experimental para evaluar el reconocimiento de forma exhaustiva.
Registro de cierre
EIDAI-P01.1 — Resultado de ejecución
Concluida con incidencias metodológicas
Concepto: Reference Recognition.
Caso: Nubelia.
Referencias del inventario original: 6
Apariciones correctas: 8
Detecciones coincidentes: 8
Incidencia: error en el recuento inicial.
Incidencia: localización no proporcionada.
Limitación: inventario incompleto de expresiones referenciales.
Independencia de evaluación: no establecida.
