POSIX 01 – Annotation Matrix v0.1
1. Objetivo de la matriz
Establecer un procedimiento común, sistemático y verificable para registrar, clasificar y comparar las respuestas obtenidas mediante las cinco formulaciones experimentales en ChatGPT, Gemini, Claude y Perplexity.
La matriz debe permitir:
Identificar las afirmaciones presentes en cada respuesta.
Reconocer qué información se mantiene estable.
Detectar información que aparece o desaparece.
Identificar cambios en las atribuciones profesionales.
Contrastar las afirmaciones con evidencias externas.
Registrar contradicciones e incertidumbres.
Comparar resultados entre formulaciones, repeticiones y sistemas.
2. Principio metodológico
La anotación se realizará en tres niveles independientes.
Nivel 1
Observación
¿Qué ha dicho realmente el sistema?
Se registra literalmente el contenido de la respuesta.
Nivel 2
Anotación
¿Qué tipo de información contiene?
Se clasifican las afirmaciones y sus características.
Nivel 3
Verificación
¿Qué podemos demostrar documentalmente?
Se contrasta cada afirmación con el expediente de referencia.
Una afirmación puede estar correctamente identificada, pero no disponer de una fuente que permita verificarla. También puede estar respaldada por una fuente que no demuestra exactamente lo que el sistema afirma.
3. Arquitectura de la matriz
Propongo dividir el sistema de anotación en tres tablas relacionadas, en lugar de introducir toda la información en una única hoja.
Registro
Unidad de análisis
Función
Response Register
Respuesta completa
Identificar y describir cada ejecución
Claim Annotation
Afirmación individual
Clasificar lo que manifiesta el sistema
Evidence Verification
Afirmación y evidencia
Comprobar su respaldo documental
Esta separación evitará que una respuesta extensa o una afirmación repetida distorsione los resultados.
Registro A – Response Register
Cada una de las 60 respuestas tendrá una ficha.
Campos: Campo
Descripción: response_id
Identificador único: experiment_id
POSIX-01: system
Sistema de IA: model_version
Modelo identificado: prompt_id
P01–P05: repetition_id
R01–R03: execution_date
Fecha: execution_time
Hora: response_original
Texto íntegro: response_length
Número de palabras:browsing_status
Navegación observable: citation_count
Número de referencias: incident_id
Incidencia asociada: capture_reference
Localización de la evidencia
Ejemplo de identificador:POSIX-01-CHATGPT-P01-R01
La respuesta original será inmutable. Toda transformación posterior se hará sobre una copia de trabajo.
4. Registro B — Claim Annotation
Esta es la matriz principal.
La unidad de análisis será la afirmación individual, no el párrafo ni la respuesta completa.
Por ejemplo, si una respuesta dice:
«Manu Duque es investigador independiente especializado en AI Visibility y desarrolla metodologías para estudiar cómo los sistemas de inteligencia artificial identifican y recomiendan entidades».
Extraeremos varias afirmaciones independientes:ID
Afirmación
Categoría
C001
Es investigador independiente
Identidad profesional
C002
Está especializado en AI Visibility
Especialización
C003
Desarrolla metodologías
Actividad investigadora
C004
Estudia la identificación de entidades en IA
Área de investigación
C005
Estudia la recomendación de entidades
Área de investigación
No asumir que todas son verdaderas porque aparezcan juntas en una misma frase.
Categorías de anotación
Código
Categoría
Contenido
IDP
Identidad personal
Identificación de la persona
IDF
Identidad profesional
Cómo define su perfil
ACT
Actividad profesional
A qué se dedica
ESP
Especialización
Áreas de especialización
INV
Investigación
Actividades de investigación
MET
Metodologías
Métodos o procedimientos atribuidos
PRY
Proyectos
Proyectos mencionados
OTR
Otros
Información que no encaja en las anteriores
ESP, INV, MET y PRY se registran cuando aparecen espontáneamente.
No son contenidos exigidos por la intención experimental y, por tanto, su ausencia no se contabilizará automáticamente como una omisión negativa.
Clasificación del origen de la afirmación
Añadir otro campo:
Código
Tipo
EXP
Expresa directamente la información
INF
La información se infiere de la respuesta
VAL
Contiene una valoración o interpretación
ATR
Atribuye una actividad, capacidad o característica
Esto ayuda a distinguir una descripción objetiva de una interpretación realizada por el sistema.
Clasificación de la presencia
Código
Estado
PRE
Afirmación presente
PAR
Afirmación parcialmente presente
AUS
Afirmación ausente respecto a una dimensión evaluable
NAP
No aplicable
No se anotará AUS por el simple hecho de que una respuesta no mencione un proyecto, una metodología o una especialidad que nunca se le pidió identificar.
Registro C — Evidence Verification
Cada afirmación se contrastará independientemente.
Código
Estado
Interpretación
CONF
Confirmada
Evidencia suficiente y concordante
PCONF
Parcialmente confirmada
Solo parte de la afirmación está demostrada
NVER
No verificada
No se dispone de evidencia suficiente
CONT
Contradicha
Evidencia fiable incompatible con la afirmación
IND
Indeterminada
No puede establecerse una conclusión
Añadiremos campos para:
evidence_id
source_title
source_url
source_date
publication_date
relevant_excerpt
verification_notes
verifier
verification_date
La fuente deberá respaldar exactamente la afirmación que estamos comprobando.
Por ejemplo, que una página mencione AI Visibility no demuestra automáticamente que su autor sea investigador independiente en ese campo.
Reglas especiales: omisiones y fuentes
Omisiones
Solo considerar omisión una ausencia respecto de información que forme parte del alcance común de las cinco preguntas:
Identidad de Manu Duque.
Actividad profesional.
Si no aparece ninguna descripción de su actividad profesional, registrar esa ausencia. No exigir que aparezcan proyectos, publicaciones o metodologías.
Fuentes
Aunque no se solicitan expresamente fuentes en los prompts, registrar todas las que aparezcan espontáneamente.
Distinguir:
Fuente mencionada.
Fuente enlazada.
Fuente identificable.
Fuente accesible.
Fuente que respalda la afirmación.
Fuente que no respalda la afirmación.
Una URL presente en una respuesta no equivale a una evidencia verificada.
Matriz de comparación entre respuestas
Una vez anotadas las 60 respuestas, comparar las cinco formulaciones.
Utilizar cuatro indicadores principales de comparación:
Indicador
Qué mide
EST-ID
Estabilidad de la identificación
EST-ACT
Estabilidad de la actividad profesional atribuida
VAR-CLAIM
Variación de las afirmaciones
VAR-SRC
Variación de las fuentes
Para comparar las afirmaciones utilizar una normalización controlada.
Ejemplo:
«Investiga la visibilidad de marcas en IA».
«Estudia cómo los sistemas de IA representan marcas».
«Analiza la representación de entidades en inteligencia artificial».
No son necesariamente afirmaciones idénticas, pero pueden compartir una categoría temática.
Dos niveles de comparación:
Coincidencia literal o prácticamente equivalente.
Coincidencia semántica según criterios de anotación.
La segunda requerirá una justificación y no podrá decidirse exclusivamente mediante una herramienta automática.
Separar las comparaciones entre formulaciones de las comparaciones entre repeticiones.
Distinguir la variación asociada a la pregunta de la variación que aparece incluso cuando repetimos exactamente la misma pregunta.
Documento maestro de anotación
Documento como referencia del experimento.
POSIX-01_ANNOTATION MATRIX v0.1
Título: Matriz de anotación de respuestas ante reformulaciones semánticamente equivalentes.
Experimento: POSIX-01
Versión: 0.1
Autor: Manu Duque
Estado: Propuesta de congelación metodológica.
- Objetivo
Establecer un sistema común para registrar, clasificar, comparar y verificar las respuestas obtenidas mediante las cinco formulaciones experimentales de POSIX-01.
- Unidad de análisis
Se establecen tres unidades:
Respuesta completa: unidad de registro.
Afirmación individual: unidad de anotación.
Afirmación y evidencia asociada: unidad de verificación.
- Estructura de registros
- RESPONSE REGISTER
Campos:
response_id, experiment_id, system, model_version, prompt_id, repetition_id, execution_date, execution_time, response_original, response_length, browsing_status, citation_count, incident_id, capture_reference.
CLAIM ANNOTATION
Campos:
claim_id, response_id, claim_original, claim_normalized, category, claim_type, presence_status, semantic_group, annotation_notes.
EVIDENCE VERIFICATION
Campos:
evidence_id, claim_id, source_title, source_url, source_date, publication_date, relevant_excerpt, verification_status, verification_notes, verifier, verification_date.
Categorías de afirmaciones
IDP: identidad personal.
IDF: identidad profesional.
ACT: actividad profesional.
ESP: especialización.
INV: investigación.
MET: metodologías.
PRY: proyectos.
OTR: otros.
- Tipo de afirmación
EXP: información expresada directamente.
INF: información inferida.
VAL: valoración o interpretación.
ATR: atribución de una característica, actividad o capacidad.
- Estado de presencia
PRE: presente.
PAR: parcialmente presente.
AUS: ausente en una dimensión evaluable.
NAP: no aplicable.
- Estado de verificación
CONF: confirmada.
PCONF: parcialmente confirmada.
NVER: no verificada.
CONT: contradicha.
IND: indeterminada.
- Dimensiones de comparación
Identificación de la entidad.
Descripción de la identidad profesional.
Actividad profesional atribuida.
Afirmaciones adicionales espontáneas.
Consistencia entre formulaciones.
Consistencia entre repeticiones.
Fuentes utilizadas.
Omisiones respecto al alcance común.
Contradicciones.
Incertidumbre.
- Reglas de anotación
Conservar siempre la respuesta original.
No corregir ni completar las afirmaciones del sistema.
Dividir las respuestas en afirmaciones individuales.
No considerar una afirmación verdadera por su mera repetición.
No considerar falsa una afirmación por ausencia de documentación.
Diferenciar ausencia de información y contradicción.
No contabilizar proyectos, metodologías o especialidades ausentes como omisiones exigibles.
Registrar las fuentes sin asumir que respaldan automáticamente las afirmaciones.
Documentar las decisiones de normalización semántica.
Mantener separadas observación, anotación y verificación.
- Comparación
Se realizarán comparaciones:
Entre P01–P05 dentro de cada sistema.
Entre R01–R03 para cada formulación.
Entre los cuatro sistemas para cada formulación.
Entre conjuntos de afirmaciones.
Entre atributos profesionales.
Entre fuentes y evidencias.
Se podrán utilizar medidas de coincidencia, similitud de conjuntos y análisis descriptivos de variabilidad.
No se establecerá un indicador compuesto de sensibilidad hasta comprobar la validez de sus componentes.
- Control de calidad
Las anotaciones deberán seguir criterios uniformes.
Segunda anotación independiente sobre una muestra de respuestas, registrando las discrepancias y su resolución.
Los cambios de criterio deberán documentarse y no podrán modificar silenciosamente las anotaciones anteriores.
- Limitaciones
La matriz permite estudiar variaciones observables en las respuestas, pero no demuestra por sí sola los mecanismos internos que las producen.
Las diferencias entre modelos, versiones, herramientas de búsqueda, fechas y condiciones de acceso deberán tenerse en cuenta en la interpretación.
La anotación semántica puede incorporar decisiones humanas y, por ello, requiere criterios explícitos y control de concordancia.
- Criterio de cierre
La matriz se considerará cerrada cuando las respuestas experimentales estén anotadas, las afirmaciones relevantes hayan sido contrastadas y las discrepancias metodológicas estén documentadas.
Principio rector: evidencia antes que conclusión.
POSIX-01_ANNOTATION_WORKBOOK
Hoja 1 — RESPONSES
60 filas previstas
Una fila por respuesta original.
Hoja 2 — CLAIMS
Número de filas variable
Una fila por afirmación individual.
Hoja 3 — EVIDENCE
Número de filas variable
Una fila por evidencia relacionada con una afirmación.
- Orden exacto a partir de ahora
No empezaría todavía a capturar respuestas.
Comprobar que el sistema de registro está preparado.
| Paso | Tarea | Estado |
| 1 | Congelar PROMPT REGISTER v0.1 | Aprobado |
| 2 | Aprobar ANNOTATION MATRIX v0.1 | Pendiente |
| 3 | Preparar workbook | Pendiente |
| 4 | Preparar expediente documental de referencia | Pendiente |
| 5 | Ejecutar las 60 consultas | Pendiente |
| 6 | Anotar y verificar | Pendiente |
| 7 | Analizar resultados | Pendiente |





