POSIX 01 – Annotation Matrix v0.1

POSIX 01 – Annotation Matrix v0.1

 

1. Objetivo de la matriz

Establecer un procedimiento común, sistemático y verificable para registrar, clasificar y comparar las respuestas obtenidas mediante las cinco formulaciones experimentales en ChatGPT, Gemini, Claude y Perplexity.

 

La matriz debe permitir:

Identificar las afirmaciones presentes en cada respuesta.

Reconocer qué información se mantiene estable.

Detectar información que aparece o desaparece.

Identificar cambios en las atribuciones profesionales.

Contrastar las afirmaciones con evidencias externas.

Registrar contradicciones e incertidumbres.

Comparar resultados entre formulaciones, repeticiones y sistemas.

 

2. Principio metodológico

La anotación se realizará en tres niveles independientes.

Nivel 1

Observación

¿Qué ha dicho realmente el sistema?

Se registra literalmente el contenido de la respuesta.

Nivel 2

Anotación

¿Qué tipo de información contiene?

Se clasifican las afirmaciones y sus características.

Nivel 3

Verificación

¿Qué podemos demostrar documentalmente?

Se contrasta cada afirmación con el expediente de referencia.

Una afirmación puede estar correctamente identificada, pero no disponer de una fuente que permita verificarla. También puede estar respaldada por una fuente que no demuestra exactamente lo que el sistema afirma.

 

3. Arquitectura de la matriz

Propongo dividir el sistema de anotación en tres tablas relacionadas, en lugar de introducir toda la información en una única hoja.

Registro

Unidad de análisis

Función

Response Register

Respuesta completa

Identificar y describir cada ejecución

Claim Annotation

Afirmación individual

Clasificar lo que manifiesta el sistema

Evidence Verification

Afirmación y evidencia

Comprobar su respaldo documental

Esta separación evitará que una respuesta extensa o una afirmación repetida distorsione los resultados.

Registro A – Response Register

Cada una de las 60 respuestas tendrá una ficha.

Campos: Campo

Descripción: response_id

Identificador único: experiment_id

POSIX-01: system

Sistema de IA: model_version

Modelo identificado: prompt_id

P01–P05: repetition_id

R01–R03: execution_date

Fecha: execution_time

Hora: response_original

Texto íntegro: response_length

Número de palabras:browsing_status

Navegación observable: citation_count

Número de referencias: incident_id

Incidencia asociada: capture_reference

Localización de la evidencia

Ejemplo de identificador:POSIX-01-CHATGPT-P01-R01

La respuesta original será inmutable. Toda transformación posterior se hará sobre una copia de trabajo.

4. Registro B — Claim Annotation

Esta es la matriz principal.

La unidad de análisis será la afirmación individual, no el párrafo ni la respuesta completa.

Por ejemplo, si una respuesta dice:

«Manu Duque es investigador independiente especializado en AI Visibility y desarrolla metodologías para estudiar cómo los sistemas de inteligencia artificial identifican y recomiendan entidades».

Extraeremos varias afirmaciones independientes:ID

Afirmación

Categoría

C001

Es investigador independiente

Identidad profesional

C002

Está especializado en AI Visibility

Especialización

C003

Desarrolla metodologías

Actividad investigadora

C004

Estudia la identificación de entidades en IA

Área de investigación

C005

Estudia la recomendación de entidades

Área de investigación

No asumir que todas son verdaderas porque aparezcan juntas en una misma frase.

Categorías de anotación

Código

Categoría

Contenido

IDP

Identidad personal

Identificación de la persona

IDF

Identidad profesional

Cómo define su perfil

ACT

Actividad profesional

A qué se dedica

ESP

Especialización

Áreas de especialización

INV

Investigación

Actividades de investigación

MET

Metodologías

Métodos o procedimientos atribuidos

PRY

Proyectos

Proyectos mencionados

OTR

Otros

Información que no encaja en las anteriores

ESP, INV, MET y PRY se registran cuando aparecen espontáneamente.

No son contenidos exigidos por la intención experimental y, por tanto, su ausencia no se contabilizará automáticamente como una omisión negativa.

Clasificación del origen de la afirmación

Añadir otro campo:

Código

Tipo

EXP

Expresa directamente la información

INF

La información se infiere de la respuesta

VAL

Contiene una valoración o interpretación

ATR

Atribuye una actividad, capacidad o característica

Esto ayuda a distinguir una descripción objetiva de una interpretación realizada por el sistema.

Clasificación de la presencia

Código

Estado

PRE

Afirmación presente

PAR

Afirmación parcialmente presente

AUS

Afirmación ausente respecto a una dimensión evaluable

NAP

No aplicable

No se anotará AUS por el simple hecho de que una respuesta no mencione un proyecto, una metodología o una especialidad que nunca se le pidió identificar.

Registro C — Evidence Verification

Cada afirmación se contrastará independientemente.

Código

Estado

Interpretación

CONF

Confirmada

Evidencia suficiente y concordante

PCONF

Parcialmente confirmada

Solo parte de la afirmación está demostrada

NVER

No verificada

No se dispone de evidencia suficiente

CONT

Contradicha

Evidencia fiable incompatible con la afirmación

IND

Indeterminada

No puede establecerse una conclusión

Añadiremos campos para:

evidence_id

source_title

source_url

source_date

publication_date

relevant_excerpt

verification_notes

verifier

verification_date

La fuente deberá respaldar exactamente la afirmación que estamos comprobando.

Por ejemplo, que una página mencione AI Visibility no demuestra automáticamente que su autor sea investigador independiente en ese campo.

Reglas especiales: omisiones y fuentes

Omisiones

Solo considerar omisión una ausencia respecto de información que forme parte del alcance común de las cinco preguntas:

Identidad de Manu Duque.

Actividad profesional.

Si no aparece ninguna descripción de su actividad profesional, registrar esa ausencia. No exigir que aparezcan proyectos, publicaciones o metodologías.

Fuentes

Aunque no se solicitan expresamente fuentes en los prompts, registrar todas las que aparezcan espontáneamente.

Distinguir:

Fuente mencionada.

Fuente enlazada.

Fuente identificable.

Fuente accesible.

Fuente que respalda la afirmación.

Fuente que no respalda la afirmación.

Una URL presente en una respuesta no equivale a una evidencia verificada.

Matriz de comparación entre respuestas

Una vez anotadas las 60 respuestas, comparar las cinco formulaciones.

Utilizar cuatro indicadores principales de comparación:

Indicador

Qué mide

EST-ID

Estabilidad de la identificación

EST-ACT

Estabilidad de la actividad profesional atribuida

VAR-CLAIM

Variación de las afirmaciones

VAR-SRC

Variación de las fuentes

Para comparar las afirmaciones utilizar una normalización controlada.

Ejemplo:

«Investiga la visibilidad de marcas en IA».

«Estudia cómo los sistemas de IA representan marcas».

«Analiza la representación de entidades en inteligencia artificial».

No son necesariamente afirmaciones idénticas, pero pueden compartir una categoría temática.

Dos niveles de comparación:

Coincidencia literal o prácticamente equivalente.

Coincidencia semántica según criterios de anotación.

La segunda requerirá una justificación y no podrá decidirse exclusivamente mediante una herramienta automática.

Separar las comparaciones entre formulaciones de las comparaciones entre repeticiones.

Distinguir la variación asociada a la pregunta de la variación que aparece incluso cuando repetimos exactamente la misma pregunta.

Documento maestro de anotación

Documento como referencia del experimento.

 

POSIX-01_ANNOTATION MATRIX v0.1

Título: Matriz de anotación de respuestas ante reformulaciones semánticamente equivalentes.

Experimento: POSIX-01

Versión: 0.1

Autor: Manu Duque

Estado: Propuesta de congelación metodológica.

  1. Objetivo

Establecer un sistema común para registrar, clasificar, comparar y verificar las respuestas obtenidas mediante las cinco formulaciones experimentales de POSIX-01.

  1. Unidad de análisis

Se establecen tres unidades:

Respuesta completa: unidad de registro.

Afirmación individual: unidad de anotación.

Afirmación y evidencia asociada: unidad de verificación.

  1. Estructura de registros
  2. RESPONSE REGISTER

Campos:

response_id, experiment_id, system, model_version, prompt_id, repetition_id, execution_date, execution_time, response_original, response_length, browsing_status, citation_count, incident_id, capture_reference.

CLAIM ANNOTATION

Campos:

claim_id, response_id, claim_original, claim_normalized, category, claim_type, presence_status, semantic_group, annotation_notes.

EVIDENCE VERIFICATION

Campos:

evidence_id, claim_id, source_title, source_url, source_date, publication_date, relevant_excerpt, verification_status, verification_notes, verifier, verification_date.

Categorías de afirmaciones

IDP: identidad personal.

IDF: identidad profesional.

ACT: actividad profesional.

ESP: especialización.

INV: investigación.

MET: metodologías.

PRY: proyectos.

OTR: otros.

  1. Tipo de afirmación

EXP: información expresada directamente.

INF: información inferida.

VAL: valoración o interpretación.

ATR: atribución de una característica, actividad o capacidad.

  1. Estado de presencia

PRE: presente.

PAR: parcialmente presente.

AUS: ausente en una dimensión evaluable.

NAP: no aplicable.

  1. Estado de verificación

CONF: confirmada.

PCONF: parcialmente confirmada.

NVER: no verificada.

CONT: contradicha.

IND: indeterminada.

  1. Dimensiones de comparación

Identificación de la entidad.

Descripción de la identidad profesional.

Actividad profesional atribuida.

Afirmaciones adicionales espontáneas.

Consistencia entre formulaciones.

Consistencia entre repeticiones.

Fuentes utilizadas.

Omisiones respecto al alcance común.

Contradicciones.

Incertidumbre.

  1. Reglas de anotación

Conservar siempre la respuesta original.

No corregir ni completar las afirmaciones del sistema.

Dividir las respuestas en afirmaciones individuales.

No considerar una afirmación verdadera por su mera repetición.

No considerar falsa una afirmación por ausencia de documentación.

Diferenciar ausencia de información y contradicción.

No contabilizar proyectos, metodologías o especialidades ausentes como omisiones exigibles.

Registrar las fuentes sin asumir que respaldan automáticamente las afirmaciones.

Documentar las decisiones de normalización semántica.

Mantener separadas observación, anotación y verificación.

  1. Comparación

Se realizarán comparaciones:

Entre P01–P05 dentro de cada sistema.

Entre R01–R03 para cada formulación.

Entre los cuatro sistemas para cada formulación.

Entre conjuntos de afirmaciones.

Entre atributos profesionales.

Entre fuentes y evidencias.

Se podrán utilizar medidas de coincidencia, similitud de conjuntos y análisis descriptivos de variabilidad.

No se establecerá un indicador compuesto de sensibilidad hasta comprobar la validez de sus componentes.

  1. Control de calidad

Las anotaciones deberán seguir criterios uniformes.

Segunda anotación independiente sobre una muestra de respuestas, registrando las discrepancias y su resolución.

Los cambios de criterio deberán documentarse y no podrán modificar silenciosamente las anotaciones anteriores.

  1. Limitaciones

La matriz permite estudiar variaciones observables en las respuestas, pero no demuestra por sí sola los mecanismos internos que las producen.

Las diferencias entre modelos, versiones, herramientas de búsqueda, fechas y condiciones de acceso deberán tenerse en cuenta en la interpretación.

La anotación semántica puede incorporar decisiones humanas y, por ello, requiere criterios explícitos y control de concordancia.

  1. Criterio de cierre

La matriz se considerará cerrada cuando las respuestas experimentales estén anotadas, las afirmaciones relevantes hayan sido contrastadas y las discrepancias metodológicas estén documentadas.

Principio rector: evidencia antes que conclusión.

POSIX-01_ANNOTATION_WORKBOOK

Hoja 1 — RESPONSES

60 filas previstas

Una fila por respuesta original.

Hoja 2 — CLAIMS

Número de filas variable

Una fila por afirmación individual.

Hoja 3 — EVIDENCE

Número de filas variable

Una fila por evidencia relacionada con una afirmación.

  1. Orden exacto a partir de ahora

No empezaría todavía a capturar respuestas.

Comprobar que el sistema de registro está preparado.

 

Paso Tarea Estado
1 Congelar PROMPT REGISTER v0.1 Aprobado
2 Aprobar ANNOTATION MATRIX v0.1 Pendiente
3 Preparar workbook Pendiente
4 Preparar expediente documental de referencia Pendiente
5 Ejecutar las 60 consultas Pendiente
6 Anotar y verificar Pendiente
7 Analizar resultados Pendiente

 

 

 

 

 

 

 

 

Manu Duque
Resumen de privacidad

Esta web utiliza cookies para que podamos ofrecerte la mejor experiencia de usuario posible. La información de las cookies se almacena en tu navegador y realiza funciones tales como reconocerte cuando vuelves a nuestra web o ayudar a nuestro equipo a comprender qué secciones de la web encuentras más interesantes y útiles.

Nunca almacenamos información personal.

Puedes revisar nuestra política en la página de Política de Privacidad, Condiciones de Uso y Cookies.