POSIX 01- Prompt Register v0.1

 

POSIX 01- Prompt Register v0.1

 

Protocolo experimental

 

Ficha de investigación

Campo Definición
Código POSIX-01
Versión 0.1
Título Sensibilidad de las respuestas ante reformulaciones semánticamente equivalentes
Área Investigación en sistemas de IA
Aplicación AI Visibility
Autor Manu Duque
Sistemas ChatGPT, Gemini, Claude y Perplexity
Diseño Comparativo, experimental y longitudinalmente replicable
Corpus 60 respuestas previstas
Estado Protocolo pendiente de aprobación y ejecución

 

 

POSIX-01 v0.1 protocolo para que otra persona pueda reproducir el experimento sin necesitar explicaciones.

Antes de preguntar nada a ChatGPT, Gemini, Claude o Perplexity, dejar cerradas cinco cuestiones:

Qué queremos investigar.

Qué vamos a modificar experimentalmente.

Qué elementos permanecerán constantes.

Cómo vamos a registrar y analizar las respuestas.

Qué condiciones deben cumplirse para aceptar o rechazar nuestras hipótesis.

POSIX-01 experimento autónomo, corpus propio y una única variable experimental principal: la formulación de la pregunta.

Ivestigar si cinco maneras de formular una misma intención producen respuestas diferentes y cómo podemos medir esas diferencias.

 

 

1. Objetivo de investigación

 

Determinar en qué medida la reformulación de una pregunta, manteniendo constante su intención informativa, produce variaciones observables en las respuestas de diferentes sistemas de inteligencia artificial.

El experimento estudiará:

La identificación de la entidad.

La descripción de su actividad profesional.

La atribución de conocimientos y especialidades.

La identificación de proyectos.

La información y las fuentes utilizadas.

La aparición, desaparición o modificación de información.

 

 

2. Pregunta principal de investigación

 

RQ01

¿En qué medida la formulación lingüística de una pregunta, cuando mantiene una intención informativa equivalente, modifica el contenido, las atribuciones y las evidencias presentes en las respuestas de los sistemas de inteligencia artificial?

Preguntas secundarias:

RQ02

¿Las variaciones son similares entre los cuatro sistemas?

RQ03

¿Qué dimensiones de la respuesta presentan mayor variabilidad?

RQ04

¿Qué información permanece estable independientemente de la formulación?

RQ05

¿Qué información aparece únicamente bajo determinadas formulaciones?

RQ06

¿Las fuentes citadas cambian cuando cambia la formulación?

 

 

3. Hipótesis experimentales

 

Hipótesis antes de ejecutar las pruebas.

 

Código Hipótesis
H01 Las reformulaciones semánticamente equivalentes producirán diferencias observables en las respuestas.
H02 La magnitud de esas diferencias variará entre sistemas.
H03 Algunas dimensiones de la respuesta mostrarán mayor estabilidad que otras.
H04 Las fuentes utilizadas podrán variar entre formulaciones de una misma intención.
H05 Algunas afirmaciones aparecerán únicamente bajo determinadas formulaciones.

 

 

4. Diseño experimental

 

Estructura de la prueba

 

5

Formulaciones

4

Sistemas de IA

3

Repeticiones independientes

60

Respuestas previstas

Unidad experimental

Una ejecución independiente de una formulación en un sistema de IA.

Unidad de comparación

Las cinco respuestas obtenidas para una misma intención dentro de un mismo sistema y repetición.

 

 

4.1. Entidad objeto de estudio

 

Manu Duque.

La selección responde a tres razones metodológicas:

Es una entidad real con presencia pública.

Tiene actividad profesional y proyectos documentados.

Permite contrastar las atribuciones de los sistemas con documentación externa.

 

 

4.2. Intención informativa constante

 

La intención común será:

Identificar a Manu Duque y describir su actividad profesional a partir de la información disponible para el sistema.

Esta definición es importante porque las cinco formulaciones no deben introducir nuevas preguntas ni exigir información diferente.

 

 

4.3 Las cinco formulaciones definitivas

 

Estas serán las cinco preguntas del experimento:

P01 — Referencia

Formulación directa

¿Quién es Manu Duque y a qué actividad profesional se dedica?

P02 — Formulación identificativa

Identifica a Manu Duque y describe cuál es su actividad profesional.

P03 — Formulación descriptiva

¿Cómo describirías el perfil profesional de Manu Duque y cuál es su principal actividad?

P04 — Formulación informativa

Explica quién es Manu Duque y resume las actividades que desarrolla profesionalmente.

P05 — Formulación indirecta

Si alguien quisiera conocer la actividad profesional de Manu Duque, ¿qué información le proporcionarías sobre él?

Regla de congelación: estas cinco preguntas no podrán modificarse una vez iniciada la primera ejecución. Tampoco se podrán mejorar, corregir o adaptar después de conocer los resultados.

Si detectamos un error, se registrará como incidencia y se decidirá si requiere una nueva versión del protocolo.

 

 

5. Variables del experimento

 

Distinguir entre variables independientes, dependientes y condiciones de control.

 

Tipo Variable Tratamiento
Independiente Formulación Cinco variantes
Dependiente Contenido de respuesta Se analiza
Dependiente Identificación Se analiza
Dependiente Atribuciones Se analizan
Dependiente Fuentes Se analizan
Dependiente Omisiones Se analizan
Control Entidad Manu Duque
Control Intención Misma
Control Idioma Español
Control Historial Ninguno
Control Instrucciones adicionales Ninguna

 

 

6. Procedimiento de ejecución

 

La ejecución debe seguir siempre el mismo procedimiento.

Preparación

Comprobar los cuatro sistemas, anotar los modelos y las versiones visibles, y registrar las condiciones de acceso.

Apertura

Abrir una conversación nueva e independiente en cada ejecución.

Introducción

Copiar literalmente una de las cinco preguntas, sin añadir explicaciones.

Captura

Conservar la respuesta íntegra, incluidas referencias, enlaces, advertencias y posibles errores.

Registro

Anotar sistema, formulación, repetición, fecha, hora, modelo y cualquier incidencia.

Repetición

Ejecutar nuevamente las cinco formulaciones en conversaciones independientes hasta completar las tres repeticiones.

Cierre

Comprobar que están disponibles las 60 respuestas originales antes de comenzar la anotación.

Para reducir el efecto del orden, las preguntas se ejecutarán en orden aleatorio dentro de cada sistema y repetición. Se conservará el orden real en el registro.

No se realizarán preguntas de seguimiento ni se solicitarán aclaraciones a los modelos.

Precaución: tres repeticiones permiten observar variabilidad, pero no garantizan que podamos generalizar estadísticamente a todas las sesiones o versiones futuras.

 

 

7. Registro de evidencias

 

Cada respuesta tendrá un identificador único.

Ejemplo:

POSIX-01-CHATGPT-P01-R01

Donde:

POSIX-01: experimento.

CHATGPT: sistema.

P01: formulación.

R01: primera repetición.

Los identificadores equivalentes serán:

GEMINI

CLAUDE

PERPLEXITY

 

Ficha de registro

 

Campo Contenido
execution_id Identificador único
experiment_id POSIX-01
system Sistema utilizado
model_version Modelo visible
prompt_id P01–P05
repetition R01–R03
execution_date Fecha
execution_time Hora
prompt_original Pregunta literal
response_original Respuesta íntegra
citations Fuentes y enlaces
browsing_status Búsqueda o navegación observable
incidents Incidencias
capture_reference Archivo o evidencia de captura

 

 

8. Sistema de anotación común

 

Esta es una de las partes más importantes.

No evaluar las respuestas diciendo simplemente que una parece mejor que otra.

Matriz que permita comparar las mismas dimensiones en las 60 respuestas.

 

Código Dimensión Qué registra
REC Recognition Reconocimiento de Manu Duque
IDE Identification Identificación correcta de su identidad
ACT Professional Activity Actividad profesional atribuida
SPE Specialization Especialidades atribuidas
PRO Projects Proyectos identificados
ATT Attribution Corrección de las atribuciones
SRC Sources Fuentes utilizadas y su pertinencia
OMI Omission Información relevante que no aparece

 

INC: inconsistencias y contradicciones.

UNC: incertidumbre, reservas y afirmaciones no verificadas.

 

 

8.1. Clasificación de las observaciones

 

Cada afirmación relevante extraída de una respuesta tendrá una clasificación:

 

Código Clasificación Significado
C Confirmada Existe evidencia documental suficiente
P Parcialmente confirmada Solo una parte está respaldada
U No verificada No disponemos de evidencia suficiente
X Contradicha La evidencia disponible contradice la afirmación
A Ausente La información no aparece en la respuesta
NA No aplicable La dimensión no corresponde

 

Distinguir entre información falsa e información que simplemente no hemos podido verificar.

La ausencia de evidencia no demuestra falsedad.

 

 

8.2. Registro de afirmaciones

 

Cada respuesta se descompondrá en afirmaciones individuales.

Ejemplo:

Afirmación Dimensión Estado
Se dedica al marketing digital ACT C/P/U/X
Investiga AI Visibility SPE C/P/U/X
Ha desarrollado un modelo metodológico PRO C/P/U/X
Trabaja en SEO ACT C/P/U/X

 

La clasificación definitiva dependerá del cotejo documental, no de la confianza con la que el sistema haya expresado la afirmación.

 

 

8.3. Corpus de referencia independiente

 

Antes de anotar, construiremos un pequeño expediente de contraste documental sobre Manu Duque.

Incluirá:

Información de su página profesional.

Descripciones de sus actividades.

Documentación de proyectos.

Publicaciones y trabajos identificables.

Fechas y versiones de los documentos.

Este expediente no se entregará a los sistemas de IA.

Su función será servir como referencia externa para evaluar las respuestas.

También distinguiremos entre:

Información publicada antes de la ejecución.

Información publicada después de la ejecución.

Información cuya fecha no podamos establecer.

Evitar utilizar documentación posterior para validar retrospectivamente una respuesta.

 

 

9. Qué medir

 

Obtener resultados cuantificables.

M01. Estabilidad de identificación

Porcentaje de ejecuciones que identifican correctamente la entidad.

M02. Estabilidad de atributos

Proporción de atributos profesionales que permanecen presentes entre formulaciones.

M03. Variabilidad informativa

Diferencias en las afirmaciones presentes, ausentes, añadidas o contradictorias.

M04. Variabilidad de fuentes

Cambios en las fuentes utilizadas para respaldar las respuestas.

M05. Sensibilidad a la formulación

Grado de variación observado entre respuestas obtenidas mediante formulaciones equivalentes.

Para M05 utilizar inicialmente medidas descriptivas:

Coincidencia de afirmaciones.

Similitud de conjuntos de atributos.

Aparición y desaparición de afirmaciones.

Diferencias en las fuentes.

Variación entre repeticiones.

Podremos utilizar el índice Jaccard para comparar conjuntos de atributos:

\[ J(A,B)=\frac{|A\cap B|}{|A\cup B|} \]

Un valor de 1 indica coincidencia completa y un valor de 0 indica ausencia de elementos compartidos.

Mantener una precaución: una respuesta más larga no significa necesariamente que contenga más información verdadera.

POSIX-01 no utilizará un indicador compuesto único para declarar que un modelo es más o menos sensible.

Comprobar qué métricas son válidas y qué dimensiones aportan información independiente.

POSIX original si no disponemos de sus datos de probabilidad necesarios.

 

 

10. Criterios de calidad y reproducibilidad

 

El protocolo se considerará correctamente ejecutado cuando:

Las cinco formulaciones estén congeladas.

Los cuatro sistemas estén identificados.

Las 60 ejecuciones estén registradas o sus ausencias estén documentadas.

Las respuestas originales estén preservadas.

Las incidencias estén registradas.

El corpus de referencia tenga fechas y fuentes.

La anotación siga criterios comunes.

Las conclusiones puedan vincularse a observaciones concretas.

Si una ejecución falla, no se inventará una respuesta ni se sustituirá silenciosamente.

Se registrará la incidencia y se repetirá únicamente bajo una regla de recuperación previamente establecida, conservando tanto el fallo como la nueva ejecución.

Para aumentar la fiabilidad, recomiendo que una segunda persona anote una muestra de las respuestas sin conocer las clasificaciones del primer anotador.

Las discrepancias se documentarán y resolverán sin borrar las anotaciones originales.

 

 

11. Estructura documental del proyecto

 

Expediente POSIX-01

 

POSIX-01_PROTOCOL_v0.1

Protocolo experimental definitivo.

POSIX-01_PROMPT_REGISTER_v0.1

Registro congelado de las cinco formulaciones.

POSIX-01_RAW_DATASET_v0.1

Las 60 respuestas originales y sus metadatos.

POSIX-01_ANNOTATION_MATRIX_v0.1

Anotación de afirmaciones, atributos, fuentes y omisiones.

POSIX-01_RESULTS_REPORT_v0.1

Resultados, análisis, limitaciones y conclusiones.

El protocolo y el registro de preguntas se congelarán antes de la primera ejecución.

El dataset se irá completando sin modificar los originales.

 

 

12. Orden de trabajo

 

 

Hoja de ruta de POSIX-01

 

Fase 1 – Cerrar el protocolo

Aprobar objetivo, hipótesis, variables, formulaciones y reglas de ejecución.

Fase 2 – Preparar el registro

Crear la ficha de ejecución y la matriz de anotación.

Fase 3 – Construir el corpus de referencia

Reunir las fuentes documentales necesarias para contrastar las respuestas.

Fase 4  Ejecutar el experimento-

Realizar las 60 consultas en los cuatro sistemas.

Fase 5 – Anotar las respuestas

Analizar las afirmaciones y comparar las diferencias.

Fase 6 – Analizar los resultados

Calcular indicadores, identificar patrones y estudiar las limitaciones.

Fase 7 – Cerrar POSIX-01

Elaborar el informe y decidir qué nuevas preguntas de investigación merecen un experimento posterior.

Dos niveles de investigación que no debemos confundir:

POSIX-01: estudia qué sucede cuando reformulamos una pregunta manteniendo su intención.

POSIX-02 y siguientes: estudian otras dimensiones, como contexto, presuposiciones, secuenciación y encuadre.

 

 

POSIX 01 – Prompt Register v0.1

Investigación: POSIX-01
Título: Sensibilidad de las respuestas ante reformulaciones semánticamente equivalentes.
Entidad objeto de estudio: Manu Duque
Idioma: Español
Número de formulaciones: 5

 

 

P01 – Formulación interrogativa directa

¿Quién es Manu Duque y a qué actividad profesional se dedica?

P02 – Formulación imperativa identificativa

Identifica a Manu Duque e indica a qué actividad profesional se dedica.

P03 – Formulación interrogativa invertida

¿A qué se dedica profesionalmente Manu Duque y quién es?

P04 – Formulación descriptiva

Describe quién es Manu Duque y cuál es su actividad profesional.

P05 – Formulación condicional comunicativa

Si tuvieras que explicar quién es Manu Duque y a qué se dedica profesionalmente, ¿qué dirías?

 

 

Intención informativa compartida

Identificar a Manu Duque y describir su actividad profesional.

 

 

Restricciones comunes

 

No añadir contexto sobre la entidad.

No proporcionar información previa sobre su trayectoria.

No sugerir especialidades ni actividades concretas.

No solicitar proyectos, metodologías o investigaciones.

No solicitar recomendaciones ni valoraciones.

No solicitar fuentes o referencias expresamente.

No incluir instrucciones adicionales.

No realizar preguntas de seguimiento.

No modificar la formulación durante la ejecución.

 

 

Regla de integridad

 

Las cinco formulaciones constituyen el conjunto experimental congelado de POSIX-01 v0.1.

Cualquier modificación posterior deberá documentarse como una nueva versión del registro y no podrá sustituir retrospectivamente las preguntas utilizadas en una ejecución.

Autor: Manu Duque
Versión: 0.1

Explicar qué variación introducimos en cada una.

 

Prompt Variación lingüística
P01 Interrogación directa
P02 Instrucción imperativa
P03 Inversión del orden de los elementos
P04 Solicitud descriptiva
P05 Encuadre condicional comunicativo

 

Dos objetos informativos: identidad y actividad profesional.

P05 introduce un encuadre hipotético y P02 utiliza una instrucción imperativa.

Variaciones pragmáticas, sintácticas.

No invalida el experimento, significa estudiar el efecto conjunto de la formulación lingüística y su encuadre comunicativo, no el orden de las palabras.

 

 

Auditoría de equivalencia semántica

 

Aplicar una comprobación de equivalencia.

 

Matriz de control

Criterio P01 P02 P03 P04 P05
Identificar persona Sí Sí Sí Sí Sí
Describir actividad Sí Sí Sí Sí Sí
Solicitar trayectoria No No No No No
Solicitar proyectos No No No No No
Solicitar especialidades No No No No No
Solicitar recomendaciones No No No No No
Introducir contexto No No No No No

 

Resultado de la auditoría: las cinco preguntas comparten el núcleo informativo.

Pueden utilizarse como un conjunto piloto de reformulaciones equivalentes, con la salvedad de sus diferencias pragmáticas.

 

 

Reglas de congelación

 

Se conservará una copia íntegra de cada pregunta.

Se asignará un identificador permanente P01–P05.

No se corregirán errores estilísticos durante la ejecución.

No se adaptarán las preguntas a las particularidades de cada sistema.

No se añadirán instrucciones para conseguir respuestas más completas.

Las cinco preguntas se utilizarán exactamente igual en los cuatro sistemas.

Cualquier cambio dará lugar a una nueva versión documentada.

 

 

Criterio de cierre

POSIX-01_PROMPT REGISTER v0.1 se considerará congelado cuando se haya aprobado expresamente este conjunto de cinco formulaciones.

 

 

 

 

Manu Duque
Resumen de privacidad

Esta web utiliza cookies para que podamos ofrecerte la mejor experiencia de usuario posible. La información de las cookies se almacena en tu navegador y realiza funciones tales como reconocerte cuando vuelves a nuestra web o ayudar a nuestro equipo a comprender qué secciones de la web encuentras más interesantes y útiles.

Nunca almacenamos información personal.

Puedes revisar nuestra política en la página de Política de Privacidad, Condiciones de Uso y Cookies.