Prompt Observation, Study & Investigation eXperiment
La ciencia del prompt: el arte de preguntar en los sistemas de inteligencia artificial.
Investigar cómo las características de una pregunta influyen en las respuestas de los sistemas de IA y qué consecuencias tiene esa influencia sobre la identificación, representación y visibilidad de entidades.
La pregunta:
¿En qué medida, de qué manera y bajo qué condiciones la formulación de una pregunta modifica la información que un sistema de inteligencia artificial proporciona sobre una entidad?
Y de ella derivarían otras preguntas:
¿Qué información aparece cuando preguntamos de forma abierta?
¿Qué información aparece cuando introducimos contexto?
¿Qué sucede cuando sugerimos una respuesta?
¿Qué cambia cuando incorporamos presuposiciones?
¿Qué información conseguimos revelar mediante preguntas sucesivas?
¿Qué dejamos fuera cuando formulamos preguntas demasiado restrictivas?
¿Hasta qué punto una pregunta condiciona las recomendaciones?
¿Puede una formulación inducir errores de identificación o atribución?
Esto nos permitiría investigar no solamente qué sabe la IA, sino también qué conseguimos que manifieste y qué condiciones hemos introducido nosotros para obtenerlo.
Qué demostrar experimentalmente
Idea relevante que debemos conservar: el prompt no es simplemente una pregunta, sino un instrumento cuya estabilidad y capacidad de medición deben comprobarse.
Tres grandes líneas:
Sensibilidad a la reformulación.
Descomposición de la variabilidad entre prompt y modelo.
Calibración y gobernanza del conjunto de preguntas.
Una cuestión esencial: la sensibilidad de la respuesta no equivale necesariamente a la importancia causal del prompt.
Investigación que compruebe cinco fenómenos.
| Fenómeno | Qué queremos comprobar |
| Sensibilidad | ¿Cambia la respuesta al cambiar la pregunta? |
| Encuadre | ¿Influye la perspectiva desde la que preguntamos? |
| Presuposición | ¿Acepta la IA información que introducimos como cierta? |
| Omisión | ¿Qué información deja de aparecer según preguntamos? |
| Revelación | ¿Qué información aparece al formular preguntas sucesivas? |
Con tres fenómenos:
Identificación: si una pregunta ayuda o dificulta reconocer correctamente una entidad.
Atribución: si cambia la información que el sistema atribuye a esa entidad.
Recomendación: si cambia quién aparece recomendado, en qué posición y con qué justificación.
Esto permite estudiar el efecto del prompt desde la formulación inicial hasta la recomendación final.
Diseño de la investigación POSIX
Prueba controlada que permita identificar qué variables producen cambios observables.
POSIX – Arquitectura experimental 0.1
POSIX-01 — Sensibilidad a la formulació-
Comparar preguntas diferentes que persiguen exactamente la misma intención.
POSIX-02 – Efecto del contexto
Comprobar qué cambia al proporcionar información adicional.
POSIX-03 – Presuposiciones y sesgos
Comprobar cómo influyen las afirmaciones implícitas y explícitas.
POSIX-04 – Omisión y revelación
Investigar qué información aparece, desaparece o solo surge cuando se pregunta específicamente por ella.
POSIX-05 — Secuenciación de pregunta-
Estudiar cómo una pregunta anterior condiciona las respuestas posteriores.
POSIX-06 – Efecto sobre la identificación y atribución
Comprobar cómo la formulación modifica el reconocimiento de entidades y sus atributos.
POSIX-07 – Efecto sobre las recomendaciones
Medir cambios en selección, frecuencia, posición y justificación de las recomendaciones.
POSIX-08 – Sensibilidad entre modelos
Comparar los resultados en ChatGPT, Gemini, Claude y Perplexity.
Prueba: POSIX-01
Objetivo: comprobar si distintas formulaciones de una misma pregunta producen diferencias relevantes en las respuestas de los sistemas de IA.
Mantener constante la intención y modificar exclusivamente la forma de preguntar.
Un caso concreto: Manu Duque y su actividad profesional en AI Visibility.
Entidad identificable, actividad profesional definida y documentación externa contrastar las respuestas.
Seis formulaciones experimentales
Pregunta de referencia.
P01 – Formulación abierta
¿Quién es Manu Duque y a qué actividad profesional se dedica?
P02 Formulación descriptiva-
Describe la trayectoria profesional de Manu Duque y explica cuáles son sus principales áreas de actividad.
P03 – Formulación contextualizada
¿Qué relación tiene Manu Duque con el SEO, el marketing digital y la investigación sobre AI Visibility?
P04 – Formulación especializada
¿Qué investigaciones, metodologías o proyectos ha desarrollado Manu Duque en el ámbito de AI Visibility?
P05 – Formulación evaluativa
¿Qué conocimientos y capacidades profesionales demuestra Manu Duque en la investigación de cómo los sistemas de IA identifican, representan y recomiendan entidades?
P06 – Formulación con presuposición
Considerando que Manu Duque es especialista en AI Visibility, ¿qué metodologías utiliza para investigar la representación y recomendación de entidades en sistemas de IA?
P06 contiene una presuposición deliberada.
No considerar verdadera por el hecho de que aparezca en la pregunta.
Observar si el modelo la acepta, la matiza o la cuestiona.
Variables a observar
Cada respuesta se analizará utilizando la misma matriz:
| Variable | Observación |
| Recognition | Reconoce o no a Manu Duque |
| Identification | Identifica correctamente su identidad |
| Professional activity | Actividad que le atribuye |
| Knowledge | Conocimientos que le atribuye |
| Projects | Proyectos que identifica |
| Attribution | Atribuciones correctas e incorrectas |
| Evidence | Fuentes que utiliza |
| Omission | Información relevante ausente |
| Recommendation | Si lo recomienda y en qué contexto |
| Uncertainty | Dudas, reservas o afirmaciones no demostradas |
La unidad:
Una formulación → una ejecución → una respuesta original → una anotación → una evidencia.
Precisión científica sobre POSIX
POSIX no es una denominación conceptual: existe un trabajo académico publicado en Findings of EMNLP 2024:
POSIX: A Prompt Sensitivity Index For Large Language Models, de Anwoy Chatterjee, H. S. V. N. S. Kowndinya Renduchintala, Sumit Bhatia y Tanmoy Chakraborty.
ACL Anthology+1
Su índice original mide la sensibilidad mediante cambios relativos en la log-likelihood de una respuesta al sustituir un prompt por otro que conserva la intención.
Establece una distinción:
POSIX académico: índice matemático de sensibilidad a los prompts.
POSIX aplicado a AI Visibility: adaptación experimental para estudiar cómo esa sensibilidad afecta al reconocimiento, representación y recomendación de entidades.
Ciencia del prompt: campo de investigación más amplio que estudia la formulación, estructura, contexto, secuencia e influencia de las preguntas.
BrittleBench (2026), que aporta un marco para separar la variabilidad inducida por las perturbaciones de entrada de otras fuentes de variación. arXiv
Una precaución: no debemos llamar POSIX original a una desviación estándar de menciones o a una similitud Jaccard.
Serían métricas alternativas o aproximaciones inspiradas en POSIX. La mayoría de las interfaces comerciales no proporcionan las probabilidades necesarias para calcular el índice original.
Esta distinción es fundamental para que la investigación sea defendible.





