La Ciencia del Prompt: El Arte de Preguntar en la Era de la IA

 

De la respuesta a la pregunta: el giro paradigmático hacia una «ciencia del prompt» en la investigación de AI Visibility

 

La medición de la AI Visibility se ha centrado históricamente en lo que el modelo dice, dejando sistemáticamente en segundo plano cómo se formula la pregunta.

El prompt debe elevarse de instrumento periférico a objeto central de estudio, proponiendo la «ciencia del prompt» como subcampo autónomo de la investigación en visibilidad.

A partir de la integración de evidencia reciente sobre fragilidad a la paráfrasis, índices de sensibilidad como POSIX, descomposición de varianza al estilo Brittlebench y modelos por etapas del embudo.

Se argumenta que la cadena exacta del prompt y no la intención subyacente del comprador es el insumo dominante en los conjuntos de recomendación de marca.

Las paráfrasis cosméticas producen una similitud Jaccard de solo 0.288, y las que añaden restricciones descienden a 0.135, frente a una línea base de 0.50–0.61 entre ejecuciones del mismo prompt.

Ahora bien, esta sensibilidad no es uniforme: está modulada por la etapa del embudo máxima en medio de embudo, por el motor, y por la exposición de recuperación, donde la presencia del dominio propio puede elevar la tasa de mención del 2.8% al 91.4%

Sobre esta base se propone un marco operativo de tres capas: POSIX y descomposición de varianza como fundamento métrico, un protocolo de calibración estratificado como práctica estándar, y la «gobernanza del instrumento» en lugar del reporte de una cifra única como principio institucional.

La conclusión central es que la sensibilidad al prompt es lo bastante grande como para que toda conclusión de visibilidad que no reporte la varianza del panel deba considerarse una estimación no calibrada.

Palabras clave: AI Visibility; sensibilidad al prompt; cambio de paradigma; validez de medición; optimización para motores generativos.

 

 

Introducción: una fuente de varianza sistemáticamente ignorada

 

Cuando un analista de marketing reporta que «la visibilidad de la marca X en ChatGPT es del 34%», esa cifra incorpora un supuesto rara vez examinado: que el conjunto de prompts empleado para medir la visibilidad representa fielmente el constructo «las preguntas que un comprador podría formular».

El problema es que ese supuesto casi nunca se somete a prueba.

Un estudio de reejecución a gran escala publicado en 2026 ofrece una respuesta incómoda.

Sobre aproximadamente 6.000 ejecuciones de paráfrasis y unas 6.000 reejecuciones de control del mismo prompt, la similitud Jaccard entre los conjuntos de marcas recomendadas por dos paráfrasis cosméticas.

Por ejemplo, «best CRM» frente a «top CRM» fue de solo 0.288, y cayó a 0.135 cuando la paráfrasis añadía una restricción por ejemplo, «best CRM for a SaaS startup»; la línea base entre ejecuciones repetidas del mismo prompt se situó en 0.50–0.61

En otras palabras, la variación inducida por reformular la pregunta es entre dos y cuatro veces mayor que la variación producida por la aleatoriedad del propio modelo.

La conclusión de ese trabajo es tajante: el insumo que gobierna la aparición de marcas es la cadena del prompt, no la intención de compra que subyace a ella.

Este hallazgo no está aislado.

 

En el mismo periodo, el modelo por etapas de Tannenbaum, construido sobre 34.960 observaciones sin marca de pares prompt-motor, reveló un hecho estructural complementario.

Cuando ni la marca objetivo ni su dominio propio aparecen en la ruta de recuperación en tiempo real observable, las tasas de mención en GPT y Gemini son de solo 2.8% y 3.8%, respectivamente; cuando coinciden la citación del dominio propio y el fan-out de marca, las tasas ascienden a 91.4% y 100%

La sensibilidad al prompt es real, pero coexiste en la misma cadena causal con el efecto de exposición de recuperación, y el peso relativo de ambos depende de dónde se mida en el embudo, en qué motor, y de si la ruta de recuperación está activada.

El objetivo de este artículo no es repetir esos hallazgos, sino integrarlos en un programa de investigación operativo.

La argumentación avanza en tres pasos: primero, delimitar el espacio problemático y los recursos teóricos de la «ciencia del prompt».

Segundo, establecer el fundamento métrico de la sensibilidad tomando POSIX y Brittlebench como anclas.

Tercero, proponer un protocolo de calibración del panel y principios de gobernanza del instrumento que conviertan la intuición en práctica auditable.

 

 

Marco teórico: el prompt como instrumento psicométrico

 

 

 

Del «listado de preguntas» al «instrumento»

 

En la tradición de la investigación de mercados, un cuestionario es un conjunto de preguntas; en la tradición psicométrica, un cuestionario es un instrumento cuya fiabilidad, validez y estabilidad entre contextos deben medirse por derecho propio.

Introducir esta distinción en la investigación de AI Visibility implica que el panel de prompts deja de concebirse como «la lista de preguntas que querríamos hacerle al comprador» y pasa a tratarse como un dispositivo de medición con sesgos sistemáticos y error aleatorio.

La consecuencia directa de este reencuadre es que la varianza del panel se convierte en ciudadana de primera clase.

Si distintas operacionalizaciones del mismo constructo «buscar un CRM adecuado para una startup» producen conjuntos de recomendación significativamente distintos.

Entonces la media del panel es una mezcla de mediciones no conmensurables y su poder explicativo queda sistemáticamente sobreestimado.

 

 

Las tres fuentes teóricas de la sensibilidad al prompt

 

La ciencia del prompt puede nutrirse de tres tradiciones disciplinares, cada una de las cuales ilumina una faceta distinta de la sensibilidad.

La psicometría aporta la lógica de la descomposición de varianza.

El marco Brittlebench descompone la varianza total en la corrección de un modelo en tres componentes aleatoriedad de razonamiento, dificultad del ítem y sensibilidad a la forma superficial.

Y encuentra que, para muchos modelos de pesos abiertos, la varianza inducida por perturbaciones representa alrededor de la mitad de la varianza total; incluso en modelos comerciales, la sensibilidad al prompt contribuye con más del 25% de la varianza total.

Esta metodología es directamente trasladable a la medición de visibilidad: la varianza de la tasa de mención de marca puede descomponerse igualmente en «varianza de reejecución del modelo».

Y «varianza de reformulación del panel», y su cociente es la definición operativa de la fragilidad brittleness del panel.

 

La lingüística y la teoría del encuadre aportan la explicación del mecanismo.

Los hallazgos de POSIX tienen una relevancia directa para el dominio: en tareas de generación abierta, la paráfrasis genera la mayor sensibilidad, mientras que en tareas de opción múltiple el mayor impacto proviene del cambio de plantilla.

La recomendación de marcas es generación abierta, lo que significa que la paráfrasis es la dimensión que más necesita control en el diseño del panel.

Al mismo tiempo, el efecto de encuadre la forma en que la formulación activa patrones de respuesta específicos explica por qué algunas reformulaciones son más disruptivas que otras.

Los marcos comparativos «X vs Y» y los marcos de recomendación «¿qué debería comprar?» invocan rutas de razonamiento distintas.

 

La teoría del muestreo estadístico aporta la disciplina de la inferencia.

Los prompts no son observaciones independientes, sino que están anidados en clústeres de intención.

Un panel de 30 prompts en el que 20 giran en torno a un mismo subintento con variantes mínimas tiene un tamaño muestral efectivo mucho menor que 30.

El bootstrap agrupado clustered bootstrap, y no los intervalos de confianza ingenuos, es la herramienta correcta para estimar la incertidumbre del panel.

 

 

Fundamento métrico: cómo medir la sensibilidad al prompt

 

 

 

POSIX: un índice de sensibilidad basado en la verosimilitud logarítmica

 

La lógica central de POSIX es simple y potente: dado un prompt original pp, una variante que preserva la intención p′p′, y la verosimilitud logarítmica de una respuesta rr bajo el modelo, la sensibilidad se define como el cambio relativo de esa verosimilitud al sustituir el prompt.

El índice captura la respuesta de la distribución de probabilidad interna del modelo a la perturbación del prompt, y no solo si la salida final cambia.

Para la investigación de AI Visibility, el valor de POSIX reside en que proporciona una medida continua de sensibilidad, en lugar de un indicador binario de «mención/no mención».

Una marca puede aparecer bajo varias variantes y, aun así, la confianza de esas menciones medida por la verosimilitud logarítmica puede fluctuar con fuerza.

Esa fluctuación es completamente invisible en un indicador binario, pero anticipa que, con una reformulación ligeramente distinta o una temperatura algo mayor, la mención puede desaparecer.

La limitación de POSIX es igualmente clara: requiere acceso a la verosimilitud logarítmica, que la mayoría de las APIs comerciales no exponen.

Una solución provisional factible es sustituirla por la dispersión de la tasa de mención entre variantes desviación estándar o coeficiente de variación.

Aunque tosca, en escenarios prácticos de calibración de paneles esta aproximación mantiene una correlación de orden suficiente con POSIX para sustentar decisiones.

 

 

Descomposición de varianza: separar la varianza del instrumento de la del modelo

 

El marco de descomposición de varianza de Brittlebench ofrece una herramienta de calibración directamente aplicable a los paneles de visibilidad.

La operación central es: para kk variantes de un mismo intento, ejecutar cada una mm veces y calcular:

Varianza intra-variante varianza de la tasa de mención entre reejecuciones de la misma variante: refleja la aleatoriedad de muestreo del modelo;

Varianza inter-variante varianza de la tasa de mención entre variantes distintas: refleja la sensibilidad al instrumento el prompt;

Ratio de fragilidad = varianza inter-variante / varianza intra-variante.

 

Cuando este ratio supera 1, la variación del panel proviene principalmente de la elección de prompts y no del comportamiento del modelo, y en ese caso reportar una única «puntuación de visibilidad» carece de sentido estadístico.

Conviene señalar que la evidencia empírica de Brittlebench muestra que el efecto de las perturbaciones combinadas por ejemplo, añadir un rol y reformular al mismo tiempo no es aditivo.

Algunas combinaciones reducen la precisión hasta un 45%, muy por encima del efecto de una perturbación única.

Esto implica que las distintas dimensiones del diseño del panel longitud, restricciones, plantilla pueden tener efectos de interacción, y que el experimento de calibración debe cubrir condiciones combinadas.

 

 

Una delimitación necesaria: sensibilidad no equivale a importancia

 

El rigor del marco métrico anterior no debe ocultar una cuestión sustantiva: ¿qué lugar ocupa la sensibilidad al prompt en la estructura causal de la visibilidad?

El modelo por etapas de Tannenbaum impone una restricción clave.

En el marco predictivo de ese trabajo, un índice de sensibilidad al prompt construido manualmente arroja un AUC GPT 0.960, Gemini 0.943 prácticamente idéntico al del modelo completo 0.963 / 0.942

Esto parece respaldar la tesis fuerte de que «el prompt lo es todo».

Pero el mismo estudio muestra también que el tamaño del efecto de la exposición de recuperación es mucho mayor que el del emparejamiento de prompts: manteniendo constante el fan-out de marca.

La asociación entre exposición del dominio propio y tasa de mención es de +40.2 puntos porcentuales en GPT y +49.0 puntos en Gemini.

La sensibilidad al prompt explica la varianza, pero la exposición determina el nivel de la línea base.

La ciencia del prompt debe entenderse como teoría del error de medición y no como teoría causal.

Nos dice en qué medida una cifra de visibilidad es fiable, pero no nos dice cómo cambiar esa cifra.

Esto último requiere un trabajo independiente sobre la exposición de recuperación y la estrategia de contenido.

 

 

Protocolo práctico: procedimiento operativo para la calibración del panel

 

Sobre el fundamento métrico anterior, el siguiente protocolo convierte la iniciativa de «cuantificar la fragilidad del panel» en pasos ejecutables.

El principio de diseño es la calibración mínima viable: producir, con recursos limitados, información suficiente para juzgar si el panel es utilizable, sin pretender un mapa completo de sensibilidad.

 

 

Fase 1: establecimiento de la línea base (días 1–2)

 

Extraer 20–30 prompts del panel existente y estratificarlos por etapa del embudo: embudo superior informacional, embudo medio comparación/evaluación y embudo inferior marca/transaccional.

Aproximadamente un tercio cada uno, con un sobremuestreo moderado del embudo medio, que se sabe más sensible.

Ejecutar cada prompt tres veces en el motor objetivo con temperatura fija se recomienda 0.0 o el mínimo que soporte el motor.

Registrar el conjunto de marcas mencionadas en cada ejecución.

Calcular el indicador de línea base: la similitud Jaccard media entre las tres reejecuciones de cada prompt, como línea base de varianza del modelo.

Si esta línea base es inferior a 0.40, el motor es sumamente inestable en esta tarea y la interpretación de la calibración posterior debe extremarse.

 

 

Fase 2: generación y ejecución de variantes (días 3–5)

 

Generar 4–5 variantes por prompt base, cubriendo tres dimensiones:

Paráfrasis cosmética: sustitución de sinónimos y reordenamiento sin alterar las restricciones;

Adición de restricciones: incorporar un calificador concreto rango de precio, caso de uso, tamaño de equipo;

Cambio de plantilla: pasar de la forma de palabras clave «best CRM for startups» a la forma conversacional «I’m starting a SaaS company and need a CRM-what should I look at?»

 

Mantener en la ejecución el mismo motor, temperatura y número de reejecuciones que en la línea base.

Aleatorizar el orden de ejecución de las variantes para evitar la confusión por deriva temporal.

 

 

Fase 3: análisis y decisión (días 6–7)

 

Calcular dos cantidades centrales:

Varianza del instrumento: la similitud Jaccard media entre todos los pares de variantes.

Si este valor es inferior a la línea base de reejecución del mismo prompt, se confirma la fragilidad del panel, y la magnitud de la diferencia es la magnitud de la varianza del instrumento.

Fragilidad por etapa: calcular la varianza del instrumento agrupando por etapa del embudo.

Se espera que la similitud inter-variante sea mínima en el embudo medio.

Si los datos respaldan este patrón, la estrategia de calibración debe consistir en aplicar un muestreo de variantes más denso a los prompts de embudo medio, en lugar de repartir el esfuerzo por igual entre todos los prompts.

Regla de decisión: si la varianza del instrumento es inferior al 70% de la línea base de reejecución es decir, si el solapamiento de recomendaciones causado por la reformulación es solo el 70% o menos del solapamiento por reejecución.

El panel, en su forma actual, no es apto para conclusiones comparativas entre marcas o a lo largo del tiempo; si se sitúa entre el 70% y el 90%

El panel puede servir para monitorizar tendencias pero no debe reportar porcentajes precisos; si supera el 90%, el panel tiene una estabilidad de medición básica.

 

 

Una dimensión desatendida: la heterogeneidad entre motores

 

El protocolo anterior asume un solo motor objetivo.

En la práctica, la sensibilidad al prompt puede no ser una propiedad estable del instrumento, sino de la interacción motor-prompt.

Si GPT y Gemini responden a las mismas perturbaciones con magnitudes similares, el instrumento es más generalizable; si no, cada motor exige su propio panel calibrado.

Esta es una de las preguntas de investigación prioritarias que se formulan en la sección 6, y su respuesta condiciona el diseño mismo del protocolo: un panel calibrado para un motor no es automáticamente transferible a otro.

 

 

Implicaciones estratégicas: la gobernanza del instrumento vivo

 

 

 

Reconocer que el prompt es un instrumento vivo cambia tres cosas en la gobernanza de la AI Visibility.

Primero, la auditoría del panel se vuelve tan importante como la auditoría del modelo.

Si un panel tiene alta fragilidad, cualquier reporte de «cuota de visibilidad» es en gran medida un artefacto de las formulaciones elegidas.

La práctica debería exigir que todo informe de visibilidad incluya la desviación estándar del panel entre variantes, y no solo el promedio.

 

Segundo, la comparación entre marcas requiere controlar la sensibilidad diferencial.

Una marca puede parecer más visible simplemente porque su nombre aparece en variantes cuya formulación favorece su categoría.

El encuadre elegido puede mantener una ventaja de mención de hasta 12 puntos, suficiente para invertir rankings si no se controla.

La consecuencia práctica es que las comparaciones de cuota de visibilidad entre marcas deben realizarse sobre paneles calibrados y estratificados, nunca sobre un conjunto ad hoc de prompts «representativos».

 

Tercero, la optimización de contenido y la optimización de prompts son problemas distintos.

El estudio de exposición y fan-out muestra que, si la coincidencia página-prompt es alta pero la exposición es baja, más contenido no resuelve el cuello de botella; la intervención es de distribución.

El programa de ciencia del prompt debe articularse con esa distinción: el prompt mide, pero no es necesariamente la palanca de acción.

Confundir ambas cosas llevaría a optimizar formulaciones en lugar de corregir deficiencias de recuperación, con el consiguiente desperdicio de esfuerzo.

 

 

Preguntas de investigación prioritarias

 

El programa anterior se condensa en tres preguntas cuya respuesta determinaría la madurez del campo.

Primera: ¿cuál es la proporción de varianza atribuible al instrumento por etapa del embudo y por motor?

La hipótesis de trabajo es que el embudo medio presenta un ratio instrumento/modelo mayor que 1, mientras que el embudo inferior de marca presenta un ratio inferior a 0.5

Contrastarla exige el protocolo de la sección 4 aplicado de forma sistemática y multi-motor.

 

Segunda: ¿es la sensibilidad al prompt estable entre motores o es una propiedad de la interacción motor-prompt?

Esta pregunta no es meramente técnica: determina si la ciencia del prompt puede aspirar a un instrumento universal o si está condenada a una calibración por motor.

La evidencia actual es insuficiente para decidir.

 

Tercera: ¿el encuadre tiene un efecto residual después de controlar por exposición y fan-out?

Esta es la prueba crucial para la hipótesis de que la forma de preguntar importa «por encima de la intención».

La intención subyacente puede aproximarse mediante la etapa del embudo y el clúster temático; el encuadre sería la varianza residual tras controlar por esos factores.

Si el efecto residual es sustancial, la ciencia del prompt merece el estatus de subcampo autónomo; si se desvanece, debe reintegrarse como un capítulo de la teoría del error de medición.

 

 

Conclusión

 

El campo es real y está emergiendo.

La contribución más valiosa que puede hacerse no es demostrar que el prompt importa eso ya está establecido sino cuantificar cuándo importa lo suficiente como para invalidar una conclusión de visibilidad, y construir el protocolo que haga de esa cuantificación un estándar.

La evidencia disponible indica que la sensibilidad al prompt es lo bastante grande como para que toda conclusión de visibilidad que no reporte la varianza del panel deba considerarse una estimación no calibrada.

Al mismo tiempo, la evidencia sobre exposición de recuperación impone una cautela simétrica: el prompt explica la dispersión, pero no determina el nivel.

Una ciencia del prompt madura será, por tanto, una teoría del error de medición al servicio de decisiones estratégicas, no un sustituto de ellas.

El programa aquí esbozado POSIX y descomposición de varianza como métricas, calibración estratificada como práctica, gobernanza del instrumento como principio ofrece un punto de partida operativo para recorrer ese camino.

 

 

 

 

 

Manu Duque
Resumen de privacidad

Esta web utiliza cookies para que podamos ofrecerte la mejor experiencia de usuario posible. La información de las cookies se almacena en tu navegador y realiza funciones tales como reconocerte cuando vuelves a nuestra web o ayudar a nuestro equipo a comprender qué secciones de la web encuentras más interesantes y útiles.

Nunca almacenamos información personal.

Puedes revisar nuestra política en la página de Política de Privacidad, Condiciones de Uso y Cookies.