Auditoría «meta-evaluativa» de POSIX, el índice de sensibilidad al prompt
Su pregunta central es: ¿el ranking de modelos que produce POSIX depende del tipo concreto de «perturbación que preserva la intención» que elija el investigador?
Si se cambia la forma de perturbar por ejemplo, de «typos» a «reescritura de plantilla», ¿se mantiene el orden de los modelos?
El objetivo de PRSB no es proponer un nuevo indicador de capacidad de los modelos, sino comprobar si POSIX, como herramienta de evaluación, es fiable.
Contexto: qué es POSIX y por qué auditarlo
POSIX es un índice de sensibilidad al prompt publicado en EMNLP 2024 Findings.
Su idea básica es: si dos prompts tienen la misma «intención» y solo difieren en formulación, plantilla o erratas, un LLM «ideal» debería asignar casi la misma log-likelihood a la misma respuesta.
POSIX mide precisamente el cambio relativo de esa log-likelihood para cuantificar cuánto le afecta al modelo la forma superficial del prompt.
Un hallazgo importante del paper original de POSIX es que distintos tipos de perturbación afectan de manera distinta.
En tareas de elección múltiple, la variación de plantilla es la que más influye; en generación abierta, la paráfrasis es la que más pesa.
Esto ya sugiere un riesgo: si el ranking depende de «qué perturbación se usa para calcular POSIX», entonces comparar modelos con un único valor de POSIX puede inducir a error.
A la vez, el trabajo de Brittlebench ofrece una advertencia más directa.
Encuentra que introducir una sola perturbación semánticamente preservadora cambia el ranking relativo entre modelos en el 63% de los casos.
Esa cifra proviene de su propio conjunto de perturbaciones y modelos, y no es directamente extrapolable a POSIX, pero señala un riesgo metodológico: los indicadores basados en sensibilidad a perturbaciones pueden ser ellos mismos inestables.
Qué hace PRSB
PRSB es una auditoría piloto preregistrada.
Selecciona un conjunto acotado de modelos, tareas y familias de perturbación, calcula POSIX de forma sistemática bajo distintas definiciones de perturbación y mide la consistencia del ranking con Kendall τ, solapamiento top-k, intervalos de confianza bootstrap y métricas similares.
Si el ranking es muy consistente entre familias (τ ≥ 0,7), las conclusiones de POSIX tienen cierta solidez; si el ranking se invierte con frecuencia, entonces al reportar POSIX habrá que especificar «con qué perturbación se calculó» y no tratarlo como una puntuación única y objetiva de capacidad del modelo.
En una frase: POSIX mide la sensibilidad del modelo a cambios en el prompt; PRSB mide la sensibilidad de POSIX a cómo se define «cambio en el prompt»
Es una capa necesaria de autocomprobación.
1. Formulación de hipótesis y variables
Hipótesis nula H0 de robustez de POSIX
El ranking de modelos inducido por POSIX es invariante a la familia de perturbación que preserva la intención utilizada para calcularlo; las correlaciones de rango entre familias son altas y los intervalos de confianza bootstrap solapan la identidad.
Hipótesis alternativa (H1)
El ranking de modelos depende de la familia de perturbación; al menos una familia produce un reordenamiento sustantivo caída de Kendall τ por debajo de un umbral preregistrado, p. ej. τ < 0.7, o cambios en el top-k.
Hipótesis secundaria interacción
La sensibilidad de POSIX a la familia de perturbación no es uniforme: depende de la tarea p. ej., MCQ vs. generación abierta y/o del modelo tamaño, familia, instruction tuning, y la interacción modelo×tarea explica una proporción no trivial de la varianza del índice.
Variables independientes
Familia de perturbación factor principal:
paráfrasis léxica/sintáctica, typos/errores ortográficos, cambios de plantilla, reordenamiento de opciones en MCQ, cambios de formato few-shot 0-shot vs. 1-shot, orden de ejemplos, delimitadores, instrucciones redundantes.
Modelo: familia, tamaño, open vs. closed, instruction-tuned vs. base si aplica.
Tarea: MCQ con respuesta verificable p. ej. MMLU, ARC y generación abierta con respuesta de referencia p. ej. GSM8K, tareas de QA corta.
Variable dependiente: POSIX por celda modelo × tarea × familia de perturbación, y su agregación media, mediana o media recortada por modelo y familia.
Variables de control: temperatura fijada a 0 si es posible, versión exacta del modelo/API fechada y registrada, longitud del prompt, número de variantes por prompt, y semilla de generación de perturbaciones.
2. Diseño experimental detallado
Fase 1 – Revisión y formalización de “intención preservada”
Revisar la definición operativa original de POSIX: el índice captura el cambio relativo en log-likelihood de una respuesta fija al sustituir el prompt por una variante que, en teoría, preserva la intención. POSIX usa conjuntos de prompts intent-aligned, típicamente el prompt original más 20 variantes por tipo de variación.
Producir una taxonomía operacional de familias de perturbación con criterios de preservación explícitos.
Para cada familia, definir: (I) qué se modifica(léxico, sintaxis, formato, orden, II qué se mantiene invariante la tarea, la respuesta correcta, la información necesaria para resolverla, y III el test de validación que se usará en la Fase 3.
Entregable de fase: documento de definiciones pre-registrable con la taxonomía y los criterios de validación por familia.
Fase 2 – Selección de modelos y tareas
Modelos (prototipo mínimo viable):
Open-weight con logprobs
al menos dos familias distintas y dos escalas p. ej. Qwen 2.5 7B/72B, Llama 3.1 8B/70B, Mistral 7B/…
Esto permite calcular POSIX “nativo” sin depender de APIs propietarias.
Closed con logprobs si están disponibles
modelos que expongan logprobs vía API p. ej. modelos de OpenAI con logprobs=True en la API de completions/chat si sigue disponible en la versión usada.
Closed sin logprobs opcional, para el brazo de proxy
1–2 modelos frontera para probar la viabilidad del proxy conductual.
Tareas
MCQ con log-likelihood de la opción correcta
MMLU subconjunto estratificado de asignaturas y ARC-Challenge. Permiten calcular POSIX directamente sobre la log-probabilidad de la opción correcta y evaluar reordenamiento de opciones.
Generación abierta con respuesta corta verificable
GSM8K respuesta numérica o un subconjunto de QA de respuesta corta. Aquí POSIX se calcula sobre la log-likelihood de la respuesta de referencia, no sobre texto libre largo que introduce ruido de tokenización.
Criterio de inclusión de tareas
que exista una respuesta canónica y que la log-likelihood de esa respuesta sea computable o aproximable de forma estable.
Fase 3 – Generación y validación de perturbaciones
Para cada prompt semilla y cada familia, generar un conjunto de variantes p. ej. 5–10 por familia, no 20 desde el prototipo, para controlar coste.
La generación debe ser ciega al modelo evaluado no adaptar la perturbación al modelo.
Validación de “intención preservada” – dos capas:
Validación automática por reglas
para typos y delimitadores, comprobar que la distancia de edición es limitada y que no se alteran palabras clave de la tarea; para reordenamiento de opciones, verificar que la opción correcta sigue siendo la misma y que el orden es una permutación.
Validación por LLM-juez + control humano por muestreo
un juez distinto de los modelos evaluados etiqueta si la variante preserva la intención y la respuesta correcta.
Se mide el acuerdo entre jueces y, en una submuestra p. e. 10%, se valida humanamente.
Criterio de aceptación: una variante se descarta si el juez o el humano en la submuestra indica cambio de intención o de respuesta correcta.
Fase 4 – Ejecución y cálculo de POSIX
Para cada celda modelo × tarea × prompt semilla × variante:
Obtener la log-likelihood de la respuesta de referencia o de la opción correcta en MCQ.
Calcular POSIX como la divergencia p. ej. cambio relativo absoluto medio o desviación estándar normalizada entre la log-likelihood del prompt original y las variantes de la misma familia.
Agregación sin ocultar heterogeneidad
Reportar POSIX por familia y tarea no solo un número global.
Calcular un POSIX global como media ponderada, pero acompañarlo siempre de la descomposición por familia y de intervalos bootstrap.
Evitar agregar familias con distinta escala de perturbación sin normalizar; si se agrega, usar z-scores dentro de cada familia o reportar el rango.
Fase 5 – Análisis de estabilidad de rankings
Construir, para cada familia de perturbación, un ranking de modelos por POSIX menor POSIX = mejor.
Calcular correlaciones de rango entre familias: Kendall τ-b (robusto a empates) y Spearman ρ.
El uso de bootstrap para estimar la correlación esperada de rangos está establecido en la literatura de evaluación de LLMs.
Solapamiento top-k (k=2, 3) y Jaccard de los conjuntos top-k entre familias.
Bootstrap de intervalos de confianza sobre prompts y variantes para cada POSIX y para las correlaciones de rango.
Análisis de dominancia estocástica entre rankings de familias si una familia produce sistemáticamente rankings más “bajos” o “altos” para ciertos modelos.
ANOVA de dos vías modelo × tarea sobre POSIX para estimar la interacción; la literatura muestra que la interacción modelo×prompt puede ser pequeña pero la interacción prompt×tarea puede ser no trivial. Reportar η² parcial.
Fase 6 – Reproducibilidad y liberación
Preregistro en AsPredicted u Open Science Framework antes de la ejecución principal, con hipótesis, umbrales de éxito/parada y plan de análisis congelados.
Liberar: código de generación de perturbaciones, prompts semilla, variantes validadas o el generador determinista con semilla, scripts de cálculo de POSIX, rankings por celda y cuadernos de análisis.
Contenedor Docker con versiones fijadas de librerías y, cuando sea posible, pesos de modelos open-weight o hashes de los mismos.
Registrar fecha y versión exacta de los modelos closed las APIs cambian silenciosamente; la literatura de reproducibilidad lo señala como riesgo crítico.
3. Métricas de sensibilidad y estabilidad de ranking
| Métrica | Qué mide | Uso en el meta-benchmark |
| POSIX por celda | Sensibilidad del modelo a una familia de perturbación en una tarea | Valor primario; se reporta desagregado |
| Kendall τ-b | Concordancia de rankings entre dos familias, con corrección de empates | Métrica principal de estabilidad (umbral preregistrado, p. ej. τ ≥ 0.7 para “estable”) |
| Spearman ρ | Correlación de rangos | Complementaria; sensible a magnitudes, útil para comparar con literatura |
| Top-k overlap / Jaccard | Si el “mejor” o los “mejores” modelos cambian | Métrica de decisión práctica: un cambio en top-2 es más grave que en la cola |
| Bootstrap CI de τ y ρ | Incertidumbre de la estabilidad | Si el CI de τ incluye valores bajos (<0.5), la estabilidad no está garantizada |
| η² de interacción (ANOVA) | Proporción de varianza de POSIX atribuible a modelo×tarea | Responde a la hipótesis de interacción |
| Rango de POSIX por familia | Heterogeneidad oculta tras la agregación | Se reporta siempre junto al POSIX global |
4. Plan de validación de que las perturbaciones preservan la intención
Definición operativa previa
para cada familia, enumerar qué elementos del prompt son “invariantes de intención” (p. ej. la pregunta, las opciones, la respuesta correcta, las restricciones de formato explícitas).
Generación desacoplada
las perturbaciones se generan con reglas deterministas o con un LLM generador, pero nunca con el modelo que se está evaluando.
Triaje automático
reglas que descartan variantes que alteran palabras clave, cambian la respuesta correcta o superan una distancia semántica máxima (p. ej. similitud de embeddings por debajo de un umbral).
Validación por LLM-juez
un modelo distinto evalúa si la variante conserva la intención y si la respuesta correcta sigue siendo válida; se mide el acuerdo inter-juez (κ de Cohen o α de Krippendorff).
Validación humana por muestreo
submuestra aleatoria estratificada por familia; dos anotadores independientes; se reporta el acuerdo y se descartan familias con acuerdo humano bajo (<0.7 κ).
Prueba de “respuesta canónica”
5. Análisis de riesgos, sesgos y limitaciones
El 63% de Brittlebench debe tratarse como hipótesis, no como dato.
El propio abstract de Brittlebench afirma que “incluso una sola perturbación altera el ranking relativo en el 63% de los casos”, pero esa cifra depende de su suite de benchmarks, de sus modelos y de su definición de “perturbación única”.
No es directamente extrapolable a POSIX ni a nuestro conjunto. El meta-benchmark debe medir su propia tasa de reordenamiento, no asumirla.
Sesgo de familia de perturbacióa
algunas familias p. ej. typos pueden ser triviales para modelos entrenados con ruido, mientras que cambios de plantilla o reordenamiento de opciones pueden afectar más a modelos con sesgos posicionales.
Esto puede producir rankings espurios si no se controla.
Sesgo de tarea
MMLU y GSM8K no representan toda la sensibilidad a prompts; los resultados no generalizan sin replicación en tareas de razonamiento abierto o agentes.
Dependencia de logprobs
los modelos closed sin logprobs no pueden entrar en el cálculo nativo de POSIX.
El proxy conductual ver §6 introduce ruido y puede cambiar el ranking; debe validarse contra el brazo con logprobs.
Deriva de APIs
los modelos closed pueden actualizarse silenciosamente; sin fechado y versionado estricto, la reproducibilidad se rompe.
Validez ecológica
las perturbaciones controladas no capturan toda la variabilidad del lenguaje real; los resultados son un límite inferior de la sensibilidad en uso real.
Poder estadístico
con pocos modelos (5–6), Kendall τ tiene alta varianza; los intervalos bootstrap serán anchos y algunos cambios de ranking pueden no ser significativos.
El prototipo debe interpretarse como prueba de concepto, no como ranking definitivo.
6. Coste computacional y alternativas sin logprobs
Coste estimado (prototipo mínimo):
6 modelos × 3 tareas × ~100 prompts semilla por tarea × 6 familias × ~5 variantes/familia ≈ 54.000 inferencias sin contar validación.
Si se usa API con logprobs, el coste dominante son los tokens de prompt; para modelos open-weight en local, el coste es GPU-hora dependiendo del tamaño, 1–4 GPUs A100/H100 durante días, no semanas.
Mitigación
submuestrear prompts semilla p. ej. 50 por tarea, usar 3 variantes por familia en la fase piloto y ampliar solo las familias que muestren señal.
Alternativas si no hay logprobs
Proxy conductual de confianza
pedir el modelo que emita una probabilidad verbalizada de la respuesta correcta “¿con qué probabilidad del 0 al 100 crees que tu respuesta es correcta?”.
Es ruidoso y no equivale a log-likelihood, pero puede rankear sensibilidad si se valida contra el brazo con logprobs.
Consistencia de respuesta bajo muestreo: para una misma variante, muestrear k respuestas con temperatura >0 y medir la entropía o la tasa de acuerdo con la respuesta de referencia. La sensibilidad se define como el cambio en esa tasa entre el prompt original y la variante.
Métrica de divergencia de distribución de respuestas
para MCQ, la distribución empírica de opciones elegidas en múltiples muestras; para generación, la similitud semántica entre respuestas muestreadas. No es POSIX nativo, pero captura el mismo constructo latente.
Híbrido
calcular POSIX nativo en el subconjunto de modelos con logprobs y el proxy en el resto, reportando ambos brazos por separado y no mezclándolos en un mismo ranking sin una validación de equivalencia.
7. Cronograma por fases (prototipo de ~12–16 semanas)
| Fase | Semanas | Entregable |
| F1 Revisión y taxonomía | 2–3 | Documento de definiciones y criterios de validación |
| F2 Selección de modelos/tareas y acceso | 1–2 | Lista congelada de modelos, versiones y presupuesto |
| F3 Generación y validación de perturbaciones | 3–4 | Set de perturbaciones validadas con acuerdo juez/humano |
| F4 Ejecución piloto (2 modelos × 2 tareas × 3 familias) | 2 | Primeros POSIX y verificación de pipeline |
| F5 Ejecución principal y cálculo de estabilidad | 3–4 | Rankings por familia, τ, ρ, bootstrap, ANOVA |
| F6 Preregistro, análisis final y liberación | 2 | Paper draft + repositorio reproducible |
8. Criterios de éxito y de parada
Éxito para considerar que el meta-benchmark es informativo
Se obtiene una matriz completa de POSIX por al menos 5 modelos × 2 tareas × 4 familias.
La validación de perturbaciones alcanza un acuerdo humano mínimo (κ ≥ 0.7) en las familias retenidas.
Se reportan intervalos bootstrap para τ y ρ, y al menos una comparación entre familias con CI que excluya τ = 1.
El repositorio reproduce al menos el ranking principal con un comando y datos versionados.
Parada
Si tras la fase piloto la validación de perturbaciones tiene un acuerdo humano bajo (<0.6 κ) en más de la mitad de las familias, se detiene la ejecución principal y se revisa la taxonomía.
Si el proxy conductual no correlaciona con POSIX nativo (τ < 0.5 en el brazo de solapamiento), se abandona el brazo sin logprobs y se reporta como limitación.
Si el presupuesto computacional se agota antes de completar la matriz mínima, se reporta como estudio piloto con las celdas completadas.
8. Estructura del paper y del repositorio reproducible
Paper (venue de metodología/evaluación, p. ej. ACL/EMNLP/NeurIPS D&B)
Introducción: POSIX como métrica y el problema de la validación de su propia robustez.
Trabajo relacionado: POSIX, Brittlebench, estabilidad de rankings, perturbaciones semantics-preserving.
Definiciones operativas de intención preservada por familia.
Meta-benchmark: modelos, tareas, generación y validación de perturbaciones.
Resultados: POSIX por celda, heterogeneidad, rankings por familia.
Estabilidad: Kendall τ, Spearman, top-k, bootstrap, ANOVA de interacción.
Discusión: qué familias importan, implicaciones para reportar POSIX y para comparar modelos.
Limitaciones y reproducibilidad.
Apéndice: prompts, ejemplos de perturbaciones, hiperparámetros, coste.
Repositorio:
/meta-posix
├── preregistration/
├── prompts_seed/
├── perturbation_generators/
├── perturbation_validation/
├── posix_calculation/
├── rankings/
├── stability_analysis/
├── figures/
├── Dockerfile
└── README.md # comando único para reproducir tabla principal





