Ordinary Least Squares (OLS) – Mínimos Cuadrados Ordinarios (OLS)
Mínimos Cuadrados Ordinarios (OLS) es una técnica estadística y matemática.
Utilizada en la regresión lineal para estimar los parámetros.
De un modelo que describe la relación entre una o más variables.
Independientes (predictoras) y una variable dependiente (respuesta).
Es una herramienta utilizada en estadística.
Econometría e inteligencia artificial.
Concepto Básico
El objetivo principal del método OLS es encontrar una línea.
Hiperplano en dimensiones mayores.
Minimice la suma de los cuadrados de las diferencias (errores).
Entre los valores observados.
Los valores predichos por el modelo.
Matemáticamente, los parámetros β
Se estiman minimizando la siguiente función de error:
Donde:
yi: Valor observado de la variable dependiente.
xij: Valor de la j-ésima variable independiente para la i-ésima observación.
βj: Coeficientes a estimar.
n: Número total de observaciones.
El método encuentra los valores de β0, β1, …, que minimizan S (β).
Propiedades del OLS
Eficiencia
Si los supuestos clásicos de regresión lineal son válidos.
Los estimadores OLS son los mejores estimadores.
Lineales insesgados.
BLUE: Best Linear Unbiased Estimators.
Unicidad
El modelo proporciona un único conjunto de coeficientes.
Minimiza la suma de los cuadrados.
Simplicidad
Es fácil de implementar y computacionalmente eficiente.
En casos de pocos parámetros.
Datos bien comportados.
Supuestos Clásicos del OLS
Para que las estimaciones de OLS sean válidas y útiles.
Linealidad en los Parámetros
La relación entre las variables independientes.
Dependientes debe ser lineal en los parámetros.
Independencia de Errores
Los términos de error deben ser independientes entre sí.
Homocedasticidad
La varianza de los errores debe ser constante.
Todos los valores de las variables independientes.
No Colinealidad Perfecta
Las variables independientes no deben estar perfectamente correlacionadas.
Normalidad de los Errores
Los errores deben seguir una distribución normal.
Importante para realizar inferencias.
Cálculo de OLS
Ecuaciones Normales
Para un modelo con múltiples variables independientes.
Las estimaciones se obtienen resolviendo;
Donde:
X: Matriz de diseño que contiene las variables independientes.
y: Vector de la variable dependiente.
Xt: Transpuesta de X.
(Xt X) −1: Matriz inversa de XtX
Intercepción y Pendientes
Para una regresión lineal simple (y = β0 + β1x)
Aplicaciones del OLS
Regresión Lineal Simple y Múltiple
Analizar relaciones entre variables.
Predicción de valores futuros.
Econometría y Finanzas
Modelar relaciones entre variables económicas.
Ingresos y consumo.
Aprendizaje Automático
Sirve como base para modelos más complejos.
Regresión regularizada (Lasso, Ridge)
Regresión logística.
Análisis Científico
Identificación de tendencias y relaciones.
En estudios experimentales.
Ingeniería
Ajuste de modelos en áreas como control de calidad.
Análisis de señales.
Ventajas del OLS
Intuición y Simplicidad
Fácil de entender y explicar.
Computacionalmente Eficiente
Rápido de calcular incluso con datos moderadamente grandes.
Base para Modelos Avanzados
Sirve como punto de partida para técnicas más avanzadas.
De aprendizaje automático.
Limitaciones del OLS
Sensibilidad a Outliers
Los valores atípicos pueden distorsionar.
Significativamente los resultados.
Colinealidad
Cuando las variables independientes están correlacionadas.
El modelo puede ser inestable.
Supuestos Fuertes
La violación de los supuestos clásicos.
Puede llevar a estimaciones sesgadas o ineficientes.
No Captura Relaciones No Lineales
Requiere transformaciones o métodos adicionales.
Manejar datos con relaciones complejas.
Ejemplo Práctico
Queremos predecir el precio de una casa (y) en función de su tamaño (x).
- Datos:
- Tamaño (en m²): [50, 60, 80, 100, 120]
- Precio (en miles de euros): [150, 180, 240, 300, 360]
Interpretación:
- Por cada metro cuadrado adicional, el precio aumenta en 3 mil euros.
El método de Mínimos Cuadrados Ordinarios (OLS)
En estadística e inteligencia artificial.
Permite modelar relaciones lineales entre variables.
Su simplicidad y robustez lo convierten en una herramienta indispensable.
Con avances en computación y aprendizaje automático.
OLS sigue siendo una base sólida.
Interpretación y predicción de datos.
Te puede interesar;
