La regularización es una técnica fundamental en aprendizaje automático.
Utilizada para prevenir el sobreajuste (overfitting) de los modelos.
Se logra añadiendo términos de penalización.
A la función de costo.
Incentivando que el modelo sea más simple.
Que generalice mejor los datos.
¿Qué es el sobreajuste?
El sobreajuste ocurre cuando un modelo se ajusta demasiado bien.
A los datos de entrenamiento.
Capturando ruido o patrones irrelevantes.
Lleva a un mal desempeño en los datos.
De prueba o en nuevas observaciones.
¿Cómo funciona la regularización?
La regularización modifica la función de costo del modelo.
Incluir un término que penaliza coeficientes grandes.
Estructuras complejas.
Fomenta soluciones más simples.
Evita que el modelo dependa demasiado.
De características individuales.
La función de costo regularizada generalmente tiene la forma:
ww son los pesos del modelo.
λ es el hiperparámetro de regularización.
Controla la importancia de la penalización.
Técnicas de Regularización
L1 Regularization (Lasso)
Penaliza la suma de los valores absolutos de los pesos.
Fomenta soluciones esparsas.
Hace que algunos pesos sean exactamente cero.
Seleccionando automáticamente las características más importantes.
L2 Regularization (Ridge)
Penaliza la suma de los cuadrados de los pesos
Reduce la magnitud de todos los pesos, distribuyendo el impacto entre ellos.
Elastic Net
Combina las penalizaciones L1 y L2
Ofrece un equilibrio entre selección de características.
Reducción de magnitudes.
Dropout (en redes neuronales)
Desactiva aleatoriamente neuronas durante el entrenamiento.
Evitando que el modelo dependa.
Excesivamente de ciertas conexiones.
Early Stopping
Detiene el entrenamiento del modelo.
Cuando el error de validación comienza a aumentar.
Indicando sobreajuste.
Weight Decay
Es un término L2 que se implementa directamente.
En el proceso de optimización.
Reduce la magnitud de los pesos.
Data Augmentation
Aumenta la diversidad del conjunto de datos.
Mediante la creación de datos sintéticos.
Ayudando a mejorar la generalización.
Regularización en dropout para redes neuronales
Desactiva aleatoriamente nodos durante el entrenamiento.
Evita la coadaptación excesiva.
Impacto de la Regularización
Sin regularización
El modelo puede aprender patrones específicos.
Del conjunto de entrenamiento ignorando la generalización.
Con regularización
Se controlan los parámetros del modelo.
Logra un equilibrio entre el ajuste a los datos.
Y la capacidad de generalización.
Elección del parámetro λ
El parámetro λ controla la fuerza de la regularización.
Se selecciona típicamente usando validación cruzada.
Valores bajos de λ
Menor penalización el modelo puede sobreajustarse.
Valores altos de λ
Mayor penalización el modelo puede subajustarse (underfitting).
Ejemplo en Regresión Lineal
Sin regularización
Para datos ruidosos el modelo puede asignar pesos muy grandes.
Minimizar el error sobreajustando.
Con regularización L2
Se minimizan los pesos grandes.
Produciendo una curva más suave y generalizable.
Aplicaciones de la Regularización
Modelos lineales
Regresión logística y lineal.
Redes neuronales
Dropout, weight decay.
Sistemas de recomendación
Para evitar el sobreajuste en modelos colaborativos.
Modelos basados en árboles
Limitando la profundidad del árbol o el número de divisiones.
Ventajas y Limitaciones
Ventajas
Reduce el riesgo de sobreajuste.
Fomenta modelos más simples y generalizables.
Limitaciones
Puede llevar a subajuste si se aplica excesivamente.
Requiere ajuste cuidadoso del parámetro λ
La regularización es una técnica esencial para construir modelos robustos.
Asegurando que funcionen bien en escenarios del mundo real.
No solo en el conjunto de entrenamiento.
Te puede interesar;
