Weight Decay: Decaimiento de Pesos en Redes Neuronales
El weight decay o decaimiento de pesos es una técnica utilizada para mejorar la capacidad de generalización.
Del modelo y prevenir el sobreajuste (overfitting).
Es una forma de regularización que introduce una penalización.
En los pesos del modelo.
Con el objetivo de mantenerlos pequeños.
Evitar que se ajusten excesivamente a los datos de entrenamiento.
¿Cómo Funciona el Weight Decay?
El weight decay se aplica agregando un término de penalización.
Al cálculo de la función de pérdida durante el entrenamiento.
Este término controla la magnitud de los pesos.
En la red neuronal y favorece soluciones más simples.
Con pesos más pequeños.
Función de pérdida original
En el entrenamiento estándar.
Se minimiza la función de pérdida L
Mide la diferencia entre las predicciones.
Del modelo y las etiquetas reales.
Función de pérdida con regularización
Con weight decay se agrega un término de penalización.
Depende de los pesos WW del modelo.
λ: Hiperparámetro que controla la intensidad del weight decay.
Regularización (W)
Es una medida de la magnitud de los pesos.
Comúnmente basada en normas matemáticas.
Como L2o L1
Tipos de Regularización Usados en Weight Decay
Norma L2 (Ridge Regularization)
Penaliza la suma del cuadrado de los pesos
Es la forma más común de implementar weight decay.
Resulta en soluciones donde los pesos más grandes.
Tienen un impacto desproporcionado en la penalización.
Norma L1 (Lasso Regularization)
Penaliza la suma de los valores absolutos de los pesos
Puede conducir a soluciones donde algunos pesos.
Se vuelven exactamente cero.
Promoviendo la sparsidad una red más simple.
Combinación L1 + L2 (Elastic Net)
Combina ambas normas.
Obtener lo mejor de ambos mundos.
Impacto del Weight Decay
Reducción del Overfitting
Mantener los pesos pequeños limita la complejidad del modelo.
Haciendo que generalice mejor a datos nuevos.
Modelos con pesos grandes son más propensos.
A capturar ruido o patrones irrelevantes.
De los datos de entrenamiento.
Regularización Implícita
Weight decay introduce una forma de priorizar soluciones.
Más simples según el principio de parsimonia.
La navaja de Ockham.
Estabilidad del Entrenamiento
Ayuda a evitar inestabilidades numéricas.
Asociadas con pesos muy grandes.
Durante la optimización.
Implementación Práctica del Weight Decay
En los optimizadores como Stochastic Gradient Descent (SGD)
El weight decay se implementa ajustando los pesos.
Después de calcular el gradiente.
En optimizadores como Adam o RMSProp
El término de decaimiento se combina.
Directamente en la actualización de pesos.
Ejemplo: Weight Decay en Python con PyTorch
import torch
import torch.nn as nn
import torch.optim as optim
# Definir un modelo simple
model = nn.Linear(10, 1)
# Función de pérdida
criterion = nn.MSELoss()
# Optimizador con weight decay
optimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=0.001)
# Entrenamiento
for epoch in range(100):
# Datos ficticios
inputs = torch.randn(32, 10)
targets = torch.randn(32, 1)
# Paso hacia adelante
outputs = model(inputs)
loss = criterion(outputs, targets)
# Paso hacia atrás
optimizer.zero_grad()
loss.backward()
optimizer.step()
Ventajas del Weight Decay
Mejor Generalización
Reduce el riesgo de que el modelo memorice.
El ruido o patrones irrelevantes.
Implementación Sencilla
Requiere solo agregar un término extra.
A la función de pérdida.
Control de Complejidad
Mantiene la simplicidad del modelo.
Al evitar pesos excesivamente grandes.
Desafíos y Consideraciones
Elección del Hiperparámetro λ
Valores muy altos de λ pueden llevar a un modelo subajustado.
Valores muy bajos de λ pueden no ser efectivos.
Para controlar el sobreajuste.
Impacto en Redes Profundas
En redes neuronales profundas.
El weight decay puede interactuar con otras técnicas.
Dropout, batch normalization y regularización adversarial.
Dependencia del Dataset
Su efectividad varía según las características.
El tamaño del conjunto de datos.
Weight Decay en Optimización
Weight decay se combina con optimizadores avanzados.
AdamW en PyTorch que separan explícitamente la regularización L2
De la lógica del optimizador.
Obtener un mejor desempeño.
Ejemplo: AdamW en PyTorch
optimizer = optim.AdamW(model.parameters(), lr=0.001, weight_decay=0.01)
El weight decay es una herramienta para entrenar redes neuronales robustas y generalizables.
Al prevenir pesos excesivamente grandes.
Promueve modelos más simples.
Son menos propensos al sobreajuste.
Te puede interesar;
