Bagging del inglés Bootstrap Aggregating es una técnica de aprendizaje automático.
En la que se construyen múltiples modelos de manera independiente sobre subconjuntos de los datos de entrenamiento.
Luego se combinan los resultados de cada uno para mejorar la precisión y reducir la varianza del modelo final.
Bagging es una técnica clave en el aprendizaje ensemble (conjuntos).
Se utiliza especialmente en métodos como los árboles de decisión para reducir el sobreajuste (overfitting).
Mejorar la estabilidad de los modelos predictivos.
¿Cómo Funciona el Bagging?
Muestreo de Bootstrap
Primero, se crean múltiples subconjuntos de los datos de entrenamiento a través de un proceso llamado bootstrap.
Consiste en seleccionar aleatoriamente ejemplos de los datos originales con reemplazo.
Significa que un mismo ejemplo puede ser seleccionado en diferentes subconjuntos.
Cada subconjunto tiene el mismo tamaño que el conjunto de datos original.
Suele contener ejemplos repetidos.
Algunos ejemplos del conjunto original pueden no estar presentes en cada muestra.
Entrenamiento de Modelos Independientes
Con cada subconjunto, se entrena un modelo independiente por ejemplo, un árbol de decisión.
Este paso produce múltiples modelos, uno para cada subconjunto.
Agregación de Resultados
Una vez que todos los modelos han sido entrenados, se combinan sus predicciones para generar la predicción final.
Para problemas de clasificación, se suele utilizar el voto mayoritario.
Donde la clase final es la que recibe más votos entre todos los modelos.
En problemas de regresión, se toma el promedio de las predicciones de los modelos.
Ejemplo de Bagging
Imaginemos que tenemos un conjunto de datos de imágenes para clasificar gatos y perros. Si aplicamos bagging utilizando árboles de decisión.
Se generan múltiples subconjuntos de las imágenes de entrenamiento (cada subconjunto es una muestra bootstrap).
Para cada subconjunto, se entrena un árbol de decisión independiente que aprende a clasificar entre gatos y perros.
Cuando un usuario ingresa una nueva imagen para clasificar, cada árbol hace una predicción (gato o perro).
El resultado final se determina por la mayoría de votos entre los árboles (en el caso de clasificación).
Ventajas del Bagging
Reducción de Varianza
Al entrenar múltiples modelos independientes y promediar sus resultados.
El bagging disminuye la varianza del modelo final.
Ayuda a mitigar el sobreajuste en los datos de entrenamiento.
Esto es especialmente útil para modelos de alta varianza.
Como los árboles de decisión.
Mejora de Precisión
Al combinar las predicciones de múltiples modelos, el bagging tiende a mejorar la precisión general.
Cada modelo individual puede tener un error.
Pero al promediarlos o hacer un voto mayoritario, el error promedio se reduce.
Estabilidad y Robustez
Bagging es efectivo en situaciones donde los modelos individuales son sensibles.
A pequeños cambios en los datos de entrenamiento.
Proporcionando un resultado final más estable y robusto.
Paralelización
Dado que cada modelo se entrena de manera independiente en su propio subconjunto.
El bagging es fácil de paralelizar.
Permite un ahorro en tiempo de entrenamiento.
Desventajas del Bagging
Complejidad Computacional
Al entrenar varios modelos en lugar de uno.
El bagging puede ser costoso en términos de tiempo y recursos computacionales.
Especialmente en modelos de gran tamaño o en conjuntos de datos muy grandes.
Redundancia en Modelos Similares
Aunque el bagging reduce la varianza, si los modelos individuales son muy similares.
Los beneficios de combinar sus predicciones pueden ser menores.
Este problema puede ocurrir cuando se usa el mismo tipo de modelo.
Con hiperparámetros idénticos en cada subconjunto.
Bagging vs. Boosting
Aunque tanto el bagging como el boosting son métodos de aprendizaje en conjunto.
Difieren en cómo abordan el proceso de entrenamiento.
Bagging
Entrena modelos de forma independiente en subconjuntos de los datos y luego agrega los resultados.
Está orientado a reducir la varianza y mejorar la estabilidad del modelo final.
Ejemplo clásico: Random Forests.
Boosting
Entrena los modelos de manera secuencial, donde cada modelo aprende a corregir los errores del modelo anterior.
Está orientado a reducir tanto la varianza como el sesgo.
Ejemplo clásico: AdaBoost y Gradient Boosting.
Aplicaciones de Bagging
Random Forests
Random Forests es una extensión del bagging aplicada a los árboles de decisión.
Cada árbol de decisión se entrena en un subconjunto de datos con diferentes subconjuntos de características.
Agrega diversidad adicional a los modelos individuales y mejora aún más la precisión y robustez.
Clasificación y Regresión en Grandes Conjuntos de Datos
Bagging es muy útil en problemas de clasificación y regresión con grandes conjuntos de datos.
Donde el sobreajuste es un problema común.
Es utilizado en áreas como predicción financiera, diagnóstico médico y análisis de riesgo.
Análisis de Sensibilidad
Bagging se emplea en situaciones donde el modelo final debe ser menos sensible.
A pequeñas variaciones en los datos de entrenamiento.
Como en sistemas de recomendación.
Donde el comportamiento del usuario puede variar constantemente.
Ventajas del Bagging frente a Modelos Individuales
Al combinar varios modelos independientes, el bagging mejora la precisión y la estabilidad general de la predicción final.
Especialmente en modelos que tienden a tener alta varianza.
Como los árboles de decisión.
Pequeños cambios en los datos de entrenamiento pueden generar variaciones significativas en el resultado.
Con bagging estas variaciones se suavizan.
Haciendo que el modelo general sea más robusto frente a datos nuevos.
El bagging es una técnica de ensamblaje poderosa en el aprendizaje automático.
Ampliamente utilizada para mejorar la precisión.
Reducir la varianza y aumentar la estabilidad de los modelos predictivos.
Es fundamental en algoritmos como Random Forests.
Su enfoque de agregar múltiples modelos hace que sea especialmente valioso.
Para tareas donde el sobreajuste o la variabilidad del modelo son un problema.
