Factor de Descuento (Discount Factor) concepto en Finanzas, Economía y Aprendizaje por Refuerzo
Se trata de un valor numérico entre 0 y 1
Se utiliza para ponderar el valor presente.
De una cantidad futura.
Aplicaciones del Factor de Descuento
En Finanzas y Economía
El factor de descuento es para calcular.
El Valor Presente Neto (VPN)
Otros modelos de valoración de inversiones.
Donde:
DF es el factor de descuento.
r es la tasa de descuento (interés o rendimiento esperado).
t es el tiempo en años.
Este factor se usa para descontar los flujos.
De efectivo futuros.
Determina su valor presente.
A medida que t aumenta DF disminuye.
Reflejando la menor importancia.
De los flujos lejanos en el tiempo.
En Aprendizaje por Refuerzo (Reinforcement Learning, RL)
El factor de descuento γ (gamma) en la función de recompensa.
Determina cuánto valora un agente.
Las recompensas futuras.
En comparación con las inmediatas.
Donde:
V(s) es el valor del estado actual.
r es la recompensa inmediata.
γ es el factor de descuento 0 ≤ γ ≤ 1
V(s′) es el valor del próximo estado esperado
Impacto de γ
Si γ = 0
El agente solo considera recompensas inmediatas.
Si γ es cercano a 1
El agente tiene una visión más a largo plazo.
Valora más las recompensas futuras.
Ejemplo
En juegos o navegación autónoma.
Un γ alto ayuda al agente a planificar estratégicamente.
En lugar de tomar decisiones impulsivas.
El factor de descuento equilibra la recompensa inmediata.
Impactando el comportamiento.
De los algoritmos de aprendizaje por refuerzo.
