Una forma sorprendentemente sencilla de multiplicar los beneficios de un modelo de IA es impulsar las decisiones a través de valores esperados en lugar de puntuaciones previstas. He aquí cómo, ilustrado por la detección de fraude.
getty
Quiero compartir con ustedes lo que considero un verdadero avance. Predicción de IA. Esta es la forma menos utilizada, pero muy sencilla, de multiplicar el valor que obtiene de su proyecto de aprendizaje automático.
Normalmente, cuando una empresa implementa un modelo de IA predictivo, impulsa cada decisión con puntuaciones de modelo sin procesar. Por ejemplo, el modelo puede indicarle que existe un 30 % de posibilidades de que una transacción concreta sea fraudulenta. Para tomar una decisión, los negocios generalmente comparar la probabilidad con el umbral fijocomo el 50%, para decidir bloquear la transacción.
Pero este es un cambio de paradigma: en lugar de impulsar decisiones con puntuaciones brutas del modelo, debe implementar su modelo ejecutar cada decisión con el valor esperado.
Esta práctica extremadamente rara representa una obviedad, tanto técnica como conceptualmente. Así es como funciona, utilizando un ejemplo concreto de detección de fraude con tarjetas de pago.
Puntuación de discapacidad y riesgo bruto
Imagine que ejecuta la detección de fraude para un banco. Su modelo predictivo genera una puntuación de riesgo (probabilidad) para cada transacción.
Si confía únicamente en el nivel de riesgo bruto para tomar cada decisión, tratará una transacción de $100 exactamente igual que una transacción de $5,000. Pero una transacción fraudulenta de $5,000 le cuesta a su empresa más de $100. Para transacciones más grandes, la desventaja del fraude no detectado es… mayor. Por otro lado, sin embargo, el costo de los “falsos positivos” (bloquear falsamente transacciones legítimas y frustrar a los clientes) generalmente no aumenta al mismo ritmo, incluso para compras grandes. Para un nivel de riesgo determinado (puntuación del modelo predictivo), las ventajas pueden superar rápidamente las desventajas si decide bloquear transacciones de alto valor.
Para esta cuenta, muchos bancos y empresas ahora utilizan reglas comerciales torpes de “si-entonces”, estableciendo diferentes umbrales de riesgo para diferentes tamaños de transacciones. Pueden decir: “Si la transacción supera los 1.000 dólares, reduzca nuestra tolerancia al riesgo”. Sin embargo, estas reglas son discretas y rígidas. Tratan de la misma manera todas las transacciones en un rango potencialmente amplio, por lo que no sirven para optimizar el “juego de números” de la detección de fraude.
Solucionar: decisiones y valor esperado
Para maximizar el resultado final, necesitamos un enfoque fluido y continuo. En lugar de utilizar reglas rígidas, simplemente hacemos un poco de aritmética antes de aplicar el umbral de decisión.
Paso 1: Utilice su modelo de aprendizaje automático para calcular la probabilidad de fraude.
Paso 2: Multiplique esa probabilidad por el tamaño de la transacción.
Esta simple multiplicación le da el valor esperado, que, en este contexto, es la cantidad esperada de dinero que se ahorrará al bloquear la transacción.
Veamos las matemáticas por ejemplo:
- Transacción A: El modelo dice que hay un 20% (0,2) de posibilidades de que la transacción sea fraudulenta. La transacción es por $100. Multiplique 0,2 por $100 y el valor esperado de bloquear esta transacción $20.
- Transacción B: El modelo dice que sólo hay un 5% (0,05) de posibilidades de fraude. La transacción es por $5.000. Multiplique 0,05 por $5000 y el valor esperado de bloquear esta transacción $250.
Paso 3: En lugar del umbral en porcentaje bruto (riesgo probabilidad), se dibuja un umbral de decisión basado en monetario valor esperado.
Si establece su umbral de decisión en un valor esperado de $15, bloqueará ambas transacciones anteriores. Aunque la transacción B es técnicamente de “bajo riesgo”, con solo un 5%, el tamaño de la transacción más grande significa que su tolerancia al riesgo debería disminuir. Tomar su decisión basándose en el valor esperado de $250 capta esto perfectamente.
Visualizando el impacto final
Para entender realmente por qué esta es una gran victoria para su negocio, tenemos que mirar un curva de beneficio (o, equivalentemente, la curva de ahorro).
Una curva de beneficios (curva de ahorro) representa el dinero ahorrado con la detección de fraude, en relación con la proporción de transacciones de mayor riesgo bloqueadas. El eje Y representa el total de “ahorros en dólares” y el eje X representa el “porcentaje de transacciones bloqueadas”, pasando del mayor riesgo a la izquierda al menor riesgo a la derecha. Para esta vista, calculada sobre un total de 10 millones de transacciones, se considera que cada transacción fraudulenta que se bloquea correctamente (verdadero positivo) le ahorra al banco el monto de esa transacción y cada transacción legítima que se bloquea incorrectamente (falso positivo) se considera que vale $75.
Eric Siegel
En un diferencial puramente estándar basado en la puntuación de riesgo del modelo, se priorizan las transacciones de izquierda a derecha en función de la posibilidad de que sean fraudulentas. La curva sube a medida que bloqueas las transacciones más peligrosas y ahorras dinero, por fin alcanzar la cima. Después del pico, la curva desciende porque comienzas a bloquear demasiadas transacciones legítimas y los cargos falsos positivos (que molestan a los clientes) consumen tus ahorros.
Esa curva se ve muy bien. Llegó a un máximo de más de 20 millones de dólares. Pero, ¿qué sucede cuando reordenamos nuestros casos y los priorizamos según el valor esperado?
Un gráfico comparativo que muestra la curva original versus la nueva curva de “valor esperado”. El pico de la nueva curva es significativamente más alto en el eje Y (mayores ahorros) y se desplaza más hacia la izquierda en el eje X (menos transacciones bloqueadas).
Eric Siegel
¡Qué diferencia! Cuando se cambia al enfoque del valor esperado, suceden dos cosas notables en este gráfico:
- El pico es más alto: Obtendrá ahorros máximos más altos de los que podría alcanzar con una decisión basada únicamente en las puntuaciones brutas del modelo.
- La parte superior se mueve hacia la izquierda: Esta es la mejor noticia de todas. Eso significa que logra enormes ahorros máximos mientras bloquea una cantidad menor de transacciones.
Al dar alta prioridad a las transacciones de gran valor, no es necesario interrumpir las operaciones para maximizar los ahorros. Sólo necesita bloquear un puñado de transacciones más pequeñas a la izquierda, que son las más dignas de intervención.
Más allá de la detección de fraude
Esta metodología no es sólo para el fraude con tarjetas de crédito; puede elevar varios proyectos de IA predictiva donde el tamaño del caso varía.
Por ejemplo, en la recaudación de fondos para organizaciones sin fines de lucro, se puede multiplicar la probabilidad de que un donante contribuya por una capacidad de riqueza estimada para decidir quién recibe una costosa campaña de divulgación. Y también se ha demostrado que el enfoque del valor esperado mejora drásticamente la toma de decisiones para el modelado de abandono, la focalización de cobranzas y la calificación crediticia.
Este enfoque es tan eficaz y sencillo como raro. Quiero decir, ¡básicamente nunca escuché a nadie en la industria que se le ocurriera esa idea! Y el practicante experimentado a quien le había propuesto la idea respondió: “¡Oh, sí! ¡Gran idea! Tendré que intentarlo”.
Así que tómate un momento para ver tu iniciativa de IA predictiva hoy. Al dar este simple paso (pasar de las probabilidades puras del modelo a la estimación del valor monetario), podrá multiplicar los retornos de las implementaciones de su modelo de aprendizaje automático.
Para ver un vídeo de YouTube en el que ilustre visualmente este enfoque con más detalle, haga clic aquí.
