Cómo Uber prueba sus reglas de fraude antes de activarlas — y cómo hacerlo en tu negocio
Imagina a un analista de fraude de Uber con una corazonada. Un patrón de registros parece abuso de promociones y una regla podría frenarlo. Pero el trabajo antifraude de Uber abarca fraude de pagos, robo de cuentas, colusión entre conductores y pasajeros, y abuso de promociones, y la misma regla que atrapa a los abusadores también puede atrapar a pasajeros reales camino al aeropuerto. Una regla equivocada no falla en silencio. Falla sobre los clientes.
La respuesta de Uber no fue escribir reglas con más cuidado. Fue asegurarse de que ninguna regla tocara a un usuario sin antes haberla observado sobre tráfico real.
Lo que construyó Uber: Mastermind y el estado Evaluate
Uber describió su sistema en un artículo de ingeniería de marzo de 2017, firmado por Yifu Diao e Isabel Geracioti: Mastermind: Using Uber Engineering to Combat Fraud in Real Time. Mastermind es un motor de reglas. Hace revisiones de fraude en lo que el artículo llama checkpoints, eventos del usuario como el registro, y cada checkpoint tiene una o más reglas independientes. Una regla puede devolver acciones como rechazar una solicitud de viaje, agregar a una lista negra, pedir una validación adicional o hacer más lentas las solicitudes de viaje de un usuario de riesgo moderado.
¿Por qué reglas y no solo aprendizaje automático? El artículo da las razones sin rodeos. Los estafadores actúan más rápido de lo que se puede entrenar un modelo; hay casos en que las heurísticas son más precisas que los datos de entrenamiento; y el sistema antifraude de Uber se conectaba a unas dos docenas de eventos de usuario, más de los que un equipo pequeño podía cubrir con un modelo para cada uno. Así que Uber construye modelos para los eventos más importantes y complejos, como las solicitudes de viaje, y usa reglas para el resto.
Esa decisión pone mucho peso sobre las reglas, y por eso importa lo que sigue. En Mastermind, una regla puede estar Active o Inactive, y hay un tercer estado:
“Un estado Evaluate significa que la regla se está ejecutando, pero en realidad no afectará al usuario.”
La regla ve tráfico real, registra lo que habría hecho y esos datos quedan guardados para analizarlos después. Según el artículo, esto permite a los analistas ver con qué frecuencia se activa una regla y cómo se desempeña en general. Solo cuando saben que la regla funciona la pasan a Active.
Uber usó la misma idea un nivel más arriba. Cuando reconstruyó Mastermind, la segunda versión corrió en sombra junto a la primera: no tomaba decisiones, solo registraba los resultados de las decisiones que habría tomado. El equipo comparó los resultados de ambos sistemas y retiró la primera versión cuando estuvo seguro de que la segunda hacía predicciones correctas.
El otro cambio de la segunda versión fue quién podía escribir reglas. Antes de Mastermind, los analistas no podían escribirlas por su cuenta, y a un ingeniero le tomaba cerca de una hora escribir y desplegar una. En la segunda versión, los analistas escriben las reglas en una interfaz que valida la sintaxis y les permite probar una regla ingresando valores. Como dice el artículo, los ingenieros no necesitan involucrarse.
Las cifras que Uber publicó
Todas vienen del artículo sobre Mastermind:
- Con la primera versión, a los analistas les tomó un año y medio implementar 300 reglas. Con la segunda, implementaron 200 reglas nuevas en tres meses desde que se lanzó la interfaz.
- Ejecutar 300 reglas complejas toma 30 milisegundos.
- Un cambio de regla en la interfaz llega a producción en cerca de un minuto, frente a cerca de una hora antes.
- La segunda versión tomó cuatro meses de construcción y dos meses de migración.
- El sistema antifraude se conectaba a unas dos docenas de eventos de usuario.
El artículo no dice cuánto tiempo pasa una regla en Evaluate ni qué umbral hace que una regla “funcione”. Esa decisión es del analista, con lo que muestran los registros.
Qué se traslada a tu negocio y qué no
No tienes el tráfico de Uber. A esa escala, una regla en Evaluate junta evidencia muy rápido. La tuya quizá se active doce veces en una semana. Probablemente tampoco tienes un equipo de analistas de fraude; tienes a un fundador, a alguien de soporte y quizá a un ingeniero.
Eso cambia los detalles, no el método:
- Con poco volumen, mira casos y no solo conteos. Con doce aciertos puedes abrir cada uno y preguntarte si era un cliente real. Eso suele decir más que un porcentaje.
- Esperar cuesta menos de lo que crees. Una regla que pasa dos semanas en evaluación mientras el abuso sigue te cuesta dos semanas más de abuso. Una regla que se activa mal te cuesta clientes reales, tickets de soporte y confianza, y eso cuesta más recuperarlo.
- Pon todo el sistema en sombra, no solo cada regla. Uber probó en sombra una versión completa antes de confiar en ella. Cuando sumas una herramienta antifraude, aplica la misma lógica: deja que primero observe.
Cómo hacerlo en tu negocio
Estos pasos corresponden a funciones de Prynt Control.
1. Empieza con un periodo espejo. En el modo espejo, Prynt solo observa durante los primeros 14 días. Nada cambia para tus usuarios. El día 14 recibes “lo que habríamos frenado”, caso por caso: cada registro, prueba gratis o checkout que Prynt habría desafiado o bloqueado, con sus motivos. Lo revisas como los analistas de Uber revisaban los registros de Evaluate. También es el momento de buscar a los clientes que nunca querrías perder y comprobar que ninguno esté en la lista.
2. Pon cada regla nueva primero en evaluación. Después del periodo espejo, las reglas nuevas siguen empezando en modo evaluación. La regla corre sobre tráfico en vivo y registra sus aciertos sin afectar a nadie. Antes de activarla, responde tres preguntas:
| Pregunta | Qué mirar |
|---|---|
| ¿Con qué frecuencia se activa? | Aciertos por día en el punto donde está |
| ¿A quién le pega? | Abre los casos: ¿cuántos son clientes que pagan o que llevan tiempo? |
| ¿Qué haría? | La acción que piensas tomar, y si bastaría una más suave |
3. Asocia las reglas a un caso de uso, no a “todo”. Mastermind organiza las reglas por checkpoint. Puedes hacer lo mismo desde hoy: llama a Prynt por separado en el registro, la prueba gratis, el bono o promoción, el inicio de sesión, el checkout y el usuario adicional, y mantén separadas las reglas de cada punto. Una regla escrita para abuso de bonos no debería afectar en silencio los inicios de sesión. En Prynt Control, las decisiones por caso de uso ya lo hacen por ti: envías el punto como useCase y cada uno devuelve permitir, pedir un paso extra o bloquear, con sus propios motivos.
4. Al activar, prefiere el paso extra antes que el bloqueo. Las propias acciones de Uber incluyen frenar a un usuario y pedir una validación adicional, no solo rechazar. Cuando una regla sale de evaluación, empieza con el paso extra y pasa a bloquear solo en los patrones de los que estás seguro. Prynt nunca bloquea por su cuenta: devuelve la decisión y tu código elige qué pasa.
5. Sigue mirando después de activar. Una regla que acertaba en su periodo de evaluación puede desviarse cuando el fraude cambia. Revisa cada pocas semanas su frecuencia y los casos que atrapa, igual que antes de encenderla.
Un cierre corto y honesto
Uber construyó Mastermind para una escala que pocos negocios verán, con un equipo a la altura. Pero el hábito que está en el centro es pequeño y barato: dejar que una regla observe antes de actuar, y que sean los registros, no la corazonada, los que decidan cuándo se activa. Puedes empezar ese hábito desde el primer día.
Prynt no está afiliado a Uber; este artículo describe trabajo publicado por Uber.
Try it free
Prynt is device intelligence with a free plan: 5,000 identifications a month, visitor IDs with confidence and bot detection — no credit card. Upgrade to Pro for VPN, proxy, tampering and behavioral signals.