Como a Uber testa regras de fraude antes de ativá-las — e como fazer isso no seu negócio
Imagine um analista de fraude da Uber com um palpite. Um padrão de cadastros parece abuso de promoção, e uma regra poderia barrá-lo. Só que o trabalho antifraude da Uber cobre fraude de pagamento, tomada de conta, conluio entre motoristas e passageiros e abuso de promoções, e a mesma regra que pega os abusadores pode pegar passageiros reais a caminho do aeroporto. Uma regra errada não falha em silêncio. Ela falha em cima dos clientes.
A resposta da Uber não foi escrever regras com mais cuidado. Foi garantir que nenhuma regra afetasse um usuário antes de ser observada em tráfego real.
O que a Uber construiu: o Mastermind e o status Evaluate
A Uber descreveu o sistema num post de engenharia de março de 2017, assinado por Yifu Diao e Isabel Geracioti: Mastermind: Using Uber Engineering to Combat Fraud in Real Time. O Mastermind é um motor de regras. Ele faz checagens de fraude no que o post chama de checkpoints, eventos do usuário como o cadastro, e cada checkpoint tem uma ou mais regras independentes. Uma regra pode devolver ações como rejeitar um pedido de viagem, adicionar a uma lista de bloqueio, exigir validação adicional ou desacelerar os pedidos de viagem de um usuário de risco moderado.
Por que regras, e não só aprendizado de máquina? O post dá os motivos sem rodeio. Fraudadores agem mais rápido do que um modelo pode ser treinado; há casos em que heurísticas são mais precisas do que os dados de treino; e o sistema antifraude da Uber estava ligado a cerca de duas dezenas de eventos de usuário, mais do que uma equipe pequena conseguiria cobrir com um modelo para cada um. Então a Uber constrói modelos para os eventos mais importantes e complexos, como os pedidos de viagem, e usa regras para o resto.
Essa escolha coloca muito peso nas regras, e é por isso que o próximo ponto importa. No Mastermind, uma regra pode estar Active ou Inactive, e existe um terceiro status:
“Um status Evaluate significa que a regra está sendo executada, mas não vai de fato afetar o usuário.”
A regra vê tráfego real, registra o que teria feito, e esses dados ficam guardados para análise posterior. Segundo o post, isso permite que os analistas vejam com que frequência uma regra dispara e como ela se sai no geral. Só quando sabem que a regra funciona eles a passam para Active.
A Uber usou a mesma ideia um nível acima. Quando reconstruiu o Mastermind, a segunda versão rodou em sombra ao lado da primeira: não tomava decisões, apenas registrava os resultados das decisões que teria tomado. A equipe comparou os resultados dos dois sistemas e aposentou a primeira versão quando teve certeza de que a segunda fazia previsões corretas.
A outra mudança da segunda versão foi quem podia escrever regras. Antes do Mastermind, os analistas não conseguiam escrevê-las sozinhos, e um engenheiro levava cerca de uma hora para escrever e publicar uma. Na segunda versão, os analistas escrevem as regras numa interface que valida a sintaxe e permite testar uma regra informando valores. Como diz o post, os engenheiros não precisam se envolver.
Os números que a Uber publicou
Todos vêm do post sobre o Mastermind:
- Na primeira versão, os analistas levaram um ano e meio para implementar 300 regras. Na segunda, implementaram 200 regras novas em três meses depois do lançamento da interface.
- Rodar 300 regras complexas leva 30 milissegundos.
- Uma mudança de regra na interface chega à produção em cerca de um minuto, contra cerca de uma hora antes.
- A segunda versão levou quatro meses para ser construída e dois meses para a migração.
- O sistema antifraude estava ligado a cerca de duas dezenas de eventos de usuário.
O post não diz quanto tempo uma regra fica em Evaluate, nem qual limite faz uma regra “funcionar”. Essa decisão é do analista, com base no que os registros mostram.
O que se transfere para o seu negócio, e o que não
Você não tem o tráfego da Uber. Nessa escala, uma regra em Evaluate junta evidência muito rápido. A sua talvez dispare doze vezes numa semana. Você provavelmente também não tem uma equipe de analistas de fraude; tem um fundador, alguém do suporte e talvez um engenheiro.
Isso muda os detalhes, não o método:
- Com pouco volume, olhe casos, não só contagens. Com doze acertos você consegue abrir cada um e perguntar se era um cliente real. Isso costuma dizer mais do que uma porcentagem.
- Esperar custa menos do que parece. Uma regra que passa duas semanas em avaliação enquanto o abuso continua custa mais duas semanas de abuso. Uma regra ativada errada custa clientes reais, chamados no suporte e confiança, e isso é mais difícil de recuperar.
- Coloque o sistema inteiro em sombra, não só cada regra. A Uber testou em sombra uma versão completa antes de confiar nela. Quando você adiciona uma ferramenta antifraude, vale a mesma lógica: deixe que ela observe primeiro.
Como fazer isso no seu negócio
Estes passos correspondem a recursos do Prynt Control.
1. Comece com um período espelho. No modo espelho, o Prynt só observa durante os primeiros 14 dias. Nada muda para os seus usuários. No dia 14 você recebe “o que teríamos barrado”, caso a caso: cada cadastro, teste grátis ou checkout que o Prynt teria desafiado ou bloqueado, com os motivos. Você revisa como os analistas da Uber revisavam os registros do Evaluate. É também o momento de procurar os clientes que você nunca quer perder e conferir que nenhum deles está na lista.
2. Coloque toda regra nova primeiro em avaliação. Depois do período espelho, as regras novas continuam começando no modo avaliação. A regra roda sobre tráfego ao vivo e registra os acertos sem afetar ninguém. Antes de ativá-la, responda três perguntas:
| Pergunta | O que olhar |
|---|---|
| Com que frequência ela dispara? | Acertos por dia no ponto em que está |
| Quem ela atinge? | Abra os casos: quantos são clientes pagantes ou antigos? |
| O que ela faria? | A ação que você pretende tomar, e se uma mais branda bastaria |
3. Ligue as regras a um caso de uso, não a “tudo”. O Mastermind organiza as regras por checkpoint. Você pode fazer o mesmo hoje: chame o Prynt separadamente no cadastro, no teste grátis, no bônus ou promoção, no login, no checkout e no usuário adicional, e mantenha separadas as regras de cada ponto. Uma regra escrita para abuso de bônus não deveria afetar logins em silêncio. No Prynt Control, as decisões por caso de uso já fazem isso por você: envie o ponto como useCase e cada um devolve permitir, pedir uma etapa extra ou bloquear, com os próprios motivos.
4. Ao ativar, prefira a etapa extra ao bloqueio. As próprias ações da Uber incluem desacelerar um usuário e exigir validação adicional, não só rejeitar. Quando uma regra sai da avaliação, comece pela etapa extra e passe a bloquear só nos padrões dos quais você tem certeza. O Prynt nunca bloqueia por conta própria: ele devolve a decisão, e o seu código escolhe o que acontece.
5. Continue olhando depois de ativar. Uma regra que acertava no período de avaliação pode se desviar quando a fraude muda. A cada poucas semanas, revise a frequência e os casos que ela pega, do mesmo jeito que antes de ligá-la.
Um fechamento curto e honesto
A Uber construiu o Mastermind para uma escala que poucos negócios vão ver, com uma equipe à altura. Mas o hábito no centro dele é pequeno e barato: deixar a regra observar antes de agir, e deixar que os registros, e não o palpite, decidam quando ela entra em produção. Você pode começar esse hábito no primeiro dia.
O Prynt não tem afiliação com a Uber; este artigo descreve trabalho publicado pela Uber.
Try it free
Prynt is device intelligence with a free plan: 5,000 identifications a month, visitor IDs with confidence and bot detection — no credit card. Upgrade to Pro for VPN, proxy, tampering and behavioral signals.