90% DOS TESTES A/B FRACASSAM E UM DOS PRINCIPAIS CULPADOS DISSO É O MINDSET ERRADO

Estive conversando com um cliente sobre a quantidade de dinheiro e tempo que se perde com experimentos que nem deveriam existir. Decidi escrever um texto com meus 2 centavos sobre o problema.

Estou trazendo para cá caso alguém queira trocar uma ideia sobre:

O mercado digital, em geral, tende a rodar testes com mudanças muito mais discretas do que o necessário para realmente se impactar positivamente um negócio.

Uma mudança de cor de botão, da ordem de algumas informações, de uma imagem… Esses são testes que NORMALMENTE não geram nenhuma melhora nos resultados estratégicos. Quando geram, são resultados quase invisíveis.

Mas se testes muito discretos têm grandes chances de serem inúteis, por que a maioria das empresas ainda fazem tantos deles?

1) Porque o ser humano não gosta de correr riscos. Por mais “risk-friendly” uma empresa seja, ninguém quer ser o responsável por uma ideia de teste cara e complexa que, quando foi para o ar, diminuiu a conversão brutalmente. Então, a maioria das ideias de teste que realmente vão para frente são mais “cosméticas”. Menos arriscadas.

2) Porque artigos como “Booking.com faturou US$ 10 milhões mudando um ícone” são muito chamativos e todo mundo quer reproduzir a ideia. Mas se esquecem que seus sites quase nunca têm a escala do Booking. Os “US$ 10 milhões” do Booking são, para eles, 0,01% de aumento na conversão. Quanto isso significaria para você?

3) Porque pouquíssimas pessoas fazem cálculos prévios para saber se, em suas interfaces, um teste de uma mudança pequena (que consequentemente poderá gerar apenas um pequeno aumento de conversão) têm a mínima chance de chegar um resultado confiável, com significância estatística na faixa de 90%.

4) Porque o conceito de “rapid experimentation”, que não é necessariamente errado, está sendo interpretada por muitos de um jeito extremamente perigoso: “só teste coisas que sejam rápidas de se criar”. Quem seguir essa regra estará abraçando a mediocridade e estagnação.

5) Porque na pressão de prazos e metas, muita gente acaba tratando o paciente com um remédio antes mesmo de saber qual é a doença. Um volume alarmante de testes é lançado sem nenhum ou quase nenhum embasamento por dados. Tenta-se corrigir um problema que nem se sabe se realmente existe. São hipóteses baseadas apenas em opiniões ou brainstorms internos. Não se dá tempo para um diagnóstico de qualidade. Aliás, escreverei mais especificamente sobre esse “câncer” do mercado digital em breve.

Vale um disclaimer final: em alguns cenários, testes “tímidos”, mas rápidos, são muito recomendados. Em algumas interfaces com um grande volume de usuários, qualquer aumento mínimo pode significar um resultado financeiro interessante. Sem contar que haverá volume de tráfego suficiente para se identificar, com segurança estatística, mesmo os menores aumentos nos KPIs.

Mas se esse não é o seu caso, experimentos muito discretos devem ser a exceção e não a regra.