Não decida nada, teste

“A única pessoa que ganhou dinheiro com feeling foi o Morris Albert” – ouvi isso de um sábio gerente na IBM e nunca mais esqueci.

A piadinha só serve pra alguns – vocês podem encontrar a explicação no fim desse texto – mas a lição pode servir pra todo mundo.

Quando estamos numa posição de gerentes ou consultores, espera-se que saibamos como resolver todos os problemas, como aumentar os lucros, como decidir a estratégia ideal pra conquistar mercado. Existe muita coisa que não sabemos de antemão.

Muitas vezes, apesar de toda nossa bagagem, nem temos como saber.

Um bom exemplo é o comportamento do público-alvo ou consumidores. Este comportamento sofre a interferência de um caldo complexo envolvendo fatores como mudanças de cultura, conjuntura econômica, avanços tecnológicos, percepção de necessidades e muitos outros que estão fora do nosso controle e além da nossa capacidade de previsão.

Temos então duas opções quando nos deparamos com a necessidade de prever o que devemos fazer pra gerar ganhos no futuro. Uma é tentar decidir com base em critérios próprios e vivências anteriores. A probabilidade de dar certo depende do quanto as circunstâncias reais correspondem ao cenário imaginado, o que é impossível saber ao certo.

A outra possibilidade é simplesmente não decidir nada. Pode parecer uma ideia esquisita, mas piora: essa é a opção que praticamente garante o resultado que você precisa.

Pra entender como, é preciso entender o que são testes A/B.

Teste A/B é a metodologia mais importante e menos falada das maiores empresas da web. Um dos primeiros usos documentados na internet foi por engenheiros no Google em fevereiro de 2000.

Eles estavam tentando concluir se 10 resultados por página era ou não o número ideal.

Ao invés de debaterem até a exaustão, tiveram uma ideia que mudou todo o futuro da empresa: repartiram os usuários em fatias que passaram a ver 10, 20, 25 ou 30 resultados, e mediram o comportamento de cliques de cada grupo. Ficou comprovado que 10 resultados geravam a melhor resposta dos usuários.

Trocando em miúdos, eis os passos para implementar um teste A/B no seu site:

– Separar as views do seu site em 2 ou mais grupos que verão versões diferentes. Dependendo do que você quer medir, pode ser necessário separar os grupos por usuário, nesse caso pode-se usar logins ou cookies para diferenciá-los.

– Construir as versões do site correspondentes a cada grupo. O ideal aqui é mudar uma única característica em cada grupo para não gerar ruído nos dados.

– Escolher uma métrica a ser otimizada e medir o comportamento de cada grupo em relação a esta métrica. Por exemplo, você pode querer otimizar a porcentagem de cliques de um banner numa campanha (CTR), então pra isso o que deve ser medido é a quantidade de visualizações do banner e os cliques em cada grupo.

– Medir a variância dos resultados a fim de atingir relevância estatística. Não vou entrar aqui na matemática específica, existe vasta documentação pra quem quiser mergulhar, o necessário é entender que você não conseguirá nenhuma conclusão se só um usuário de cada grupo foi testado.

Provavelmente as diferenças de nacionalidade ou idade dos usuários são muito mais determinantes no comportamento de cada um que quaisquer aspectos do site.

Porém quando você junta mil ou (pra quem pode) cem mil usuários de cada grupo, os aspectos pessoais se diluem e padrões começam a emergir. Sites com poucos usuários vão demorar mais tempo pra atingir este ponto.

– Verificar qual variação deu melhores resultados, implementar definitivamente e colher os frutos.

– Bolar o próximo teste!

O Google não parou mais. Em 2011 foram executados 7.000 testes distintos apenas no algoritmo de busca. Amazon, eBay e Netflix também são totalmente dependentes disso e fazem você todos os dias de cobaia sem perceber. Em alguns sites já não se pode mais falar “a home page”.

Existem dezenas de variações, cada uma delas medindo como você se comporta e gerando dados que vão determinar as próximas evoluções de layout ou funcionalidades. Isso acontece porque os resultados, ao contrário de ideias ou previsões, são indiscutíveis.

A Amazon, apenas com pequenas mudanças incrementais no formulário de compra, aumentou as vendas e o ticket médio. Muitas das mudanças poderiam ser consideradas irrelevantes. Hoje viraram ciência e exemplo de como fazer um layout vendedor.

Em outras palavras, quando você se deparar com várias opções para o seu site, escolha todas e meça qual dá o resultado desejado. Os dados não mentem. Se eles confirmarem suas suposições, ótimo, se dê um tapinha nas costas e parta pra próxima melhoria.

Se eles mostrarem algo que você não previa, você acaba de aprender algo novo. Talvez jamais saiba porque aquele botãozinho amarelo gera mais vendas que o azul, mas vai poder provar que é melhor deixá-lo ali… Por A + B!

Para começar a experimentar:

– Optimizely, ferramenta amigável fundada por um ex-googler após implementar a metodologia com grande sucesso na campanha digital do Obama: http://www.optimizely.com/

– Google Content Experiments, que roda dentro do Analytics: http://analytics.blogspot.com.br/2012/06/helping-to-create-better-websites.html

*E está aqui a explicação da frase do início: Morris Albert é pseudônimo de Maurício Alberto Kaisermann, cantor brasileiro que emplacou o megahit mundial “Feelings” nos anos 70. Curta (ou não) e lembre-se que se você não é ele, provavelmente vai precisar de outro método pra obter sucesso…