Quando o resultado tem de aguentar ser posto em causa

O Desafio

A Solução

Antes de analisar, arrumar

Das várias centenas de respostas que a investigação tinha recolhido, ficámos com pouco mais de 250. O critério foi propositadamente exigente: só entraram as pessoas que tinham respondido a tudo. Podíamos ter estimado os valores em falta, que é o que habitualmente se faz nestes casos, e teríamos terminado com uma amostra maior. Só que cada valor estimado deixa uma porta aberta a quem queira contestar o trabalho, e aqui não podíamos deixar nenhuma.

As perguntas transformam-se em números

Mais de uma centena de perguntas tiveram de passar de texto a número, uma por uma. Algumas delas estavam formuladas ao contrário de propósito, para apanhar quem responde no automático, e essas tiveram de ser invertidas antes de entrarem na conta. Só depois de tudo isto é que foi possível somar as escalas. E antes de as usarmos, medimos a consistência interna de cada uma, porque uma escala que não é consistente acaba por não medir o que diz medir.

Só depois é que se analisa

Antes de correr qualquer teste, verificámos se os pressupostos se cumpriam. Um teste aplicado onde não devia produz um número com bom aspecto e sem valor nenhum. Só depois avançámos para as comparações entre grupos, para as correlações e para um modelo que nos dissesse quais, de entre dezoito fatores possíveis, pesavam de facto. Oito pesavam. O modelo final dá conta de cerca de um terço do que a investigação procurava explicar, o que, em dados de inquérito, é um resultado sólido.

Tudo calculado duas vezes

É aqui que este trabalho se distingue. Refizemos a análise toda num segundo programa, escrito de raiz e sem qualquer ligação ao primeiro, e comparámos os dois resultados valor a valor. Depois fomos mais longe e pusemos 188 análises a correr por dois caminhos estatísticos diferentes, para perceber se as conclusões se mantinham de um lado e do outro. Mantiveram-se em 184. Nas que sustentam o cerne da investigação, a concordância foi total.

Cada decisão com o seu porquê

Cada decisão metodológica ficou registada por escrito, e pode ser seguida até à linha de dados exacta que lhe deu origem. São vinte e duas rotinas, e qualquer uma delas pode ser corrida de novo desde o princípio para dar exactamente o mesmo resultado. Isto não é burocracia. É o que permite responder a uma pergunta difícil meses mais tarde, com a resposta já à mão, em vez de a ter de reconstruir de memória.

Procurámos os nossos próprios erros

Antes de entregar, voltámos atrás e revimos o trabalho todo à procura dos nossos próprios erros. Encontrámos dois, um cálculo mal parametrizado e um conjunto de valores de dispersão, e corrigimo-los. Mais vale sermos nós a encontrá-los. O que seguiu para entrega não tinha um único valor por confirmar.