Porque Não-Espionar os Dados

Neste post do Análise Real (lido no dia, mas só revisado hoje) há uma interessante discussão relativa a ‘fitagem’ de modelos e relacionamento e consistência dos resultados. O melhor trecho sem dúvida é a seguinte passagem:

“[…]Qualquer um que seja péssimo em tiro ao alvo pode “melhorar” seu resultado. Basta permitir que se atire antes e em seguida o alvo seja desenhado da maneira que lhe parecer mais favorável.  Perceba que a “evidência” resultante concordará com a hipótese que você quer provar. Entretanto, ela não é nem um pouco severa, pois, mesmo se você não fosse um bom atirador, você poderia ter obtido o mesmo resultado. Sendo incapaz de discriminar entre um caso e outro, na verdade este “teste” – em sua forma bruta – não poderia se considerado evidência genuína de sua habilidade.

Na analogia, os tiros são os “dados” e o desenho o “modelo” ou “hipótese”. Se você fizer seu modelo, ou formular sua hipótese, utilizando as peculiaridades dos dados – e não levar em conta este fato na sua inferência - você pode estar simplesmente desenhando um alvo ao redor dos tiros. […]”

Vale a pena a leitura, e as referências.