Measuring programming progress by lines of code is like measuring aircraft building progress by weight. — Bill Gates
Com essa afirmação do Bill Gates que começa este importante artigo sobre a construção, avaliação e implementação de métricas, mais especificamente no ambiente de Business Intelligence, mas que também serve como recado para a Mineração de Dados.
É mais do que conhecido que o excesso de métricas, ou mesmo a sua construção de forma deliberada, pode conduzir a decisões sem fundamentação, que consequentemente podem acarretar em prejuízos financeiros.
Atualmente estou em uma rotina de estudos sobre a aplicação de Mineração de Dados no mercado financeiro (que deu origem à Financial Series) e a cada paper é de se reparar como há uma crescente (quase obsessiva) busca por mais métricas; sendo que os resultados não chegam a mais do que 50% de sucesso (tem paper que apresenta resultados maiores, entretanto não mostra metodologia; aí fica fácil).
Isso é de uma gravidade monstruosa, pois como um Data Scientist (ou minerador de dados em um contexto mais restrito) vai justificar um ganho de apenas 50% com inúmeros recursos computacionais e matemáticos, além de investimentos financeiros com o desenvolvimento de uma estrutura de avaliação complexa com diversas métricas, enquanto há seres humanos como, por exemplo, o Warren Buffett, que tem rendimentos de quase 70% daquilo que compra utilizando no máximo 10 métricas e lendo jornal; ou mesmo um trader que utiliza análise fundamentalista e em longo prazo tem retornos acima desse percentual? Não tem justificativa para isso.
A avaliação de métricas, além do que o artigo propõe, deve haver uma diferenciação da sua utilização na qual o seu peso é levado em consideração de acordo com o período de análise futura; ou seja, curto, médio e longo prazo; pois a série histórica, dependendo do período de análise, pode influenciar negativamente a métrica e, consequentemente, a decisão. Vamos utilizar o futebol como exemplo de como uma série histórica, dependendo do tipo de atributo para predição, perde a sua influência e às vezes pode conduzir a um resultado não satisfatório a longo prazo: até 1990, quem fosse realizar uma métrica para avaliar a probabilidade entre o Internacional (já campeão nacional em 75 e 76) e o Corinthians (que ainda não tinha sido campeão desse tipo de competição) de ser campeão brasileiro nos próximos 30 anos (não considerando outras variáveis) veria que o fator da série do Inter seria sempre maior do que o do time da capital; e a história mostrou que o time de São Paulo ganhou cinco títulos enquanto o time do sul não ganhou nenhum; o que mostra que o desenvolvimento de uma métrica deve ser de acordo com o período de tempo, o qual uma métrica de longo prazo não se aplica nesse caso específico (o que deveria ser uma medida de curto prazo para saber o fator de probabilidade para os times serem campeões).
É um assunto ótimo de se discutir e vale a pena a leitura do artigo.