Algumas dicas úteis de como fazer uma revisão sistemática

Esse é um artigo bem antigo que escrevi em 2013, mas face aos recentes eventos na minha carreira acadêmica estou postando publicamente para ajudar quem se propõe a fazer tal tarefa.

Existem inúmeros manuais de como se fazer uma boa Revisão Sistemática, então aqui eu vou colocar um apanhado de idéias que eu copiei rigorosamente dos autores das referências e colocar o que eu fiz para manter a minha sanidade durante o processo.

…

Um dos principais fatos dos dias de hoje é que vivemos na era da informação em que o volume de dados e informações geradas aumentam quase que exponencialmente a cada ano. 

Este fato tem um impacto gigantesco quando falamos de pesquisa acadêmica, especificamente para os pesquisadores que desejam entender o que está sendo escrito mesmo no meio desta miríade de informações que está sendo gerada a cada dia que passa. 

Esse post é dedicado especialmente para:

1. pessoas que estão em momento de definir o seu projeto de pesquisa para um doutorado ou mestrado
2. pessoas que estão escrevendo um artigo científico, mas que gostariam de saber o que está sendo discutido na literatura
3. pessoas que estão fazendo pesquisa corporativa para determinar rumos de ação práticos em algum departamento de R&D

Uma das técnicas acadêmicas mais subestimadas na minha opinião para resolver isso no que se refere à atividade de pesquisa é a Revisão Sistemática.

Pessoalmente eu não consigo imaginar pesquisas cientificas sérias começando sem o uso desta ferramenta, e ao final desse artigo esta questão vai ficar mais clara. 

Mas o que é uma revisão sistemática? Aqui eu pego emprestado a citação de Cook, D. J., Mulrow, C. D., & Haynes, R. B. (1997):

Systematic reviews are scientific investigations in themselves, with pre-planned methods and an as  sembly of original studies as their “subjects.” They synthesize the results of multiple primary investigations by using strategies that limit bias and random error (9, 10). These strategies include a comprehensive search of all potentially relevant articles and the use of explicit, reproducible criteria in the selection of articles for review. Primary research designs and study characteristics are appraised, data are synthesized, and results are interpreted.

Cook, D. J., Mulrow, C. D., & Haynes, R. B. (1997)

A percepção que eu tenho é que inúmeros trabalhos iniciam-se cheios de expectativas e promessas de ineditismo, mas grande parte das vezes são trabalhos que só reinventaram a roda sobre outros trabalhos de outras pessoas que não levaram o crédito, e que caso houvesse uma revisão sistemática mais apurada esses trabalhos ou receberiam menos recursos ou nem existiriam e os recursos poderiam ser alocados em outros espaços com maior potencial de relevância/retorno.

Mas se eu tivesse que sumarizar em alguns pontos básicos da importância da revisão sistemática, eu consideraria os seguintes:

1. A Revisão Sistemática ajuda a entender o passado de um tópico dentro de um campo da ciência e a sua evolução ao longo do tempo;
2. Apresenta o atual estado da arte para os pesquisadores do presente;
3. É uma importante ferramenta para descobrir os gaps e limitações (e.g.metodológicas) na atual literatura;
4. Faz a sua pesquisa conversar com a literatura corrente desde o dia da publicação,
5. Faz o trabalho de mostrar formas de monitoramento da literatura quando trás fontes relevantes; e último, mas não menos importante;
6. Evita que os pesquisadores reinventem a roda alocando recursos para o desenvolvimento de trabalhos com um grau maior de ineditismo

Aqui eu concordo com a afirmação de Webster e Watson(2002) de que a Revisão Sistemática une os conceitos ao longo do tempo, mas ocasionalmente prepara para o futuro, em que a revisão ela entende a teoria e a prática e a relação ontológica do campo de estudos.

Como afirma Webster, Watson(2002) revisões sistemáticas ou de literatura não podem ser uma compilação de citações como uma lista telefônica, mas sim um exercício ativo de análise dos estudos que estão sendo analisados. 

Systematic reviews can help practitioners keep abreast of the medical literature by summarizing large bodies of evidence and helping to explain differences among studies on the same question. A systematic review involves the application of scientific strategies, in ways that limit bias, to the assembly, critical appraisal, and synthesis of all relevant studies that address a specific clinical question.

Cook, D. J., Mulrow, C. D., & Haynes, R. B. (1997)

Um dos pontos que eu quero ressaltar em algum ponto do futuro, é como a pesquisa de forma sistematizada deveria ser o objetivo de qualquer empresa para incorporar dados em processos decisórios e na arquitetura de novas soluções corporativas. Mas o meu argumento é o mesmo do Cook, D. J., Mulrow, C. D., & Haynes, R. B. (1997) que eu coloco a citação abaixo:

Review articles are one type of integrative publication; practice guidelines, economic evaluations, and clinical decision analyses are others. These other types of integrative articles often incorporate the results of systematic reviews. For example, practice guidelines are systematically developed statements intended to assist practitioners and patients with decisions about appropriate health care for specific clinical circumstances (11). Evidence-based practice guidelines are based on systematic reviews of the literature, appropriately adapted to local circumstances and values. Economic evaluations compare both the costs and the consequences of different courses of action; the knowledge of consequences that are considered in these evaluations is often generated by systematic reviews of primary studies. Decision analyses quantify both the likelihood and the valuation of the expected outcomes associated with competing alternatives.

Cook, D. J., Mulrow, C. D., & Haynes, R. B. (1997)

Um ponto a fato das revisões sistemáticas é que muitos jornais por questões de limitação de espaço geralmente limitam o número de páginas dos trabalhos em que infelizmente a primeira área a ser sacrificada é a revisão de literatura pelo motivo de que ela não tem um foco tão grande quanto a metodologia, os resultados ou as conclusões. 

Aqui eu vou reunir algumas dicas de 3 artigos, que considero que são boas referências no que se refere à revisão sistemática. São algumas anotações desses artigos, junto com alguns comentários do que eu faço quando tenho que realizar uma revisão sistemática seja para ver como está o estado da arte de um tópico de pesquisa. 

A base fundamental desse artigo está nas ideias de Cook, Mulrow, & Haynes (1997);  Webster e Watson (2002) e Brereton e autores (2007). Esta será apenas uma lista não exaustiva de tópicos, e a leitura dos originais são imprescindíveis. 

Se eu tivesse que escolher um framework de adoção de revisão sistemática, seria este de Brereton e autores (2007):

Autores e tópicos prospectivos

Posicionar sobre o progresso e o aprendizado e embarcar em novos projetos para o desenvolvimento de novos modelos teóricos Webster e Watson (2002) em que essas revisões podem ser em um a) tópico maduro com um vasto corpo de conhecimento ou b) sobre um tópico emergente com uma velocidade de desenvolvimento maior. 

A revisão sobre os tópicos dá direções sobre conceitos e a sua evolução e direções, e a revisão em autores ajuda o trabalho a comunicar com os grandes laboratórios ou com pesquisadores que vão auxiliar no debate sobre o campo científico. 

Escrevendo um artigo de revisão sistemática

O que está sendo buscado? Quais são as keywords? Qual é a contribuição esperada?

Um dos pontos mais importantes é realizar o _disclosure_das limitações da revisão como:

• Escopo da busca (_e.g.__keywords_usadas, base de artigos)
• Limite temporal dos artigos
• Sumário da pesquisa passada, destaque nos gaps, propostas de como encurtar esse gap e implicações da teoria na prática 

Esse _disclosure_sinaliza que o seu trabalho está tirando uma foto da literatura no momento, e que ela pode não ser perfeita por questões de vícios metodológicos ou mesmo por fatores exógenos a sua pesquisa, como por exemplo, se uma base de dados mudar o indexador de artigos, e a query com os mesmos parâmetros trouxerem outros resultados.

Identificação da literatura relevante 

Aqui a revisão sistemática foca no conceito não importando onde esses conceitos estão. 

Isso implica dizer que o foco não está somente:

• Nos melhores journals
• Em alguns autores mais produtivos
• Em algumas áreas do conhecimento
• Em questões de amplitude geográfica do país

Escolha de bases de dados

Aqui a revisão toma mais ares de arte do que de ciência de fato, e aqui vem uma visão muito pessoal: Eu particularmente gosto de lidar com mais de 5 bases de pesquisa. Este número eu encontrei através de algumas experimentações, mas foi o número que me dá uma certa amplitude em relação aos artigos que estão indexados nos melhores _journals_e ajuda a pegar alguns bons artigos e principalmente teses de doutorado que por ventura estão escondidas na página 8 de alguma _keyword_obscura. 

Outro ponto da base de dados é entender a seletividade da mesma, e seletividade aqui eu chamo de o quanto a ferramenta de busca consegue me trazer um número suficientemente relevantes de artigos com o menor índice de sinal e ruído. 

E como eu não poderia deixar de falar, é sempre tentador ir apenas onde estamos mais familiarizados como o Google Scholar_e no _Microsoft Research; mas a dica aqui é procurar bases de dados de outras áreas do conhecimento. 

Estrutura da revisão

Deve focar principalmente nos conceitos e não nos autores.

Uma coisa que ajuda e muito é as categorizações dos artigos de forma qualitativa, em que aspectos de gaps, tipo de metodologia, natureza do trabalho pode ser compiladas posteriormente.

Desenvolvimento Teórico

A ponto aqui é baseado no passado, no atual estado das coisas e as limitações e gaps presentes, como usar isso para o futuro?

Aqui eu recomendo uma expansão de ideias modesta, algo que não seja uma pesquisa de 10 anos para o futuro e que tenha plausibilidade.

Razão para os proponentes

• Explicações teóricas (O porquê?): Essa será a cola que vai grudar toda a prática de uma maneira sistematizada, reprodutível, observável, transferível e replicável;
• Achados empíricos do passado: O suporte do que foi observado ao longo do tempo, e a qualidade das evidências apresentadas e como essas observações foram realizadas; e
• Prática e experiência: Mecanismos de validação da teoria e refinamentos posteriores do que está sendo teorizado e feito. 

Conclusão

Eu acho que neste ponto eu consegui mostrar o meu ponto em relação a importância da revisão sistemática como ferramenta para entendimento do passado e do presente, como também como método que ajuda a planejar o futuro em termos de pesquisa. 

Eu pessoalmente recomendo sempre que houver algum tipo de adoção de prática o uso dessa ferramenta antes de qualquer projeto acadêmico.

Referências

Cook, D. J., Mulrow, C. D., & Haynes, R. B. (1997). Systematic reviews: synthesis of best evidence for clinical decisions. Annals of internal medicine, 126(5), 376-380. - Link: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.733.1479&rep=rep1&type=pdf

Brereton, P., Kitchenham, B. A., Budgen, D., Turner, M., & Khalil, M. (2007). Lessons from applying the systematic literature review process within the software engineering domain. Journal of systems and software, 80(4), 571-583. - 

Link: https://www.sciencedirect.com/science/article/pii/S016412120600197X

Webster, J., & Watson, R. T. (2002). Analyzing the past to prepare for the future: Writing a literature review. MIS quarterly, xiii-xxiii. Link: https://www.researchgate.net/profile/Harald_Kindermann/post/How_to_write_the_academic_review_article_in_the_field_of_management/attachment/5abe1af54cde260d15d5d477/AS%3A609838266593280%401522408181169/download/2002_Webster_Writing+a+Literature+Review.pdf