Simpósio na UFRJ discute a confiabilidade da ciência

No dia 15 de setembro de 2014, com participação de diversos docentes do IBqM, realizou-se na UFRJ o simpósio Biased Science and Alternatives for the Publication System, para discutir problemas no atual sistema de publicação científica que contribuem para a baixa reprodutibilidade dos achados na ciência biomédica, bem como alternativas para solucioná-los.

Ao final do simpósio, foi realizada uma curta oficina para discutir possíveis soluções para estes problemas. Cada grupo de participantes da oficina, que envolveu docentes, alunos e palestrantes externos, foi convidado a considerar-se no papel de um dos diferentes agentes envolvidos no ecossistema científico – agências financiadoras, instituições (universidades e centros de pesquisa), periódicos científicos ou cientistas individuais – e considerar as ações que estes agentes poderiam tomar para melhorar a qualidade da publicação científica no país, desenvolvendo três propostas de ações que possam ser aplicadas a curto prazo. Abaixo, descrevemos resumidamente as propostas geradas pela oficina.

Agências de Fomento

1. Para lidar com a preocupação de que os atuais mecanismos de financiamento não apoiam projetos de pesquisa de alto risco e de longo prazo e favorecem cientistas a encontrarem maneiras fáceis e rápidas para publicar:

- Aumentar o valor e duração médios dos financiamentos de projetos de pesquisa no país.

2. Para resolver o problema do viés de publicação de resultados positivos:

- Exigir a publicação completa dos resultados de projetos financiados por agências de fomento. Isto poderia ser apoiado pela criação de periódicos pelas próprias agências para publicar trabalhos não aceitos para publicação em outro lugar, bem como pela retenção de uma porcentagem dos auxílios até que o trabalho seja publicado na íntegra.

3. Promover a melhoria da qualidade da pesquisa:

- Enfatizar a qualidade sobre a quantidade na avaliação da produção científica, removendo os atuais incentivos para apresentar um trabalho como vários pequenos artigos ao invés de uma publicação robusta. Uma opção interessante seria adotar critérios de avaliação metodológica dos trabalhos, que abordem critérios como randomização, cegamento dos experimentadores, tamanho de amostra, etc., em conjunto com (ou ao invés de) métricas de impacto científico, como fator de impacto, contagens de citações e “altmetrics”.

Instituições

1. Para melhorar o conhecimento e conscientização sobre questões de desenho experimental:

- Oferecer mais oportunidades para "alfabetização científica" dos estudantes, em questões como desenho experimental, filosofia da ciência, estatística básica e reprodutibilidade científica em programas de graduação e pós-graduação. Isto deveria idealmente ocorrer de uma forma contínua e periódica, através de acompanhamento ativo dos alunos, e poderia ser estendido para cientistas estabelecidos através de iniciativas de formação continuada.

2. Apoiar a aplicação generalizada de princípios de boas práticas em pesquisa:

- Criar comitês de avaliação externa para visitar periodicamente as instituições e julgar não somente a produção científica das mesmas, mas também a prática diária do laboratório, incluindo desenho de protocolos e análise de dados. Tais comissões testemunhariam diretamente o trabalho de laboratório, entrevistando pesquisadores e estudantes, e criariam relatórios para que essas questões sejam discutidas a nível institucional.

3. Para promover o progresso institucional através da contratação de pessoal capacitado:

- Melhorar o processo de seleção e avaliação de professores, dando mais valor à avaliação da qualidade da pesquisa publicada em oposição à dependência excessiva de métricas baseadas na produtividade (como a contagem de números de artigos).

Periódicos

1. Para promover relatórios mais completos de metodologia e resultados:

- Abolir limites de extensão para artigos publicados através do uso de materiais suplementares disponíveis online, especialmente no que tange a seção de métodos.

2. Para garantir a integridade estatística dos resultados publicados:

- Incluir revisão específica de métodos estatísticos juntamente com a revisão tradicional por pares de manuscritos submetidos, possivelmente através da utilização de consultoria estatística especializada.

3. Para promover a revisão pós-publicação por pares:

- Promover um fórum para revisão pós-publicação por pares em sites de revistas, garantindo que tais contribuições sejam indexadas e citáveis (por exemplo, com um DOI); quando questões relativas à integridade da pesquisa forem levantadas nestes fóruns (por exemplo, suspeita de fraude), caberia também aos periódicos informarem a(s) instituição(s) do(s) cientista(s) em questão.

Cientistas

1. Para apoiar a melhoria da qualidade e confiabilidade dos trabalhos realizados:

- Desenvolver diretrizes padronizadas para as técnicas utilizadas por cada grupo de pesquisa e para a descrição dos métodos e resultados obtidos com estas técnicas. Tais diretrizes seriam usadas tanto para guiar o trabalho de laboratório e informar revisores a respeito deste como para servirem de padrão na avaliação e revisão dos trabalhos de outros grupos. Tais diretrizes podem ser desenvolvidas tanto a nível de laboratórios individuais como a nível institucional.

2. Para garantir a publicação completa de todos os dados, e evitar o uso de múltiplas abordagens para análise a fim de alcançar significância estatística:

- Utilizar sites dos laboratórios (com acesso inicialmente restrito), para o registro de protocolos experimentais com registro obrigatório de data (incluindo plano de análise dos dados), que pode ser estendido conforme o projeto de pesquisa progride. Tais protocolos deveriam ser disponibilizados para os revisores no momento da submissão do manuscrito e à comunidade científica uma vez que a pesquisa for publicada, a fim de garantir que a análise de dados foi realizada como inicialmente planejado, e que todos os dados foram relatados.

3. Para promover a importância da replicação de resultados e de um desenho experimental adequado

- Aproveitar oportunidades que envolvam projetos de curta duração (e.g. cursos de verão, projetos de estagiários de graduação no laboratório) para tentar replicar achados importantes da literatura, e relatar os resultados desses esforços de replicação para a comunidade científica.

A opinião dos participantes do simpósio foi de que tais propostas poderiam trazer benefícios significativos para a comunidade científica brasileira. Participantes vindos do exterior opinaram que a aplicação das mesmas poderia acelerar o desenvolvimento de uma ciência de qualidade, permitindo ao Brasil evitar erros cometidos por outros países em um estágio mais avançado de desenvolvimento científico. Todos concordaram que o exercício proposto pela oficina foi estimulante e educativo, e apoiaram propostas para oficinas semelhantes em outras universidades brasileiras, tanto para chamar a atenção para a importância dessas questões como para desenvolver novas propostas.

Lista de participantes da oficina:

Andrei Mayer, David Majerowicz, Felippe Mousovich, Gabriela Lewenfus, Julia Jolie, Kleber Neves, Malcolm Macleod, Marcela Freitas, Martha Sorenson, Neuroskeptic, Olavo Amaral, Patricia Bado, Paulo José Beltrão, Sonia Vasconcellos, Theo Marins, Thiago Moulin