Velhos problemas, novas ações
É antiga no meio acadêmico a crítica de que as avaliações de produtividade individual levam mais em conta a quantidade que a qualidade. A pressão para se publicar muito continua, mas algumas iniciativas do CNPq prometem mudar esse quadro.
Por: Sofia Moutinho Publicado em 25/07/2011 | Atualizado em 25/07/2011
Pesquisadores criticam as ferramentas bibliométricas de avaliação, que medem os números de trabalhos publicados e citações, pois acreditam que elas dão mais peso à quantidade do que à qualidade. (imagem: Sofia Moutinho)
Avaliar o desempenho de um pesquisador é uma tarefa complexa que passa pela análise da sua produtividade e do impacto de seu trabalho. Muitos cientistas se queixam de que as ferramentas usadas nesse processo focam mais na quantidade do que na qualidade.
Após anos ouvindo a mesma queixa, o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) promete adotar novas estratégias que coloquem em alta conta a qualidade, a inovação e a divulgação científica.
Órgão responsável pela avaliação individual e pela concessão de bolsas de pesquisa no Brasil, o CNPq divide os cientistas em grupos de acordo com a sua produtividade, variando do nível 2 até o 1A – o topo da escada. Toda vez que concorrem a uma bolsa ou em um edital, o nível atribuído a eles é considerado.
Até hoje, a quantidade de artigos publicados em periódicos reconhecidos internacionalmente pelo Instituto para Informação Científica (ISI, na sigla em inglês) e o número de citações a esses artigos são os critérios que têm mais peso nessa avaliação, principalmente nas áreas exatas e biológicas.
Para que um pesquisador de ciências biológicas se enquadre na menor categoria de produtividade do CNPq, ele precisa ter publicado, no mínimo, cinco artigos em periódicos científicos reconhecidos, nos últimos cinco anos. Já para fazer parte do grupo 1A , são necessários pelo menos 20 trabalhos publicados em revistas científicas relevantes no mesmo período.
Rehen conta que essas disparidades acabam incitando práticas não muito éticas, como a autocitação e a chamada produção “salame”, em que os resultados de uma pesquisa são fatiados em vários artigos para aumentar o saldo de publicações do cientista.
“É a lei da sobrevivência; a pressão é tão grande que muitos pesquisadores usam essas estratégias, que são questionáveis eticamente, mas não ilegais”, comenta o biólogo.
O documento traz como novo critério de avaliação a análise qualitativa de três trabalhos selecionados pelo pesquisador e publicados nos últimos três anos. Essas publicações passam a ter o mesmo peso que a análise global do currículo do pesquisador.
Assim, a qualidade dos trabalhos ganha mais destaque e os pesquisadores mais novos, com produção menor, passam a ter uma chance maior ao disputar recursos com os veteranos.
Outra crítica comumente feita aos critérios de avaliação quantitativos é que eles desestimulam a inovação, pois não levam em conta as criações de produtos e patentes.
Mais subvalorizadas ainda ficam as atividades de divulgação científica do pesquisador preocupado em compartilhar com a sociedade os resultados de seu trabalho. Atualmente, por mais estimuladas que sejam, essas iniciativas não têm relevância na hora de se avaliar a produtividade de um cientista.
O presidente do CNPq também promete resolver esse impasse. Até o fim do ano, a agência deve implementar duas novas abas, uma de inovação e outra de divulgação científica, na Plataforma Lattes, sistema on-line que reúne os currículos dos pesquisadores brasileiros.
O Fator de Impacto (FI), por exemplo, indicador que mede a relevância dos periódicos científicos, é inadequadamente usado para avaliar o desempenho individual de pesquisadores. “O FI do periódico em que um pesquisador publicou não pode ser tomado como base para a avaliação de seu trabalho”, diz o cardiologista Bruno Caramelli, da Universidade de São Paulo. “Esse índice mede somente a qualidade da revista em geral e não de um artigo específico.”
Outro problema que persiste diz respeito às áreas em que o artigo científico não tem tanto peso. Algumas disciplinas, como a antropologia e a sociologia, têm o livro como principal forma de produção, mas este tem sido historicamente menos considerado do que os artigos por muitos comitês de avaliação.
Segundo Duarte, o CNPq já está mais sensível a esse problema, mas, na avaliação de cursos de pós-graduação, feita pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), ainda existe mais peso para os artigos.
“Ainda há muito a ser feito e sempre vai haver o dilema de que, em uma avaliação em massa, não é possível ver a qualidade. Mas, felizmente, esses órgãos estão cada vez mais sensíveis a essas questões.”
Sofia MoutinhoCiência Hoje On-line
FONTE: http://cienciahoje.uol.com.br/noticias/2011/07/velhos-problemas-novas-acoes
Após anos ouvindo a mesma queixa, o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) promete adotar novas estratégias que coloquem em alta conta a qualidade, a inovação e a divulgação científica.
Órgão responsável pela avaliação individual e pela concessão de bolsas de pesquisa no Brasil, o CNPq divide os cientistas em grupos de acordo com a sua produtividade, variando do nível 2 até o 1A – o topo da escada. Toda vez que concorrem a uma bolsa ou em um edital, o nível atribuído a eles é considerado.
Até hoje, a quantidade de artigos publicados em periódicos reconhecidos internacionalmente pelo Instituto para Informação Científica (ISI, na sigla em inglês) e o número de citações a esses artigos são os critérios que têm mais peso nessa avaliação, principalmente nas áreas exatas e biológicas.
Para que um pesquisador de ciências biológicas se enquadre na menor categoria de produtividade do CNPq, ele precisa ter publicado, no mínimo, cinco artigos em periódicos científicos reconhecidos, nos últimos cinco anos. Já para fazer parte do grupo 1A , são necessários pelo menos 20 trabalhos publicados em revistas científicas relevantes no mesmo período.
“Não dá para restringir o conhecimento ao número de artigos publicados”
O biólogo Stevens Rehen, da Universidade Federal do Rio de Janeiro (UFRJ), é um dos muitos que criticam esse sistema de avaliação. “Não dá para restringir o conhecimento ao número de artigos publicados”, diz. “E, infelizmente, esse não é um problema só do Brasil, mas uma tendência mundial.”Rehen conta que essas disparidades acabam incitando práticas não muito éticas, como a autocitação e a chamada produção “salame”, em que os resultados de uma pesquisa são fatiados em vários artigos para aumentar o saldo de publicações do cientista.
“É a lei da sobrevivência; a pressão é tão grande que muitos pesquisadores usam essas estratégias, que são questionáveis eticamente, mas não ilegais”, comenta o biólogo.
Sistema em reformulação
O presidente do CNPq, o físico Glaucius Oliva, admite as falhas no processo de avaliação e garante que o sistema está passando por uma revisão. Oliva cita como exemplo de mudança o edital universal de apoio à pesquisa deste ano, lançado no final de junho.O documento traz como novo critério de avaliação a análise qualitativa de três trabalhos selecionados pelo pesquisador e publicados nos últimos três anos. Essas publicações passam a ter o mesmo peso que a análise global do currículo do pesquisador.
Assim, a qualidade dos trabalhos ganha mais destaque e os pesquisadores mais novos, com produção menor, passam a ter uma chance maior ao disputar recursos com os veteranos.
Outra crítica comumente feita aos critérios de avaliação quantitativos é que eles desestimulam a inovação, pois não levam em conta as criações de produtos e patentes.
“Aqui, infelizmente, ainda existe a ideia de que um artigo vale mais do que uma patente”
“Enquanto os Estados Unidos produziram 249.638 patentes de 2005 a 2009, o Brasil produziu apenas 1.953. Aqui, infelizmente, ainda existe a ideia de que um artigo vale mais do que uma patente”, critica o químico Cláudio Cerqueira, da UFRJ, pesquisador nível 2 do CNPq, que já depositou 11 patentes no Brasil e no exterior.Mais subvalorizadas ainda ficam as atividades de divulgação científica do pesquisador preocupado em compartilhar com a sociedade os resultados de seu trabalho. Atualmente, por mais estimuladas que sejam, essas iniciativas não têm relevância na hora de se avaliar a produtividade de um cientista.
O presidente do CNPq também promete resolver esse impasse. Até o fim do ano, a agência deve implementar duas novas abas, uma de inovação e outra de divulgação científica, na Plataforma Lattes, sistema on-line que reúne os currículos dos pesquisadores brasileiros.
- Uma das iniciativas do CNPq para dar mais enfoque à qualidade da produção científica é a criação de duas novas abas no Currículo Lattes, uma para inovação e outra para ações de divulgação científica. (montagem: Sofia Moutinho)
Ainda sem solução
Apesar de representarem um passo importante, as recentes iniciativas do CNPq não respondem de maneira satisfatória a todas as críticas feitas pela comunidade científica.O Fator de Impacto (FI), por exemplo, indicador que mede a relevância dos periódicos científicos, é inadequadamente usado para avaliar o desempenho individual de pesquisadores. “O FI do periódico em que um pesquisador publicou não pode ser tomado como base para a avaliação de seu trabalho”, diz o cardiologista Bruno Caramelli, da Universidade de São Paulo. “Esse índice mede somente a qualidade da revista em geral e não de um artigo específico.”
Outro problema que persiste diz respeito às áreas em que o artigo científico não tem tanto peso. Algumas disciplinas, como a antropologia e a sociologia, têm o livro como principal forma de produção, mas este tem sido historicamente menos considerado do que os artigos por muitos comitês de avaliação.
- Nas ciências humanas e sociais, o livro é um dos principais meios de produção de conhecimento, mas, normalmente, as avaliações dão mais importância aos artigos científicos. (foto: JK/ Sxc.hu)
Segundo Duarte, o CNPq já está mais sensível a esse problema, mas, na avaliação de cursos de pós-graduação, feita pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), ainda existe mais peso para os artigos.
“Ainda há muito a ser feito e sempre vai haver o dilema de que, em uma avaliação em massa, não é possível ver a qualidade”
“Vivemos uma luta constante para que o CNPq e a Capes ajustem da melhor maneira os seus critérios de avaliação, considerando as especificidades de cada área do conhecimento”, afirma o antropólogo.“Ainda há muito a ser feito e sempre vai haver o dilema de que, em uma avaliação em massa, não é possível ver a qualidade. Mas, felizmente, esses órgãos estão cada vez mais sensíveis a essas questões.”
Sofia MoutinhoCiência Hoje On-line
FONTE: http://cienciahoje.uol.com.br/noticias/2011/07/velhos-problemas-novas-acoes
Nenhum comentário:
Postar um comentário