Repensando os fatores de impacto: melhores maneiras de julgar um periódico

Artigo da revista Nature destaca a importância de repensar as métricas de avaliação das revistas científicas. Esta matéria é uma tradução livre do artigo intitulado Rethinking impact factors: better ways to judge a journal que acaba de ser publicado [1]. Os signatários do artigo incluem Paul Wouters, Cassidy R. Sugimoto, Vincent Larivière, Marie E. McVeigh, Bernd Pulverer, Sarah de Rijcke & Ludo Waltman.

Precisamos de um conjunto de métricas mais amplo e transparente para melhorar a publicação científica, dizem Paul Wouters, colegas e co-signatários.

Esforços globais estão em andamento para criar um papel construtivo para as métricas dos periódicos na publicação acadêmica e para deslocar o domínio dos fatores de impacto na avaliação da pesquisa. Para este fim, um grupo de especialistas em bibliometria e avaliação, cientistas, editores, sociedades científicas e provedores de análise de pesquisa estão trabalhando para elaborar um conjunto mais amplo de indicadores de periódicos e outras maneiras de avaliar as qualidades de um periódico. É uma tarefa desafiadora: nossos interesses variam e muitas vezes entram em conflito, e a mudança requer um esforço conjunto entre editoras, acadêmicos, agências financiadoras, formuladores de políticas e provedores de dados bibliométricos.

Aqui chamamos para os elementos essenciais desta mudança: expansão de indicadores para cobrir todas as funções de revistas acadêmicas, um conjunto de princípios para governar seu uso e a criação de um corpo diretivo para manter esses padrões e sua relevância.

Nossa proposta vem de um workshop de 2017 realizado em Leiden, na Holanda. Foi co-organizado pelo Centro de Estudos de Ciência e Tecnologia da Universidade de Leiden (onde trabalham PW, SdR e LW), Clarivate Analytics (a empresa que produz o Journal Citation Reports anual) e pela organização europeia de ciências da vida, EMBO . Mais de duas dezenas de profissionais de todo o ecossistema acadêmico participaram (ver também go.nature.com/2wfeyjc).

Delineamos as principais funções dos periódicos, que permanecem praticamente inalteradas desde a sua criação há mais de 350 anos. As funções são registrar reivindicações para o trabalho original, curar o registro de pesquisa (incluindo a emissão de correções e retratações), organizar a revisão crítica, divulgar e arquivar bolsas de financiamento (ver “Para que serve um periódico”)

Para que serve um periódico?

Registro. Por meio da publicação, os periódicos associam as reivindicações intelectuais em um trabalho com uma data e autoria, que podem ser usadas para estabelecer a prioridade.

Curadoria. Por meio de revisão editorial e outros, o trabalho é selecionado e colocado em uma coleção; Esta coleção sinaliza associações e delineia o escopo teórico e metodológico de um domínio acadêmico.

Avaliação. Por meio da revisão por pares, os trabalhos são avaliados de acordo com vários critérios (como qualidade e novidade), e os autores recebem feedback de seus pares. Através da publicação, a revista certifica que o trabalho foi avaliado; o periódico continua a realizar funções avaliativas emitindo correções e retratações.

Disseminação. Ao tornar o trabalho público, uma revista distribui formalmente para uma comunidade especializada; Com acesso aberto e outras ferramentas de comunicação, o periódico disponibiliza o trabalho para comunidades mais amplas.

Arquivamento. Ao associar o trabalho a metadados adequados e disponibilizá-lo on-line e a índices e agregadores, o periódico contribui para o registro acadêmico permanente e facilita a descoberta.

== Referência ==

[1] WOUTERS, Paul et al. Rethinking impact factors: better ways to judge a journal. Nature, 28 May 2019. Disponível em: https://www.nature.com/articles/d41586-019-01643-3 Acesso em: 28 maio 2019.]

Fonte: https://www.sibi.usp.br/?p=37741

Sobre o Fator de Impacto

Rafael Garcia, em texto bastante esclarecedor e informativo, discorre sobre a importância/necessidade/função/uso (ou não) do famoso Fator de Impacto utilizado para avaliar a qualidade da ciência em publicações científicas.

Alguns trechos:

Pouca coisa no mundo é mais imprecisa do que a cientometria, a ciência que usa números para medir a qualidade da ciência. Essa disciplina tem seu mérito e sua utilidade, mas é vítima de uma ironia da condição humana: estudos científicos são trabalhos que buscam construir conhecimento com a maior objetividade possível, mas só podem ser avaliados com justiça quando alguém tem paciência para analisá-los um por um, subjetivamente, sem apelar demais para os números da cientometria.

[...] O fator de impacto foi criado para orientar bibliotecas sobre quais revistas assinar, não para avaliar a qualidade da ciência publicada nelas. A própria Thomson Reuters, empresa que faz o levantamento sobre fator de impacto hoje reconhece isso em sua definição sobre o índice.[...]

Agências de fomento de pesquisa, como o brasileiro CNPq, têm procurado adotar critérios mais específicos e menos cientométricos para conceder suas “bolsas de produtividade em pesquisa”. Mas isso não impede que revisores individuais deixem de ser seduzidos por fatores de impacto maiores.

Leia o artigo completo aqui

Outros artigos sobre o fator de Impacto: 

Como é calculado o fator de impacto das publicações?

O fator de impacto e a qualidade da pesquisa

The Thomson Reuters Impact Fator

The agony and the ecstasy: the history and meaning of The Journal Impact Fator

Boa leitura!

Índice H e Fator de Impacto

O Fator de Impacto (FI), bastante conhecido e utilizado indicador para avaliação da relevância científica de um periódico, e o mais recente,  o índice H, proposto em 2005 pelo físico argentino Jorge Hirsch, têm sido questionados (em dois diferentes episódios) sobre o seu uso exagerado como indicadores de qualidade de trabalhos científicos:

A revista Chemistry World, editada pela Royal Society of Chemistry, do Reino Unido, decidiu parar de publicar um ranking on-line que era sucesso entre os leitores. Tratava-se da lista, atualizada algumas vezes por ano, com mais de 500 pesquisadores altamente produtivos na área de química, aqueles que ostentam no currículo um índice-h maior que 55. A decisão de suspender o ranking foi uma capitulação às críticas de que ele dava ênfase demasiada a um simples indicador de desempenho, sem levar em conta outros aspectos da produção científica, e poderia induzir universidades e agências de fomento a tomar decisões simplistas ou equivocadas.

**********

O peso exagerado que frequentemente é dado ao fator de impacto das revistas está deixando muitos pesquisadores insatisfeitos. Tanto que uma petição foi lançada na internet, pedindo o fim do uso desse fator de impacto como métrica central na avaliação de mérito de pesquisadores, projetos e instituições. Segundo a petição, chamada Declaração de São Francisco sobre Avaliação dePesquisa(DORA, na sigla em inglês), o mérito de um trabalho (e do cientista que o realizou) deve ser avaliado com base na qualidade do próprio trabalho, e não da revista na qual ele foi publicado. Parece óbvio, mas com frequência não é o que acontece.

Leia os artigos na íntegra: 

Os limites do índice-h 

Cientistas extravasam seu descontentamento com fator de impacto das revistas

E você? Concorda ou discorda da maneira como esses indicadores têm sido usados? Também se sente insatisfeito?  Acredita que mudanças virão?

Periódicos da América Latina e Caribe melhoram desempenho

A Thomson Reuters Scientific publicou a versão 2009 do índice bibliométrico Journal Citation Report (JCR), um dos índices de referência internacional para a medida do desempenho dos periódicos científicos. A região da América Latina e Caribe (AL&C) aumentou notavelmente a presença no JCR em relação a 2008 com 110% a mais de periódicos indexados, dos quais 14 títulos alcançaram Fator de Impacto maior que 1. Do total de 162 periódicos da região no JCR, 52% são publicados online em acesso aberto nas coleções nacionais SciELO. Esta porcentagem cresce para 80% no caso do Brasil.

Leia a matéria na íntegra aqui!