A proliferação de métricas falsas e como identificá-las

Ao receber uma carta dizendo que sua publicação foi avaliada e aceita para ser incluída numa nova base indexadora mediante o pagamento de x quantia, você deve comemorar ou desconfiar que é uma fraude?

Recentemente vêm ocorrendo uma proliferação de métricas falsas para ranqueamento de periódicos científicos. A autora cita dois artigos que discutem esse problema. O primeiro artigo publicado na Bioessays, de Gutierrez, Beall e Forero, atribui esse fenômeno ao crescimento de publicações periódicas predatórias, com práticas científicas questionáveis, as quais precisam de uma boa posição em rankings de avaliação para aparentarem uma boa reputação.

O segundo artigo, publicado na The Scholarly Kitchen, de Phil Davis, também reconhece esse problema, acreditando que o uso de tais métricas corrói a credibilidade de todas as demais métricas, tanto as respeitáveis quanto as predatórias. Os dois artigos esboçam as causas e as consequências dessas métricas espúrias dentro da indústria de publicações acadêmicas, surgindo daí a questão sobre como podemos identificá-las.

Para os editores não afiliados às grandes editoras – já bastante familiarizadas aos procedimentos para alimentação de bases de dados, reconhecendo assim com mais facilidade a fraude – existem alguns passos a serem observados antes de aceitar a  inclusão de sua publicação numa nova base indexadora:

Pesquise a Companhia

Uma simples busca na internet encontrará opiniões de outros editores a respeito  de uma nova métrica em particular. Busque e explore o seu site: qual sua história? Tem endereço ou contato para correções de dados?

É solicitado pagamento adiantado?

Pouquíssimas métricas de boa reputação pedirão uma taxa para indexar (e utilizar a métrica) em uma revista, pois indexar um conteúdo de qualidade melhora o valor da base; e, em contrapartida,  a menção à métrica  no site da revista providenciará tráfego direto para eles. Assim, seja cauteloso ao pedirem pagamento.

A base divulga a fórmula matemática da sua métrica?

Saber que a sua publicação possui o fator x (nº qualquer) sem conhecer o cálculo da métrica, ou o seu significado no contexto de outras revistas indexadas, faz com que esse número seja inútil. Assim, eles precisam explicar como calculam esse número e esse cálculo precisa fazer sentido.

Qual a sua fonte de dados?

Nunca acredite numa métrica se você não puder identificar e validar o conjunto de dados utilizados. Uma métrica de citação deve extrair os dados de uma base de dados de citação robusta. Diferente de uma base de dados que indexa e resume artigos,  uma base de citação precisa indexar as listas de referências do artigo. E em seguida deve contar as citações pelas formações de ligações entre as referências e outros artigos indexados. Uma métrica acurada de citação depende de uma base de citação cuidadosamente  selecionada, que evite a indexação de artigos duplicados ou não confiáveis. As bases de dados de citações mais confiáveis são a Web of Science da Thomson  & Reuters e o Scopus da Elsevier, as quais usam como métricas o Fator de Impacto, o SCImago Journal Rank (SJR) e a the Source Normalised Impact per Publication (SNIP). O Google Scholar é outra base popular (e gratuita), embora a qualidade de seus dados seja menos robusta.

Saber se eles citam sua própria fonte de dados – como eles são compilados, e qual o seu escopo.

O site diz que calculam seus dados de citação de suas próprias bases de dados de periódicos indexados. Isso é bom. Entretanto, lembre-se que uma base de dados de citação pode somente contar citações de e para os papers indexados na base de dados. Portanto é importante saber:

• Quantas revistas são indexadas?
• Quais são seus critérios de indexação?
• Você pode pesquisar o banco de dados (no nível de artigo) - ou seja, você pode validar seus dados?

Esta lista está longe de ser exaustiva, existindo muitos outros tópicos a serem  observados, entretanto, se você suspeita de algum serviço de métrica, e, ao aplicar os critérios acima,  ele não passar por algum deles, é aconselhável evitá-lo. A invasão de métricas falsas no mercado de periódicos científicos prejudica a crença em todas as outras métricas, conforme disse Phil Davis. Barrar o crescimento dessas métricas é do interesse de todos.

Trad. livre nossa de: Jenny Neophytou.Fake metrics and how to spot them.