Indicadores e Métricas: como medir o desempenho de pesquisa?

As métricas de desempenho das publicações científicas são importantes para pesquisadores e universidades que visam progredir e acompanhar a produtividade e impacto de suas pesquisas.

O uso de indicadores e métricas de produção científica tornou-se prática rotineira na avaliação da qualidade e desempenho das atividades de pesquisa em renomadas universidades de pesquisa. No esteio dessa demanda, a análise bibliométrica e cientométrica realizada por meio de indicadores tem se tornado cada vez mais popular, juntamente com ferramentas analíticas de produção científica como o InCites e o SciVal .

Ferramentas analíticas

• InCites (Clarivate Analytics) é uma plataforma online de avaliação de pesquisa personalizada e baseada em citações, que tem como fonte de dados a Base Web of Science. Permite realizar análises de produtividade e impacto científico, comparar resultados com outras instituições, aferir o desempenho de pesquisadores, pesquisas financiadas. Faça seu registro para utilizar. Saiba mais sobre o InCites.

• SciVal (Elsevier) possui um portfólio de ferramentas de análise de indicadores de produção científica, que tem como fonte de dados o Scopus e o Science Direct. Permite realizar análises bibliométricas da produção científica de uma determinada instituição, país, região, autor ou grupos de autores, ou ainda em revistas, desde que o material esteja indexado na base de dados Scopus. Faça seu registro para utilizar. Saiba mais sobre o SciVal. Consulte também o Flyer do SciVal em português.

Consulte antes a lista de Indicadores e Métricas preparada pela equipe do Sistema Integrado de Bibliotecas da USP para saber o significado das métricas e como são utilizadas.

Indicadores e Métricas

Produção científica (scholarly outputs): Número total acumulado de itens publicados em um dado período. Mede o volume, a produtividade: quantas publicações foram produzidas por um autor, grupo de pesquisadores, instituição, país ou conjunto de países em dado período. É possível também obter o número total acumulado de publicações de acordo com cada área de conhecimento ou disciplina em um determinado período de tempo.

Contagem de citações (citation count): Indica o total de citações que as publicações de um autor, instituição ou país acumularam ao longo de um determinado período. As diferenças na contagem de citações entre fontes de dados são devidas a diferentes coberturas (título e datas) do banco de dados (Scopus ou Web of Science). O número de citações recebidas não se refere ao ano em que a citação foi recebida e sim ao ano em que o resultado foi publicado. As métricas de contagem de citações são úteis para comparar a visibilidade onde os pesquisadores são de campos ou disciplinas similares e com duração similar de carreira.

Citações por publicação (citation per publication): Indica o número de citações recebidas por artigo/trabalho publicado. Indica o impacto médio de citação de cada uma das publicações de uma instituição ou autor: quantas citações as publicações de uma instituição ou autor receberam, em média.

Índice H (h-index): Indica um equilíbrio entre a produtividade (produção científica) e impacto de citação (contagem de citações) de publicações de uma instituição ou pesquisador. Tem sido utilizado também para revistas. Por exemplo, um índice h de 12 indica que, no conjunto de dados, 12 artigos foram citados pelo menos 12 vezes cada um.

Impacto de citação (citation impact): é calculado dividindo o número total de citações recebidas pelo número total de publicações. O impacto da citação mostra o número médio de citações que um documento recebeu em um dado período. O impacto de citação tem sido amplamente utilizado como um indicador bibliométrico na avaliação do desempenho de pesquisa e pode ser aplicado em todos os níveis organizacionais (autor, instituição, país / região, campo de pesquisa ou periódico). No entanto, há limites para o indicador, pois ignora o volume total da produção científica. Por exemplo, o Pesquisador A tem apenas uma publicação que recebeu 50 citações, enquanto o Pesquisador B publicou 10 documentos que receberam 200 citações. O Pesquisador A tem um maior impacto de Citação (50) do que o Pesquisador B (20), embora o Pesquisador B tenha publicado mais documentos e tenha recebido mais citações em geral. No nível do campo de conhecimento, o impacto da citação de certas disciplinas é muitas vezes maior do que em outros campos científicos devido a características próprias de cada área como frequência e volume de publicações e citações. Por esse motivo, é preciso ter cuidado ao utilizar esse indicador. (Fonte: InCites Help).

Impacto de citação ponderado por campo [de conhecimento] (Field-weighted citation impact): Indica como o número de citações recebidas por publicações de uma instituição se compara com o número médio de citações recebidas por todas as outras publicações similares no universo de dados independente da área de conhecimento. Métrica utilizada pelo Scopus. Um impacto de citação ponderada no campo de mais de 1,00 indica que as publicações foram citadas mais do que seria esperado com base na média mundial de publicações semelhantes, por exemplo, uma pontuação de 1,44 significa que as saídas foram citadas 44% mais vezes do que o esperado. Um impacto de citação ponderada no campo (FWCI) de menos de 1,00 indica que as publicações foram citadas menos do que seria esperado com base na média mundial de publicações similares, por exemplo, uma pontuação de 0,85 significa 15% menos citada do que a média mundial. A Web of Science refere-se a essa métrica como impacto de citação normalizada (Normalized citation impact). 

Fator de impacto do periódico (journal impact factor): Mede quantas vezes um artigo foi citado em relação ao total de artigos publicados em um periódico/revista em um período de dois anos, no ano em curso. (Métrica Web of Science). 

Fator de impacto do periódico sem auto-citações (journal impact factor without self cites): é o mesmo que journal impact factor, mas com uma importante exceção: Quaisquer citações para uma publicação que provêm da própria publicação (ou seja, auto-citações) são excluídas do cálculo.

Fator de impacto do periódico em 5 anos (5-year journal impact factor): É o número médio de vezes que os artigos de um periódico publicado nos últimos cinco anos têm sido citados no ano no Journal Citation Reports (JCR). É calculado dividindo o número de citações no ano JCR pelo número total de artigos publicados nos cinco anos anteriores. (Métrica Web of Science).

Produção nos top percentis (outputs in the top percentiles): Indica o grau em que publicações de uma instituição, grupo ou país estão presentes nos percentis mais citados de um universo de dados: quantas produções estão no topo de 1%, 5%, 10% ou 25% das publicações mais citadas? Observe que o período de tempo não se refere ao ano em que as citações foram recebidas, mas ao ano em que os resultados foram produzidos. Essa métrica também pode ser usada para distinguir pesquisadores cujo desempenho parece similar quando visto por outras métricas, como Produção Científica, Citações por publicação ou Colaboração.

Proeminência do tópico na ciência (topic prominence in science): combina três métricas para indicar o momento alto de um Tópico: (a) Contagem de Citações (Citation Count) no ano 2017 para artigos publicados em 2017 e 2016, (b) Contagem de Visualizações (Scopus Views Count) no ano 2017 para artigos publicados em 2017 e 2016 e (c) Média (Average) Citescore no ano de 2017. Pode ser aplicado ao Mundo, a Regiões, País, Instituições, Grupos de Pesquisa e Pesquisadores. 

Publicações nos percentis top de periódicos (publications in top journal percentis): Indicam até que ponto as publicações estão presentes nos periódicos mais citados na fonte de dados. Isso calcula quantas publicações estão no topo 1%, 5%, 10% ou 25% dos periódicos indexados mais citados. Os periódicos mais citados são definidos pelas métricas relacionadas aos periódicos nas bases de dados (Web of Science, Scopus). Observe que o período de tempo não se refere ao ano em que as citações foram recebidas, mas ao ano em que os resultados foram produzidos. Essa métrica é útil para avaliar os pesquisadores, independentemente das diferenças de tamanho e dos perfis disciplinares (áreas de conhecimento), e para mostrar a presença de publicações em periódicos percebidos como os mais prestigiados do mundo.

Colaboração (collaboration): Indica o número de publicações de uma instituição, grupo ou pesquisador produzidas em coautoria internacional, nacional ou institucional, e autoria única. Inclui colaboração acadêmico-acadêmica, acadêmico-corporativa, acadêmico-governamental e acadêmico-médico.

Porcentagem de Internacionalização (% internacionalization): baseia-se na contagem do número de países dos autores e co-autores de itens publicados.

Impacto das colaborações (collaboration impact): Indica o impacto de citação de uma instituição a partir das publicações produzidas em colaboração com autores de diferentes origens geográficas: quantas citações de publicações em co-autoria a instituição recebeu em nível internacional, nacional, ou institucionalmente? Autorias únicas também são contabilizadas.

Impacto das colaborações acadêmico-corporativas (academic-corporate collaboration impact): Indica o impacto de citação de publicações de uma instituição com ou sem colaboração tanto acadêmica quanto corporativa.

Impacto econômico (economic impact): Indica o número de patentes que citaram publicações de uma instituição, isto é, referências de publicações citadas em patentes dos cinco maiores escritórios de patentes do mundo.

Contagem de periódicos (journal count): Indica a diversidade do portfólio de publicações de uma instituição: em quantos periódicos distintos indexados na Base de Dados Scopus ou Web of Science as publicações de uma instituição apareceram.

Contagem de periódicos por categoria (journal count by category): Indica a diversidade disciplinar do portfólio de uma instituição, ou seja, em quantas categorias distintas de periódicos as publicações dessa instituição apareceram.

Número de países citantes (citing countries): Indica a visibilidade geográfica das publicações de uma instituição: a partir de quantos países distintos as publicações de uma instituição receberam citações?

Periódicos mais citados em um campo de conhecimento (most frequently cited journals in a field) – refere-se à classificação/ranking de periódicos mais frequentemente citados em uma dada área de aconhecimento ou assunto.

Periódicos de maior impacto em um campo de conhecimento (highest impact journals in a field) – refere-se à classificação/ranking de periódicos mais citados em uma dada área de aconhecimento ou assunto.

Autocitação em periódicos (journal “self citations“) – Uma auto-citação é uma referência a um artigo do mesmo periódico. As auto-citações podem constituir uma parte significativa das citações que um periódico faz e recebe a cada ano. 

Índice de Imediaticidade (imediaticity index): Mensura o quão imediatamente um artigo de uma revista é citado logo após ter sido publicado.

Pontuação Eigenfactor (Eigenfactor score): Baseia-se no número de citações a artigos publicados em revistas nos últimos 5 anos (ano JCR), considera também a importância do periódico onde a citação foi realizada de tal modo que revistas mais influentes (mais citados) têm um maior peso que os revistas menos influentes. 

Pontuação de influência do artigo (article influence score): Mede a importância relativa de uma revista a partir do número de artigos citados que aparecem no JCR. Uma pontuação superior a 1,00 indica que cada artigo publicado na revista tem influência acima da média. Uma pontuação inferior a 1,00 indica que cada artigo publicado na revista tem influência abaixo da média.

Meia vida ou vida média (half-life): Mede quantos anos depois um artigo publicado em um periódico ainda é citado. Varia de acordo com as características da área de conhecimento, seus padrões de pesquisa e publicação. Geralmente, a meia vida é inversamente proporcional ao fator de impacto. 

CiteScore: mensura o impacto da citação de títulos em série, como periódicos. Os títulos de série são definidos como títulos que publicam regularmente (ou seja, um ou mais volumes por ano). O CiteScore calcula o número médio de citações recebidas em um ano por todos os itens publicados nesse periódico nos três anos anteriores. O ano atribuído é determinado pelas datas de cobertura, e não as datas em que os fascículos foram disponibilizadas online – desde 2011. (Métrica Scopus).

SNIP – Source Normalized Impact per Paper: Mede o impacto de citações contextualizadas por revistas ponderando citações com base no número total de citações em um campo de assunto. Ajuda a fazer comparações diretas entre periódicos em diferentes áreas de assunto número total de citações referente a uma área de pesquisa. (Métrica Scopus)

SJR – SCImago Journal Rank: Métrica de prestígio baseada na reputação do periódico, o que resulta em maior valor da citação. (Métrica Scopus)

IPP – Impact per Publication: Mede as citações por artigo publicado em uma revista no período de 3 anos. (Métrica Scopus)

Indicador de desempenho agregado (aggregate performance indicator): O indicador de desempenho agregado mede o impacto de uma instituição ou do país em relação a uma taxa de citação esperada para a instituição ou país. O indicador é normalizado para as diferenças nas taxas de citação de um determinado campo de conhecimento, bem como diferenças de tamanho entre instituições e períodos de tempo.

Citações esperadas por categoria (category expected citations): Número médio de citações recebidas por artigos de um mesmo tipo publicados em revistas de mesma categoria (área de conhecimento) e data. Se um periódico é atribuído a mais de uma categoria, utiliza-se a média das categorias.

Contagem de visualizações (view count): baseia-se no número de visualizações dos usuários de resumos (abstracts) dos documentos indexados na base de dados SciVal. 

Visualizações por publicação (views per publication): baseia-se no número de visualizações dos usuários de resumos (abstracts) por documento indexado na Base de Dados SciVal. 

Impacto das visualizações ponderado pelo campo de conhecimento (field weighted views impact): baseia-se na média mundial esperada de visualizações para o campo de conhecimento/assunto, tipo de publicação e ano de publicação. 

Produção relativa ao país/território (output relative to country/territory): Produção em áreas específicas em relação ao impacto para todo o país / território em todas as áreas

Impacto das citações relativo ao país/território (impact relative to country/territory):Impacto em áreas específicas em relação ao impacto para todo o país / território em todas as áreas (um valor superior a 1 indica que o impacto do país / região na área de motivo selecionado é melhor do que o impacto médio do País /território em todas as áreas)

Impacto relativo ao mundo (impact relative to world): A percentagem de documentos que foram citados em relação ao número total de documentos citados no mundo (um valor maior do que 1 indica que o impacto é melhor do que a média para o mundo – baseline).

Métricas Alternativas

Altmetric  | Plum  Analytics | ImpactStory

Analisam o impacto de um documento por meio da quantidade de compartilhamento em redes sociais, Twitter, Blogs dentre outros.

Métricas Snowball

Representam padrões globais de métricas criadas por instituições de pesquisa e editoras que permitem o benchmarking institucional e cobrem todo o espectro de atividades de pesquisa. As metodologias acordadas e testadas estão disponíveis gratuitamente para serem utilizadas por qualquer organização. https://www.snowballmetrics.com/

Bibliografia utilizada

InCites Indicators Handbook. Disponível em: <http://ipscience-help.thomsonreuters.com/inCites2Live/indicatorsGroup/aboutHandbook.html> Acesso em: 18 julho 2019.

Scival Metrics Handbook. Disponível em: <https://www.elsevier.com/research-intelligence/resource-library/scival-metrics-guidebook> Acesso em: 18 julho 2019.

SciVal User Guide. Disponível em: <https://www.scival.com/help/downloads/SciVal_user_guide.pdf> Acesso em: 18 julho 2019.

Nota técnica: As definições apresentadas baseiam-se em informações traduzidas e compiladas de várias fontes, incluindo interpretações de bibliotecários do Sistema Integrado de Bibliotecas da Universidade de São Paulo (SIBiUSP). O uso das informações é livre e aberto a todos os interessados, desde que citada a fonte: SIBiUSP. 

Fonte: https://www.sibi.usp.br/?p=39373 

Mecanismos de autocorreção da ciência

Relatório propõe ações para reduzir quantidade de trabalhos científicos que não são confirmados em estudos posteriores.

Um relatório divulgado no mês passado pelas Academias Nacionais de Ciências, Engenharia e Medicina dos Estados Unidos forneceu bases objetivas para ampliar a credibilidade do trabalho dos cientistas, com foco na redução da quantidade de pesquisas cujos resultados acabam não sendo confirmados em estudos posteriores. Intitulado “Reprodutibilidade e replicabilidade na ciência”, o documento de 196 páginas foi encomendado pela National Science Foundation, principal agência de fomento à ciência básica norte-americana, e é fruto de um ano e meio de discussões promovidas por um comitê multidisciplinar composto por 13 pesquisadores.

De acordo com o médico Harvey Fineberg, ex-diretor da Escola de Saúde Pública da Universidade Harvard e presidente do comitê que elaborou o relatório, a confirmação de resultados científicos em estudos subsequentes é um mecanismo de autocorreção da ciência consagrado e de importância essencial. “Mas fatores como falta de transparência na notificação de dados, ausência de treinamento adequado e erros metodológicos podem impedir que pesquisadores reproduzam ou repliquem um estudo”, disse o médico. “Órgãos de financiamento à pesquisa, revistas, instituições acadêmicas, formuladores de políticas e os próprios cientistas têm um papel a desempenhar na melhoria da reprodutibilidade e replicabilidade, garantindo que os pesquisadores sigam práticas de padrão elevado, compreendam e expressem a incerteza inerente às suas conclusões e continuem a fortalecer a rede interconectada de conhecimento científico, que é o principal impulsionador do progresso no mundo moderno”, afirmou Fineberg, no lançamento do documento.

Para produzir um conjunto de recomendações dirigido a pesquisadores, instituições e agências de fomento, os membros do comitê consideraram necessário, em primeiro lugar, definir de forma precisa o significado dos termos “reprodutibilidade” e “replicabilidade”, que nem sempre são bem compreendidos. O conceito de reprodutibilidade, segundo o relatório, vincula-se à capacidade de alcançar os mesmos resultados de um estudo partindo de premissas idênticas, ou seja, as bases de dados do trabalho original. Desse modo, o problema tem uma dimensão estritamente computacional, em que o essencial é ter acesso ao conjunto de informações e saber como foram armazenadas e analisadas.

A recomendação principal do relatório consiste em disponibilizar de forma transparente não apenas os dados que embasaram o trabalho inicial como também os métodos, códigos, modelos, algoritmos e softwares utilizados para chegar ao resultado – pode ser útil saber até mesmo qual foi o sistema operacional e a arquitetura de hardware que ampararam a realização do estudo. O documento faz sugestões adicionais, como garantir treinamento adequado para pesquisadores sobre práticas de pesquisa computacionais, prover meios a fim de que grandes conjuntos de dados sejam preservados e disponibilizados para estudos subsequentes e investir em projetos de pesquisa para ampliar os limites da ciência da computação de modo a melhorar a capacidade de verificar a robustez de trabalhos científicos. Também propõe que revistas científicas reforcem políticas e ações que facilitem a confirmação dos experimentos descritos em seus artigos. “Os periódicos poderiam criar o posto de editor de reprodutibilidade para supervisionar esse trabalho”, disse a engenheira espacial Lorena Barba, da Universidade George Washington, em Washington, que participou do comitê multidisciplinar.

Já o conceito de replicabilidade tem mais nuanças. Pressupõe a possibilidade de alcançar respostas convergentes para determinada pergunta científica, mas partindo de bases de dados independentes. Um estudo pode não ser replicável por razões variadas. Quando a causa é fraude ou viés, os casos em geral se relacionam com má conduta. Mas o problema também pode acontecer em decorrência de incertezas inerentes às pesquisas e, nessas situações, não se pode dizer, necessariamente, que o estudo original estivesse errado. “Devido a variabilidades na natureza ou limitações de dispositivos de medição, os resultados são avaliados de forma probabilística e o processo de descoberta científica é incapaz de entregar uma verdade absoluta”, diz o relatório, que aponta uma das funções principais dos estudos de replicabilidade: “Afirmações científicas ganham uma probabilidade maior ou menor de serem verdadeiras dependendo dos resultados de pesquisas que as confirmem”.

Constatação valiosa

De acordo com o documento, a constatação de que um experimento não é replicável pode inclusive ser valiosa para a ciência, ao detectar efeitos desconhecidos ou fontes de variabilidade não avaliadas. Se não é possível evitar que isso aconteça, tentar reduzir a quantidade de ocorrências é importante para evitar desperdício de tempo e de recursos. Por isso, o relatório sugere aos pesquisadores que divulguem seus achados de modo mais cuidadoso e criterioso. “Eles devem ter o cuidado de estimar e explicar a incerteza associada aos seus resultados, de fazer uso adequado de métodos estatísticos e de descrever seus procedimentos e dados de maneira clara e completa”, afirma o documento, que também recomenda evitar exageros na divulgação dos resultados para não gerar falsas expectativas.

Os responsáveis pelo relatório criticam a ênfase exagerada conferida ao chamado valor de p, uma medida que representa a probabilidade de o efeito observado dever-se ao acaso e não aos fatores que estão sendo estudados. Um valor de p menor ou igual a 0,05 é utilizado frequentemente como um indicador de significância estatística, pois sugere que os resultados são robustos. É preciso avaliar, segundo o comitê, todo um conjunto de parâmetros, como as distribuições das observações e medidas como proporções e desvios-padrão, a fim de avaliar o vigor dos dados e as incertezas contidas neles.

Para ampliar a confiança em resultados de pesquisa, o relatório sugere que sejam avaliadas evidências acumuladas em diversos trabalhos científicos – o que permite saber até que ponto resultados encontrados podem ser generalizados – em vez de contentar-se com a verificação de estudos isolados. Da mesma forma, recomenda a autoridades e formuladores de políticas públicas que evitem a armadilha de desacreditar ou descartar uma conclusão corroborada por diversos trabalhos apenas porque surgiu uma evidência isolada refutando o resultado conhecido. Harvey Fineberg considera exagerada a ideia corrente de que a ciência vive uma crise de credibilidade resultante de uma escalada no número de pesquisas irreproduzíveis ou irreplicáveis. “Não existe uma crise. Mas também não há mais tempo para ser complacente com o problema”, disse.

Fonte: https://revistapesquisa.fapesp.br/2019/06/07/mecanismos-de-autocorrecao-da-ciencia