As métricas de desempenho das publicações científicas são importantes para pesquisadores e universidades que visam progredir e acompanhar a produtividade e impacto de suas pesquisas.
O uso de indicadores e métricas de produção científica tornou-se prática rotineira na avaliação da qualidade e desempenho das atividades de pesquisa em renomadas universidades de pesquisa. No esteio dessa demanda, a análise bibliométrica e cientométrica realizada por meio de indicadores tem se tornado cada vez mais popular, juntamente com ferramentas analíticas de produção científica como o InCites e o SciVal .
Ferramentas analíticas
- InCites (Clarivate Analytics) é uma plataforma online de avaliação de pesquisa personalizada e baseada em citações, que tem como fonte de dados a Base Web of Science. Permite realizar análises de produtividade e impacto científico, comparar resultados com outras instituições, aferir o desempenho de pesquisadores, pesquisas financiadas. Faça seu registro para utilizar. Saiba mais sobre o InCites.
- SciVal (Elsevier) possui um portfólio de ferramentas de análise de indicadores de produção científica, que tem como fonte de dados o Scopus e o Science Direct. Permite realizar análises bibliométricas da produção científica de uma determinada instituição, país, região, autor ou grupos de autores, ou ainda em revistas, desde que o material esteja indexado na base de dados Scopus. Faça seu registro para utilizar. Saiba mais sobre o SciVal. Consulte também o Flyer do SciVal em português.
Consulte antes a lista de Indicadores e Métricas preparada pela equipe do Sistema Integrado de Bibliotecas da USP para saber o significado das métricas e como são utilizadas.
Indicadores e Métricas
Produção científica (scholarly outputs): Número total acumulado de itens publicados em um dado período. Mede o volume, a produtividade: quantas publicações foram produzidas por um autor, grupo de pesquisadores, instituição, país ou conjunto de países em dado período. É possível também obter o número total acumulado de publicações de acordo com cada área de conhecimento ou disciplina em um determinado período de tempo.
Contagem de citações (citation count): Indica o total de citações que as publicações de um autor, instituição ou país acumularam ao longo de um determinado período. As diferenças na contagem de citações entre fontes de dados são devidas a diferentes coberturas (título e datas) do banco de dados (Scopus ou Web of Science). O número de citações recebidas não se refere ao ano em que a citação foi recebida e sim ao ano em que o resultado foi publicado. As métricas de contagem de citações são úteis para comparar a visibilidade onde os pesquisadores são de campos ou disciplinas similares e com duração similar de carreira.
Citações por publicação (citation per publication): Indica o número de citações recebidas por artigo/trabalho publicado. Indica o impacto médio de citação de cada uma das publicações de uma instituição ou autor: quantas citações as publicações de uma instituição ou autor receberam, em média.
Índice H (h-index): Indica um equilíbrio entre a produtividade (produção científica) e impacto de citação (contagem de citações) de publicações de uma instituição ou pesquisador. Tem sido utilizado também para revistas. Por exemplo, um índice h de 12 indica que, no conjunto de dados, 12 artigos foram citados pelo menos 12 vezes cada um.
Impacto de citação (citation impact): é calculado dividindo o número total de citações recebidas pelo número total de publicações. O impacto da citação mostra o número médio de citações que um documento recebeu em um dado período. O impacto de citação tem sido amplamente utilizado como um indicador bibliométrico na avaliação do desempenho de pesquisa e pode ser aplicado em todos os níveis organizacionais (autor, instituição, país / região, campo de pesquisa ou periódico). No entanto, há limites para o indicador, pois ignora o volume total da produção científica. Por exemplo, o Pesquisador A tem apenas uma publicação que recebeu 50 citações, enquanto o Pesquisador B publicou 10 documentos que receberam 200 citações. O Pesquisador A tem um maior impacto de Citação (50) do que o Pesquisador B (20), embora o Pesquisador B tenha publicado mais documentos e tenha recebido mais citações em geral. No nível do campo de conhecimento, o impacto da citação de certas disciplinas é muitas vezes maior do que em outros campos científicos devido a características próprias de cada área como frequência e volume de publicações e citações. Por esse motivo, é preciso ter cuidado ao utilizar esse indicador. (Fonte: InCites Help).
Impacto de citação ponderado por campo [de conhecimento] (Field-weighted citation impact): Indica como o número de citações recebidas por publicações de uma instituição se compara com o número médio de citações recebidas por todas as outras publicações similares no universo de dados independente da área de conhecimento. Métrica utilizada pelo Scopus. Um impacto de citação ponderada no campo de mais de 1,00 indica que as publicações foram citadas mais do que seria esperado com base na média mundial de publicações semelhantes, por exemplo, uma pontuação de 1,44 significa que as saídas foram citadas 44% mais vezes do que o esperado. Um impacto de citação ponderada no campo (FWCI) de menos de 1,00 indica que as publicações foram citadas menos do que seria esperado com base na média mundial de publicações similares, por exemplo, uma pontuação de 0,85 significa 15% menos citada do que a média mundial. A Web of Science refere-se a essa métrica como impacto de citação normalizada (Normalized citation impact).
Fator de impacto do periódico (journal impact factor): Mede quantas vezes um artigo foi citado em relação ao total de artigos publicados em um periódico/revista em um período de dois anos, no ano em curso. (Métrica Web of Science).
Fator de impacto do periódico sem auto-citações (journal impact factor without self cites): é o mesmo que journal impact factor, mas com uma importante exceção: Quaisquer citações para uma publicação que provêm da própria publicação (ou seja, auto-citações) são excluídas do cálculo.
Fator de impacto do periódico em 5 anos (5-year journal impact factor): É o número médio de vezes que os artigos de um periódico publicado nos últimos cinco anos têm sido citados no ano no Journal Citation Reports (JCR). É calculado dividindo o número de citações no ano JCR pelo número total de artigos publicados nos cinco anos anteriores. (Métrica Web of Science).
Produção nos top percentis (outputs in the top percentiles): Indica o grau em que publicações de uma instituição, grupo ou país estão presentes nos percentis mais citados de um universo de dados: quantas produções estão no topo de 1%, 5%, 10% ou 25% das publicações mais citadas? Observe que o período de tempo não se refere ao ano em que as citações foram recebidas, mas ao ano em que os resultados foram produzidos. Essa métrica também pode ser usada para distinguir pesquisadores cujo desempenho parece similar quando visto por outras métricas, como Produção Científica, Citações por publicação ou Colaboração.
Proeminência do tópico na ciência (topic prominence in science): combina três métricas para indicar o momento alto de um Tópico: (a) Contagem de Citações (Citation Count) no ano 2017 para artigos publicados em 2017 e 2016, (b) Contagem de Visualizações (Scopus Views Count) no ano 2017 para artigos publicados em 2017 e 2016 e (c) Média (Average) Citescore no ano de 2017. Pode ser aplicado ao Mundo, a Regiões, País, Instituições, Grupos de Pesquisa e Pesquisadores.
Publicações nos percentis top de periódicos (publications in top journal percentis): Indicam até que ponto as publicações estão presentes nos periódicos mais citados na fonte de dados. Isso calcula quantas publicações estão no topo 1%, 5%, 10% ou 25% dos periódicos indexados mais citados. Os periódicos mais citados são definidos pelas métricas relacionadas aos periódicos nas bases de dados (Web of Science, Scopus). Observe que o período de tempo não se refere ao ano em que as citações foram recebidas, mas ao ano em que os resultados foram produzidos. Essa métrica é útil para avaliar os pesquisadores, independentemente das diferenças de tamanho e dos perfis disciplinares (áreas de conhecimento), e para mostrar a presença de publicações em periódicos percebidos como os mais prestigiados do mundo.
Colaboração (collaboration): Indica o número de publicações de uma instituição, grupo ou pesquisador produzidas em coautoria internacional, nacional ou institucional, e autoria única. Inclui colaboração acadêmico-acadêmica, acadêmico-corporativa, acadêmico-governamental e acadêmico-médico.
Porcentagem de Internacionalização (% internacionalization): baseia-se na contagem do número de países dos autores e co-autores de itens publicados.
Impacto das colaborações (collaboration impact): Indica o impacto de citação de uma instituição a partir das publicações produzidas em colaboração com autores de diferentes origens geográficas: quantas citações de publicações em co-autoria a instituição recebeu em nível internacional, nacional, ou institucionalmente? Autorias únicas também são contabilizadas.
Impacto das colaborações acadêmico-corporativas (academic-corporate collaboration impact): Indica o impacto de citação de publicações de uma instituição com ou sem colaboração tanto acadêmica quanto corporativa.
Impacto econômico (economic impact): Indica o número de patentes que citaram publicações de uma instituição, isto é, referências de publicações citadas em patentes dos cinco maiores escritórios de patentes do mundo.
Contagem de periódicos (journal count): Indica a diversidade do portfólio de publicações de uma instituição: em quantos periódicos distintos indexados na Base de Dados Scopus ou Web of Science as publicações de uma instituição apareceram.
Contagem de periódicos por categoria (journal count by category): Indica a diversidade disciplinar do portfólio de uma instituição, ou seja, em quantas categorias distintas de periódicos as publicações dessa instituição apareceram.
Número de países citantes (citing countries): Indica a visibilidade geográfica das publicações de uma instituição: a partir de quantos países distintos as publicações de uma instituição receberam citações?
Periódicos mais citados em um campo de conhecimento (most frequently cited journals in a field) – refere-se à classificação/ranking de periódicos mais frequentemente citados em uma dada área de aconhecimento ou assunto.
Periódicos de maior impacto em um campo de conhecimento (highest impact journals in a field) – refere-se à classificação/ranking de periódicos mais citados em uma dada área de aconhecimento ou assunto.
Autocitação em periódicos (journal “self citations“) – Uma auto-citação é uma referência a um artigo do mesmo periódico. As auto-citações podem constituir uma parte significativa das citações que um periódico faz e recebe a cada ano.
Índice de Imediaticidade (imediaticity index): Mensura o quão imediatamente um artigo de uma revista é citado logo após ter sido publicado.
Pontuação Eigenfactor (Eigenfactor score): Baseia-se no número de citações a artigos publicados em revistas nos últimos 5 anos (ano JCR), considera também a importância do periódico onde a citação foi realizada de tal modo que revistas mais influentes (mais citados) têm um maior peso que os revistas menos influentes.
Pontuação de influência do artigo (article influence score): Mede a importância relativa de uma revista a partir do número de artigos citados que aparecem no JCR. Uma pontuação superior a 1,00 indica que cada artigo publicado na revista tem influência acima da média. Uma pontuação inferior a 1,00 indica que cada artigo publicado na revista tem influência abaixo da média.
Meia vida ou vida média (half-life): Mede quantos anos depois um artigo publicado em um periódico ainda é citado. Varia de acordo com as características da área de conhecimento, seus padrões de pesquisa e publicação. Geralmente, a meia vida é inversamente proporcional ao fator de impacto.
CiteScore: mensura o impacto da citação de títulos em série, como periódicos. Os títulos de série são definidos como títulos que publicam regularmente (ou seja, um ou mais volumes por ano). O CiteScore calcula o número médio de citações recebidas em um ano por todos os itens publicados nesse periódico nos três anos anteriores. O ano atribuído é determinado pelas datas de cobertura, e não as datas em que os fascículos foram disponibilizadas online – desde 2011. (Métrica Scopus).
SNIP – Source Normalized Impact per Paper: Mede o impacto de citações contextualizadas por revistas ponderando citações com base no número total de citações em um campo de assunto. Ajuda a fazer comparações diretas entre periódicos em diferentes áreas de assunto número total de citações referente a uma área de pesquisa. (Métrica Scopus)
SJR – SCImago Journal Rank: Métrica de prestígio baseada na reputação do periódico, o que resulta em maior valor da citação. (Métrica Scopus)
IPP – Impact per Publication: Mede as citações por artigo publicado em uma revista no período de 3 anos. (Métrica Scopus)
Indicador de desempenho agregado (aggregate performance indicator): O indicador de desempenho agregado mede o impacto de uma instituição ou do país em relação a uma taxa de citação esperada para a instituição ou país. O indicador é normalizado para as diferenças nas taxas de citação de um determinado campo de conhecimento, bem como diferenças de tamanho entre instituições e períodos de tempo.
Citações esperadas por categoria (category expected citations): Número médio de citações recebidas por artigos de um mesmo tipo publicados em revistas de mesma categoria (área de conhecimento) e data. Se um periódico é atribuído a mais de uma categoria, utiliza-se a média das categorias.
Contagem de visualizações (view count): baseia-se no número de visualizações dos usuários de resumos (abstracts) dos documentos indexados na base de dados SciVal.
Visualizações por publicação (views per publication): baseia-se no número de visualizações dos usuários de resumos (abstracts) por documento indexado na Base de Dados SciVal.
Impacto das visualizações ponderado pelo campo de conhecimento (field weighted views impact): baseia-se na média mundial esperada de visualizações para o campo de conhecimento/assunto, tipo de publicação e ano de publicação.
Produção relativa ao país/território (output relative to country/territory): Produção em áreas específicas em relação ao impacto para todo o país / território em todas as áreas
Impacto das citações relativo ao país/território (impact relative to country/territory):Impacto em áreas específicas em relação ao impacto para todo o país / território em todas as áreas (um valor superior a 1 indica que o impacto do país / região na área de motivo selecionado é melhor do que o impacto médio do País /território em todas as áreas)
Impacto relativo ao mundo (impact relative to world): A percentagem de documentos que foram citados em relação ao número total de documentos citados no mundo (um valor maior do que 1 indica que o impacto é melhor do que a média para o mundo – baseline).
Métricas Alternativas
Analisam o impacto de um documento por meio da quantidade de compartilhamento em redes sociais, Twitter, Blogs dentre outros.
Representam padrões globais de métricas criadas por instituições de pesquisa e editoras que permitem o benchmarking institucional e cobrem todo o espectro de atividades de pesquisa. As metodologias acordadas e testadas estão disponíveis gratuitamente para serem utilizadas por qualquer organização. https://www.snowballmetrics.com/
Bibliografia utilizada
Nota técnica: As definições apresentadas baseiam-se em informações traduzidas e compiladas de várias fontes, incluindo interpretações de bibliotecários do Sistema Integrado de Bibliotecas da Universidade de São Paulo (SIBiUSP). O uso das informações é livre e aberto a todos os interessados, desde que citada a fonte: SIBiUSP.
Produção nos top percentis (outputs in the top percentiles): Indica o grau em que publicações de uma instituição, grupo ou país estão presentes nos percentis mais citados de um universo de dados: quantas produções estão no topo de 1%, 5%, 10% ou 25% das publicações mais citadas? Observe que o período de tempo não se refere ao ano em que as citações foram recebidas, mas ao ano em que os resultados foram produzidos. Essa métrica também pode ser usada para distinguir pesquisadores cujo desempenho parece similar quando visto por outras métricas, como Produção Científica, Citações por publicação ou Colaboração.
