21/02/2024, 15:53 lddkls211_pen_cie

NÃO PODE FALTAR

QUAIS MÉTRICAS SÃO UTILIZADAS NA PESQUISA?

0
Amanda Soares de Melo

seõçatona reV
Fonte: Shutterstock.

Deseja ouvir este material?

Áudio disponível no material digital.

PRATICAR PARA APRENDER

Caro estudante,

O conhecimento científico desfruta de grande prestígio na sociedade em virtude da

alta confiabilidade do conhecimento científico. Com a democratização do fazer
científico, a construção de universidades, agências e centros de pesquisa, a
literatura científica expandiu enormemente, tornando a comunicação científica um
nicho de mercado altamente rentável. A pressão por publicações decorrente da
concorrência do campo científico produziu um efeito negativo sobre a qualidade
das publicações.

A fim de organizar esse volume de publicações, filtrando as boas e más produções

científicas, surgiram os indicadores e indexadores, por meio dos quais
conseguimos ter uma base dos periódicos e pesquisadores mais relevantes em
determinado campo de conhecimento. Como você sabe, conhecer a literatura
científica estabelecida de uma área é importante no início de qualquer pesquisa,
tanto para fundamentá-la, quanto para extrair as questões que merecem uma
investigação mais profunda.

Conhecendo indicadores e indexadores, você estará mais próximo de encontrar as

produções científicas mais relevantes para sua área de estudo. Geralmente, as
boas pesquisas também possuem boas fundamentações teóricas. Tais plataformas
também dispõem de redes e mídias sociais de colaboração que podem auxiliar no
processo de comunicação entre você e pesquisadores de todo o mundo.

[Link] 1/9
21/02/2024, 15:53 lddkls211_pen_cie

Um parecerista contratado por uma agência de fomento à pesquisa é responsável

pela análise técnica de dois projetos de pesquisa que buscam financiamento. O
parecerista deve analisar não apenas os objetivos e a relevância de cada pesquisa,
mas também o currículo acadêmico desses pesquisadores.

0
As tabelas a seguir apresentam respectivamente a produção de cada pesquisador.

seõçatona reV
Pesquisador A

Artigos Nº de Citações

Artigo 1 30

Artigo 2 28

Artigo 3 20

Artigo 4 10

Artigo 5 4

Pesquisador B

Artigos Nº de Citações

Artigo 1 59

Artigo 2 45

Artigo 3 39

Artigo 4 2

Artigo 5 1

Considerando os dados apresentados, indique qual é o índice H de cada

pesquisador e qual deveria ser o pesquisador contemplado com o financiamento
da pesquisa.

“
Não há ensino sem pesquisa e pesquisa sem ensino.
— Paulo Freire

CONCEITO-CHAVE
INDICADORES E MÉTRICAS NA PESQUISA CIENTÍFICA
Depois de desenvolver a pesquisa, entramos no campo da comunicação científica.
É o dever de todo pesquisador divulgar os resultados de sua pesquisa a fim de
contribuir com o avanço daquela área de conhecimento. Além disso, as
publicações servem como um indicador de produtividade científica do
pesquisador, o que pode se transformar tanto em oportunidades e
reconhecimento acadêmico, quanto em obtenção de maior apoio financeiro para
as pesquisas da área.

[Link] 2/9
21/02/2024, 15:53 lddkls211_pen_cie

A forma de comunicação mais usual dos resultados de uma pesquisa é através da

publicação de artigos científicos, que são publicados em periódicos ou anais de
eventos científicos e acadêmicos.

0
Os primeiros periódicos (revistas) foram criados em 1665 e, com o passar do
tempo, o número de periódicos só cresceu. Atualmente, há um grande número de

seõçatona reV
periódicos, o que desencadeou grandes volumes de artigos de baixa qualidade.
Por essa razão, foram desenvolvidos métricas e indicadores capazes de auxiliar na
avaliação da qualidade de um periódico ou de um pesquisador, de forma a separar
o joio do trigo.

É importante que os pesquisadores analisem cuidadosamente o periódico que

pretendem publicar, e os indicadores de qualidade podem ajudar nesse processo.
A avaliação da qualidade do trabalho de um pesquisador ou periódico usualmente
se dá com o auxílio de uma análise bibliométrica realizada por indicadores.
Adicionalmente, existem ferramentas analíticas de produção científica, como
InCites, SciVal, VantagePoint e Google Scholar Metrics.

De acordo com a Agência USP de Gestão da Informação Acadêmica (AGUIA), os

principais indicadores de qualidade da pesquisa científica são:

a. Produção científica (scholary outputs): esse indicador mede volume e

produtividade, mostrando o número total de itens publicados em um dado
período, por exemplo.

b. Contagem de citações (citation count): esse indicador mede o total de citações

que um autor, uma instituição ou um país acumulou durante um período, e
têm como uma das vantagens a comparação dos pesquisadores entre si.

c. Citações por publicação (citation per publication): esse indicador mostra o

número de citações de um artigo ou trabalho. Indica também uma média do
impacto das citações.

d. Índice H (h-index): esse indicador é um dos mais utilizados atualmente, ele

mede o equilíbrio entre a produtividade e o impacto das citações. O índice
pode ser calculado manualmente, ordenando as publicações com o número de
suas citações de forma decrescente. O índice é o ponto de encontro entre a
quantidade de publicação com o número de citações. Exemplo, o Índice-H 8
significa que um autor tem, no mínimo, 8 artigos publicados e estes receberam
pelo menos 8 citações cada um.

e. Impacto de citação (citation impact): esse indicador mostra o número médio de

citações que um artigo recebeu em um período, ele é calculado pela divisão do
número total de citações pelo número total de publicações.

f. Impacto de citação ponderado por área de conhecimento (field-weighted

citation impact): esse indicador tem a vantagem de comparar publicações
similares em termos de citação, por exemplo, se a publicação se sobressai ou
não em relação à média das citações das publicações nesse campo.

g. Fator de impacto do periódico (journal impact factor): esse indicador mostra

quantas vezes o artigo foi citado em relação ao total de trabalhos já publicados

[Link] 3/9
21/02/2024, 15:53 lddkls211_pen_cie

pelo periódico em determinado período de tempo.

h. Fator de impacto do periódico sem autocitações (journal impact factor without

self cites): esse indicador adiciona uma exceção ao anterior – as citações que

0
provém de outros trabalhos do pesquisador são excluídas do cálculo.

seõçatona reV
i. Fator de impacto do periódico em 5 anos (five year journal impact factor): esse
indicador mostra o número de vezes que os trabalhos de um periódico têm
sido citados no ano, de acordo com o JCR (Journal Citation Reports).

j. Produção no top percentis (outputs in the top percentiles): esse indicador

mostra o grau em que as publicações estão presentes em termos percentis no
universo de dados analisado. Ele mostra, por exemplo, quantas publicações de
um grupo, instituição ou país estão no topo de 1%, 10% ou 25% dos trabalhos
mais citados. Esse indicador também serve para comparar pesquisadores que
possuem índices semelhantes pelos fatores anteriores.

k. Colaboração (collaboration): esse indicador mostra o número de publicações de

uma instituição, pesquisador ou grupo que são produzidas com coautoria.
Autorias únicas podem ser contabilizadas.

l. Impacto das colaborações (collaboration impact): esse indicador mostra o

impacto da citação de uma publicação em colaboração, por exemplo, quantas
citações recebeu em nível nacional, internacional etc.

Além dos indicadores, temos ferramentas analíticas digitais que podem ser úteis
para mensurar a qualidade das pesquisas. O Incites é uma plataforma on-line de
avaliação de citações e tem como base de dados o Web of Science. O SciVal
também é uma ferramenta de análise que tem como base o Scopus e o Science
Direct. O VantagePoint é uma ferramenta de mineração e análise de dados que
realiza análises bibliométricas bastando que se tenha a base de dados. O Publish
ou Perish é um software gratuito que analisa os dados do Google Scholar obtendo
várias estatísticas sobre o impacto das pesquisas. Por fim, o Google Scholar Metrics
é uma das ferramentas mais conhecidas e fácil de utilizar para avaliar rapidamente
a visibilidade e a influência de produções na ciência.

ASSIMILE

O uso de indicadores de produção científica tem sido muito utilizado na

avaliação da qualidade de pesquisadores e produções acadêmicas. As
análises bibliométricas realizadas por meio de indicadores são utilizadas
também para fomento de recursos às pesquisas científicas.

ALTMETRIAS NA CIÊNCIA
Há formas de bibliometrias não tradicionais que surgem como alternativas ou
complementos às métricas tradicionais. Chamadas de altmetrias (altmetrics), não
são baseadas em contagens de citações, mas sim no impacto acadêmico medido
com base nas pesquisas on-line, mídias sociais, mídias on-line etc.

O surgimento da altmetria pode ser explicado por fatores como: a insatisfação com
os medidores tradicionais de impacto das pesquisas científicas; a ampliação das
ferramentas de rede e das formas de comunicação como um todo; a carência de

[Link] 4/9
21/02/2024, 15:53 lddkls211_pen_cie

filtros para a seleção de informações relevantes; o movimento open access, que

visa democratizar o acesso aos resultados das pesquisas científicas.

Tais ferramentas analisam a quantidade de compartilhamentos em redes sociais,

0
como Facebook, Twitter, Blogs etc., citações, menções, comentários, curtidas,
downloads, tagueamento, visualizações, notícias etc. A altmetria se preocupa com

seõçatona reV
o debate e a repercussão das publicações científicas em toda a sociedade; nesse
sentido é importante compreender como os resultados das pesquisas têm sido
vistos e utilizados. São algumas delas:

a. Altmetric: é uma empresa que rastreia onde as pesquisas publicadas são

mencionadas, fornecendo formas de monitorar as publicações no meio digital.

b. Impactstory: é uma ferramenta de código aberto que ajuda os pesquisadores a

medir o impacto dos resultados de pesquisa em periódicos, blogs, base de
dados etc.

c. Plum Analytics: é uma empresa de altimetria, pertencente à Elsevier, que

realiza a mensuração de artigos e trabalhos acadêmicos considerando uma
ampla base de dados.

Como acontece com os outros indicadores, cabe lembrar que a altmetria não
mede de maneira automática a qualidade de um artigo científico, mas auxilia no
processo de avaliação do impacto deste. Artigos bem citados e publicados em
periódicos relevantes têm uma grande chance de serem bons. Todavia, é possível
existir casos de artigos citados repetidamente pelo fato de terem cometidos
grandes erros, o que mostra que uma análise da qualidade dos artigos apenas por
indicadores de citações nem sempre é confiável. Sendo assim, para medir de fato a
qualidade de um artigo é indispensável uma análise rigorosa sobre o seu
conteúdo, metodologia e resultados.

REFLITA

A expressão “publish or perish” (publique ou pereça) é uma expressão

comum utilizada para exemplificar a pressão por publicações no meio
científico. Em sua visão, quais são as principais vantagens e desvantagens
de um ambiente competitivo na produção de conhecimento científico?

MARKETING CIENTÍFICO DIGITAL

Com as redes de internet, as formas de comunicação passaram por grandes
transformações. Devido à grande presença de pessoas on-line, cresceu a
necessidade de que a comunicação científica chegue nesses espaços. Dada essas
novas necessidades, novas práticas de publicação das pesquisas e de mensuração
de relevância têm sido adotadas no mundo todo, levando à criação da ciência 2.0.

A ciência 2.0 é pensada a partir da aplicação das tecnologias de redes sociais nos
processos de produção do conhecimento científico, em especial, no processo de
comunicação científica.

Com o objetivo de melhorar a comunicação científica nesses espaços e seu

engajamento, surgiram iniciativas como o marketing científico digital. O marketing
científico digital é uma modalidade de marketing que está sendo utilizada para

[Link] 5/9
21/02/2024, 15:53 lddkls211_pen_cie

auxiliar no processo de consumo do conhecimento científico. Dessa maneira, ele é

utilizado para alavancar uma boa imagem da ciência e de seus resultados
(produtos), tendo como um dos fins a ampliação da confiança e do investimento
nas pesquisas científicas.

0
Segundo Araújo (2015), o marketing científico busca uma adesão ampla pelo

seõçatona reV
público do discurso científico, a promoção e divulgação dos trabalhos visando o
reconhecimento das pesquisas em diversos âmbitos e a projeção de autores a fim
de conquistarem o prestígio e a visibilidade.

As estratégias de marketing científico digital são definidas com base no tipo de

imagem que se quer transmitir para o público-alvo. De acordo com Araújo (2015),
os pesquisadores, os editores e as instituições que buscam o marketing científico
precisam observar três fatores indispensáveis:

a. A presença on-line: é importante que os interessados visem o alcance de um

público amplo. Criar blogs ou perfis em mídias sociais são ações que auxiliam
nesse objetivo.

b. Oferecimento de um conteúdo adequado ao ambiente: o conteúdo a ser

transmitido nas redes deve ser criativo e a linguagem adequada à mídia social
em questão.

c. Atuação responsiva: é necessário que se atente à interação com os usuários

consumidores do conteúdo para que se tenha um bom desempenho no
ambiente digital. Sugere-se a criação de espaços de participação e colaboração
pelos usuários.

VISIBILIDADE CIENTÍFICA
Dada a importância das redes de internet no mundo atual, a visibilidade nestas
redes tem sido cada vez mais almejada pelo impacto social que gera tanto na
ampliação do debate acadêmico quanto na popularização da ciência. Todavia no
âmbito da comunicação científica digital cabe diferenciar as diferentes expressões
e modalidades de divulgação.

Por comunicação científica, entende-se a produção e circulação de dados sobre a

ciência, tecnologia e inovação. Em geral, a comunicação científica se destina a um
público especializado, de modo que ela se dirige aos periódicos, eventos
acadêmicos etc., e geralmente possui a linguagem formal utilizada nas pesquisas.

Por divulgação científica, entende-se um processo de difusão de informação

científica ao público mais amplo, especializada em um público leigo. Dessa
maneira, o discurso e a linguagem científica são adequados para atender esse
público, pois há a necessidade de tradução de termos científicos para termos de
entendimento mais popular; o objetivo é fazer com a audiência entenda o
assunto.

Por jornalismo científico, entende-se uma publicação que é produzida e tratada

por profissionais de jornalismos que têm acesso a dados das pesquisas científicas.
O objetivo muitas vezes é comunicar em meios de comunicação de massa a
informação científica de interesse público, todavia, há casos em que as pesquisas

[Link] 6/9
21/02/2024, 15:53 lddkls211_pen_cie

são tratadas com sensacionalismos e distorcidas, visando apenas uma maior

audiência e engajamento do público. Por meio desses canais, os cientistas podem
buscar a visibilidade de suas pesquisas. Além disso, um fator que tem contribuído
para o aumento da visibilidade são as redes de colaboração entre os cientistas.

0
Atualmente, há uma tendência crescente do processo de internacionalização da

seõçatona reV
ciência que é percebida como uma forma de melhoria na qualidade de
conhecimento produzido e de democratização da produção científica. Essa
internacionalização tem sido expressa a partir da participação de autores de
outros países nas publicações regionais (coautoria), da difusão dos resultados das
pesquisas em outros idiomas e periódicos internacionais e, também, na
mensuração dos impactos das publicações internacionais que mostram a
influência das pesquisas em outros países. Uma expressão de suas vantagens está
na contestação realizada por estudos de que o número de citações das publicações
que envolvam pesquisadores de diferentes países é superior quando comparado
ao número de citações das publicações estritamente nacionais (GHENO, 2020).

EXEMPLIFICANDO

O indicador impacto da citação é calculado dividindo o número total de

citações obtidas pelo número total de publicações. O IC mostra o número
médio de citações que uma publicação recebeu em determinado período
de tempo. Entretanto, o indicador ignora o volume total da produção e isso
pode causar distorções. Exemplo, o pesquisador X publica um artigo que
obtém 50 citações. Por sua vez, o pesquisador Y publica 10 artigos com
receberam 200 citações. No cálculo do impacto de citação, o pesquisador X
tem um maior número que o pesquisador Y, mesmo que ele tenha
publicado mais.

Esse caso ilustra que é preciso ter cuidado na interpretação e no uso dos
indicadores.

Assegurar a qualidade da produção científica é parte constitutiva de sua

credibilidade. Tão fundamental quanto conhecer as etapas da produção científica é
saber encontrar produções de qualidade. Os indicadores e as ferramentas digitais
altimétricas estão disponíveis para nos auxiliar com essa tarefa.

FAÇA A VALER A PENA

Questão 1
Os indicadores de produção científica surgiram da necessidade cada vez mais
crescente de avaliar a qualidade de pesquisadores e produções acadêmicas para
fins de reconhecimento e mérito acadêmico, bem como avaliação comparativa
para fomento de recursos às pesquisas científicas.

Assinale a alternativa que contém um indicador de produção científica.

a. Scholary Count.

b. Citation per count.

c. Scholary Impact.

[Link] 7/9
21/02/2024, 15:53 lddkls211_pen_cie

d. Citation Impact.

e. Ten year scholary impact.

Questão 2

0
As redes de internet provocaram enormes transformações na comunicação

seõçatona reV
humana e afetaram também a forma como se dá o reconhecimento da produção
científica, isso porque a insatisfação com os medidores tradicionais de impacto de
pesquisas levou a um movimento que buscava incluir as redes de internet como
formas legítimas de mensuração de impacto das produções científicas.

Assinale a alternativa que nomeia a forma alternativa de bibliometria que o texto

se refere:

a. Scholar Metrics.

b. Altmetrics.

c. Open Access.

d. Scientific Analytics.

e. Paywall.

Questão 3
A comunicação on-line se consagrou como uma das formas de comunicação mais
importantes do nosso século. A comunidade científica percebeu a necessidade de
ocupar esse espaço, ampliando as formas de divulgação científica para as redes
sociais. O marketing científico digital surge para aumentar a visibilidade da ciência
e dos pesquisadores nas redes de internet.

Assinale a alternativa que contém três fatores a serem observados, considerando

uma estratégia de marketing científico digital:

a. Presença on-line, oferecimento de conteúdo inadequado ao ambiente e atuação responsiva.

b. Presença off-line, oferecimento de conteúdo adequado ao ambiente e atuação interativa.

c. Presença on-line, oferecimento de conteúdo inadequado ao ambiente e atuação prescritiva.

d. Presença off-line, oferecimento de conteúdo adequado ao ambiente e atuação interativa.

e. Presença on-line, oferecimento de conteúdo adequado ao ambiente e atuação responsiva.

REFERÊNCIAS
Agência USP de Gestão da Informação Acadêmica (AGUIA). Indicadores e
Métricas. Publicado em novembro, 2016. Disponível em: [Link]
Acesso em: 10 dez. 2020.

ARAÚJO, R. F. Marketing científico digital e métricas alternativas para periódicos: da

visibilidade ao engajamento. Perspectivas em Ciência da Informação, v. 20, n. 3,
p. 67-84, 2015.

[Link] 8/9
21/02/2024, 15:53 lddkls211_pen_cie

GHENO, E. M. et al. Impacto da internacionalização na visibilidade da produção

científica do Programa de Pós-Graduação em Ciências Biológicas:
BIOQUÍMICA/UFRGS (2007-2016). Encontros Bibli: revista eletrônica de
biblioteconomia e ciência da informação, v. 25, p. 01-25, 2020.

0
seõçatona reV

[Link] 9/9