Rankings of universities, repercussions on scientific journals, and the number of citations: some say that such criteria are old-fashioned to evaluate the quality of scientific production, and that they are even an obstacle to scientific progress. Switzerland wants to help implement alternatives; a task that is easier said than done.
1
The current obsession with quantitative measures of excellence is not only detrimental to scientific progress and its impact on society, but also stressful to scientists, critics argue
(Keystone)
According to a recent report from the Swiss Scientific CouncilLink external https://www.swir.ch/en/publications-ssc (CCS), various scientific activities such as the employment of researchers, the publication of articles, and public or private investment have increased significantly in recent decades. This growth has, in turn, brought about an unprecedented level of competition for emblems of scientific success such as funding, awards, academic positions and positions in renowned journals, among others.
With increasing pressure to "publish or perish," quantitative criteria for scientific success are increasingly gaining weight (see box), and are often based on citations from a publication and on the impact factor of a scientific journal, which may further increase the incentive that researchers have to publish.
Common quantitative criteria for scientific evaluation a standardized numerical classification calculated using the number of scientific articles published by a researcher, and the number of times in which his articles were cited. Although its aim is to show a scientist's productivity and the impact on his field, critics say that Index H is too simplistic and can not be compared across the different areas of science.
Periodic Impact Factor External Link (FIP): It is used to classify journals by their importance in their respective areas. The FIP is calculated based on the average number of times articles published by a journal have been cited in the last two years. FIP is a simple method of comparison, but it has its shortcomings: it does not evaluate the quality of the article, it can not always compare across different areas, and can be skewed by articles that are few and far between.
Universities rankings Classification can be done based on the transfer of knowledge and quotations, as well as on the performance of teachers . As more universities have struggled for access to resources, scientists and students, global rankings have become an increasingly useful tool for assessing the quality and impact of these organizations. However, according to an external UNESCOLink report, these rankings create incentives for institutions to focus excessively on high-impact research to improve their placement, to the detriment of their educational and social responsibilities.
It is a "paradox" of modern science, said the president of the Swiss Academies of Arts and Sciences, Antonio Loprieno, at a recent conference in BernaLink abroad.
"On the one hand, the use of contemporary measures of scientific performance has increased exponentially along with the increase in resources, which for us is a very good thing. On the other hand, we have reservations about its fairness, validity and applicability, "said Loprieno.
To respond to these criticisms, the CCS published recommendations for the Swiss scientific community with a view to changing the way in which the Council evaluates and finances research, notably through the use of qualitative indicators as a complement (and not a substitute) to quantitative indicators.
"In recent years, [quantitative] indicators have been progressively used as a substitute for qualitative assessment; a practice that has given researchers wrong incentives and threatened scientific quality, "the report says.
"A national strategy that takes into account the diversity of disciplines and institutional requirements for a differentiated assessment should be promoted."
More than just a number
The overemphasis on quantitative criteria, critics say, leads to a deterioration in the scientific rigor itself that these measures are supposed to promote; not to mention the tremendous stress it implies for the scientists themselves.
"According to Google, my is 48, which means that I have 48 articles that have at least 48 citations. I do not like being reduced to a mere number, but there are people on this planet who think about me in terms of a mere number, "said Stephen Curry, a lecturer at the Bern conference and professor of structural biology at Imperial College London.
"You can use numbers to characterize some aspects, but science is fundamentally a human activity. One can not simply measure excellence in science; this should be a matter of judgment, discussion and expert opinion. "
Curry heads the executive committee of the San Francisco Declaration on Research Assessment one of many recent efforts to rethink how science itself is assessed and to identify new guidelines for evaluating researchers and institutions more holistically but still efficiently enough to keep science going.
Quantifying quality
Critics also argue that quantitative indicators with the H index are prone to distortions by lack of transparency in their calculation and application. For them, these quantitative criteria discourage diverse high-risk research and large returns in favor of conformism and uniformity.
For Ellen Hazelkorn, director of the Policy Research Unit at the Dublin Institute of Technology, these quantitative criteria are particularly problematic in an age where science is for everyone, not just the few members of an elite in their towers. ivory.
"At a time when research is seen as having value and impact beyond the academy, it is no longer the pursuit of an individual's intellectual curiosity but rather [must be] balanced by social and national priorities," Hazelkorn said.
She added that classification criteria as institutional rankings - for example, the Higher Education World University which is received with much expectation annually by the public - are "largely unsuited to a highly participatory society" because they address responsibility only within the academic sphere, not in society as a whole.
Rankings are easy to understand, but their indicators of success increase the levels of inequality and stratification in our societies, which in turn has implications for public goods. "
Simplicity also forms a large part of the appeal of individual evaluation criteria or journals such as citation counting and the periodic impact factor, says Curry. "Quantitative criteria are easy to calculate; they have a seductive pseudo-objectivity, and make our lives easier. "
Pressure and prestige
But at what cost? As Curry explained, focusing too much on these instruments may even slow down scientific progress by encouraging researchers to submit their work to the most prestigious journals, which increases the likelihood of rejection or even retraction of the article, which can also undermine the public's confidence in science.
In addition, by restricting academic interest to prestigious publications, other important activities such as teaching, communication, extension and training of young scientists are underestimated and may even be impaired.
Today, DORA has been signed by approximately 14,000 individuals and organizations. The Leiden of 2015 also gained influence in the academic community. Both documents call for a reduction in the use of quantitative criteria, or at least their use in conjunction with other qualitative criteria focusing on scientific content.
Emerging Alternatives
Science is still growing rapidly, and everyone wants to be excellent. But in the case of the reality of scientific practice, as more holistic and possibly more time-consuming methods of evaluation, can they resist the temptation to use "quick and low" criteria?
For Sarah de Rijcke, deputy director of the Center for Science and Technology Studies (CWTS) at the University of Leiden in the Netherlands - the cradle of the Leiden Manifesto - a response lies in what she calls a "portfolio approach" to evaluate science; an approach that could be adapted to a given situation, institution or researcher.
"Universal solutions are not very effective," de Rijcke said, because the kinds of research most favored by traditional methods of assessment vary across disciplines. On the contrary, for a given context of evaluation, it recommends generic principles to create a "standardized narrative" that unites the scientist's specialization, its production (publications, academic appropriations, teaching and even social media) and influence in science and society.
The DORA committee also lists examples of such approaches on its website; for example, by asking researchers to summarize their best publications and contributions in their own words in the form of a "biographical summary external link" https://sfdora.org/good-practices/funders/ (biosketch).
Stephen Curry noted that the trend of the global scientific community (also observed in Switzerland towards free access should also accelerate changes in evaluation criteria, since free access journals and digital files pre-publication / (pre-print archives) can encourage a greater emphasis on content and transparency compared to traditional subscription periodicals.
Swiss responsibility
Loprieno told swissinfo.ch that Switzerland has an international obligation to carry out the change, given the abundance of its resources and flexibility in administrative requirements when compared to other European countries.
"I think that because we have such a well-funded system, we also have a certain responsibility to the rest of the world. Switzerland can try or try solutions more actively to see how to overcome the difficulties of the current system, "he said.
One of the biggest challenges, he added, will be to ensure that young scientists early in their careers have adequate support during the transition to more diverse evaluation criteria.
"My solution would be to have a little more tolerance for long-term projects. We tend to support and finance in the short term, which has to do with this competitive logic. If we were to finance from a long-term perspective, this would reduce the pressure in the early stages of the [academic] career and create a more egalitarian system. "
Lopriano recognizes that a change of this magnitude in the research culture is easier said than done, which is not to say that it is impossible.
"This is also a culture we want to review. We need to start somehow, somewhere, "he said.
Adaptation: D.v.Sperling
"Eu só quero pensar no futuro e não ficar triste." Elon Musk.
-
"I just want to think about the future and not be sad." Elon Musk.
This report is guaranteed to verify the address of the LINK above
Say no to fake News!
-
Esta reportagem tem a garantia de apuração do endereço do LINK acima.
Diga não às fake news!
-
Culture is not what enters the eyes and ears,
but what modifies the way of looking and hearing
-
Cultura não é o que entra nos olhos e ouvidos,
mas o que modifica a maneira de olhar e ouvir
--br
Como os cientistas estão redefinindo o sucesso.
Rankings de universidades, repercussão em periódicos científicos e o número de citações: há quem diga que tais critérios são antiquados para avaliar a qualidade da produção científica, e que são até um obstáculo para o progresso científico. A Suíça quer ajudar a implementar alternativas; uma tarefa que é mais fácil dita do que feita.
1
A obsessão atual por medidas quantitativas de excelência não é apenas prejudicial ao progresso científico e seu impacto na sociedade, mas também estressante para os cientistas, argumentam os críticos
(Keystone)
De acordo com um relatório recente do Conselho Científico Suíço (CCS), atividades científicas diversas como o emprego de pesquisadores, a publicação de artigos, e o investimento público ou privado têm aumentado significativamente nas últimas décadas. Este crescimento causou, por sua vez, um nível de competição sem precedentes por emblemas do sucesso científico como financiamento, prêmios, posições acadêmicas e cargos em periódicos de renome, entre outros.
Com a crescente pressão para “publicar ou perecer”, critérios quantitativos de sucesso científico recebem cada vez mais peso (ver quadro), e frequentemente se baseiam nas citações de uma publicação e no fator de impacto de um periódico científico o que pode aumentar ainda mais o incentivo que pesquisadores têm para publicar.
Critérios quantitativos comuns para avaliação científica
Índice Huma classificação numérica padronizada calculada usando-se o número de artigos científicos publicados por um pesquisador, e o número de vezes em que seus artigos foram citados. Apesar de seu objetivo ser mostrar a produtividade de um cientista e o impacto em seu campo, críticos dizem que o Índice H é demasiado simplista e não pode ser comparado através das distintas áreas da ciência.
Fator de impacto de periódicoLink externo (FIP): É usado para classificar periódicos por sua importância em suas respectivas áreas. O FIP é calculado com base no número médio de vezes que os artigos publicados por um periódico foram citados nos últimos dois anos. O FIP é um método simples de comparação, mas tem suas deficiências: ele não avalia a qualidade do artigo, nem sempre pode comparar através de diferentes áreas, e pode ser enviesado por artigos que embora sejam poucos, são muito citados.
Rankings de universidades A classificação pode ser feita com base na transferência de conhecimentos e citações, bem como no desempenho dos professores. Como mais universidades têm lutado por acesso a recursos, cientistas e estudantes, rankings globais se tornaram um instrumento cada vez mais útil para avaliar a qualidade e o impacto destas organizações. No entanto, segundo relatório da UNESCOLink externo, estes rankings criam incentivos para que as instituições se concentrem excessivamente em pesquisa de alto impacto para melhorar sua colocação, em detrimento de suas responsabilidades educacionais e sociais.
Trata-se de um “paradoxo” da ciência moderna, afirmou o presidente das Academias Suíças de Artes e Ciências, Antonio Loprieno, em uma recente conferência em Berna
“Por um lado, o uso de medidas contemporâneas de desempenho científico aumentou exponencialmente juntamente com o aumento de recursos, o que para nós é algo muito bom. Por outro lado, temos reservas quanto à sua justiça, validade e aplicabilidade”, disse Loprieno.
Para responder a essas críticas, o CCS publicou recomendações para a comunidade científica suíça com vistas a mudar a forma pela qual o Conselho avalia e financia pesquisa, notadamente através da utilização de indicadores qualitativos como complemento (e não substituto) aos indicadores quantitativos.
“Nos últimos anos, indicadores [quantitativos] têm sido progressivamente usados como substituto para a avaliação qualitativa; uma prática que tem dado incentivos errados aos pesquisadores e ameaçado a qualidade científica”, afirma o relatório.
“Uma estratégia nacional que leve em conta a diversidade de disciplinas e requisitos institucionais para uma avaliação diferenciada deveria ser promovida”.
Mais do que apenas um número
A ênfase excessiva em critérios quantitativos, dizem os críticos, leva à deterioração do próprio rigor científico que essas medidas deveriam supostamente promover; sem mencionar o tremendo estresse que implica para os próprios cientistas.
“Segundo o Google, meu Índice H é 48, o que significa que eu tenho 48 artigos que têm pelo menos 48 citações. Eu não gosto de ser reduzido a um mero número, mas existem pessoas nesse planeta que pensam sobre mim em termos de um mero número”, disse Stephen Curry, um dos palestrantes na conferência de Berna e professor de biologia estrutural no Imperial College de Londres.
“Você pode usar números para caracterizar alguns aspectos, mas a ciência é fundamentalmente uma atividade humana. Não se pode simplesmente medir a excelência na ciência; isso deve ser uma questão de juízo, discussão e opinião de especialistas”.
Curry chefia o comitê executivo da Declaração de São Francisco sobre Avaliação de Pesquisa (DORA um dos muitos esforços recentes de repensar como a própria ciência é avaliada e de identificar novas diretrizes para avaliar pesquisadores e instituições de forma mais holística, mas ainda com eficiência suficiente para manter o avanço da ciência.
Quantificando a qualidade
Críticos também argumentam que indicadores quantitativos com o índice H são propensos a distorções pela falta de transparência quanto a seu calculo e aplicação. Para eles, esses critérios quantitativos desencorajam pesquisa diversa de alto risco e grandes retornos em favor do conformismo e da uniformidade.
Para Ellen Hazelkorn, diretora da Unidade de Pesquisa sobre Política de Educação no Instituto de Tecnologia de Dublin, esses critérios quantitativos são particularmente problemáticos em uma época onde a ciência é para todos, e não apenas para os poucos membros de uma elite em suas torres de marfim.
“No momento em que a pesquisa é vista como tendo valor e impacto além da academia, ela deixa de ser a busca da curiosidade intelectual de um indivíduo, mas sim [deve ser] equilibrada por prioridades sociais e nacionais”, disse Hazelkorn.
Ela acrescentou que critérios de classificação como rankings institucionais - por exemplo, o Higher Education World University Rankings que é recebido com muita expectativa anualmente pelo público – são “largamente inadequados para uma sociedade altamente participativa” porque eles tratam da responsabilidade apenas dentro da esfera acadêmica, e não na sociedade como um todo.
Rankings são de fácil compreensão, mas seus indicadores de sucesso aumentam os níveis de desigualdade e estratificação em nossas sociedades, o que por sua vez tem implicações para os bens públicos”.
Simplicidade também constitui grande parte do apelo de critérios de avaliação individual ou de periódicos tais como a contagem de citações e o fator de impacto de periódicos, diz Curry. “Critérios quantitativos são fáceis de serem calculados; eles têm uma pseudo-objetividade sedutora, e facilitam nossas vidas”.
Pressão e prestígio
Mas a que custo? Como Curry explicou, concentrar-se demasiado nesses instrumentos pode até desacelerar o progresso científico ao encorajar que pesquisadores submetam seu trabalho aos periódicos de maior prestígio possível, o que aumenta a possibilidade de rejeição ou até mesmo de retratação do artigo, o que também pode minar a confiança do público na ciência.
Ademais, ao restringir o interesse acadêmico a publicações de prestígio, outras atividades importantes como ensino, comunicação, extensão e treinamento de jovens cientistas são subestimadas, podendo ser até prejudicadas.
Hoje, DORA foi assinado por aproximadamente 14.000 indivíduos e organizações. O Manifesto de LeidenLink externo
http://www.leidenmanifesto.org/ de 2015 também ganhou influência na comunidade acadêmica. Ambos os documentos exortam à redução da utilização de critérios quantitativos, ou pelo menos sua utilização em conjunto com outros critérios qualitativos centrados no conteúdo científico.
Alternativas emergentes
A ciência ainda está crescendo rapidamente, e todos querem ser excelentes. Mas em se tratando da realidade da prática científica, como métodos de avaliação mais holísticos, e possivelmente mais demorados, podem resistir à tentação de se utilizar critérios “rápidos e rasteiros”?
Para Sarah de Rijcke, vice-diretora do Centro de Estudos de Ciência e Tecnologia (CWTS) da Universidade de Leiden, na Holanda - o berço do Manifesto de Leiden -, uma resposta está no que ela chama de "abordagem de portfólio" para avaliar ciência; uma abordagem que poderia ser adaptada a uma dada situação, instituição ou investigador.
“Soluções universais não são muito efetivas”, disse de Rijcke, porque os tipos de pesquisa mais favorecidas pelos métodos tradicionais de avaliação variam entre disciplinas. Ao contrário, para um dado contexto de avaliação, ela recomenda princípios genéricos para se criar uma “narrativa padronizada” que una a especialização do cientista, sua produção (publicações, dotações acadêmicas, ensino e até mídia social) e influência na ciência e sociedade.
O comitê DORA também lista exemplos de tais abordagens em seu website; por exemplo, ao pedir que pesquisadores sumarizem suas melhores publicações e contribuições em suas próprias palavras no formato de um “sumário biográfico (biosketch).
Stephen Curry observou que a tendência da comunidade científica global (também observada na Suíça em direção ao acesso livre também deverá acelerar mudanças nos critérios de avaliação, já que periódicos de acesso livre e arquivos digitais pré-publicação (pre-print archives) podem encorajar uma maior ênfase no conteúdo e na transparência em comparação a periódicos tradicionais por assinatura.
Responsabilidade suíça
Loprieno disse para swissinfo.ch que a Suíça tem uma obrigação internacional de levar adiante a mudança, dada a abastança de seus recursos e flexibilidade nos requisitos administrativos quando comparada a outros países europeus.
“Eu penso que como temos um sistema tão bem financiado, nós também temos certa responsabilidade com o resto do mundo. A Suíça pode experimentar ou tentar soluções de forma mais ativa para ver como superar as dificuldades do sistema atual”, disse ele.
Um dos maiores desafios, ele acrescentou, será assegurar que jovens cientistas no início de suas carreiras tenham apoio adequado durante a transição para critérios de avaliação mais diversos.
“Minha solução seria termos um pouco mais de tolerância para projetos de longo prazo. Temos a tendência de apoiar e financiar no curto prazo, o que tem a ver com esta lógica competitiva. Se financiássemos com uma perspectiva de longo prazo, isso reduziria a pressão nos estágios iniciais da carreira [acadêmica] e criaria um sistema mais igualitário”.
Lopriano reconhece que uma mudança dessa magnitude na cultura da pesquisa é mais fácil dita do que feita, o que não significa dizer que seja impossível.
“Esta é também uma cultura que queremos rever. Precisamos então começar de alguma maneira, em algum lugar”, disse ele.
Adaptação: D.v.Sperling
Rankings de universidades, repercussão em periódicos científicos e o número de citações: há quem diga que tais critérios são antiquados para avaliar a qualidade da produção científica, e que são até um obstáculo para o progresso científico. A Suíça quer ajudar a implementar alternativas; uma tarefa que é mais fácil dita do que feita.
1
A obsessão atual por medidas quantitativas de excelência não é apenas prejudicial ao progresso científico e seu impacto na sociedade, mas também estressante para os cientistas, argumentam os críticos
(Keystone)
De acordo com um relatório recente do Conselho Científico Suíço (CCS), atividades científicas diversas como o emprego de pesquisadores, a publicação de artigos, e o investimento público ou privado têm aumentado significativamente nas últimas décadas. Este crescimento causou, por sua vez, um nível de competição sem precedentes por emblemas do sucesso científico como financiamento, prêmios, posições acadêmicas e cargos em periódicos de renome, entre outros.
Com a crescente pressão para “publicar ou perecer”, critérios quantitativos de sucesso científico recebem cada vez mais peso (ver quadro), e frequentemente se baseiam nas citações de uma publicação e no fator de impacto de um periódico científico o que pode aumentar ainda mais o incentivo que pesquisadores têm para publicar.
Critérios quantitativos comuns para avaliação científica
Índice Huma classificação numérica padronizada calculada usando-se o número de artigos científicos publicados por um pesquisador, e o número de vezes em que seus artigos foram citados. Apesar de seu objetivo ser mostrar a produtividade de um cientista e o impacto em seu campo, críticos dizem que o Índice H é demasiado simplista e não pode ser comparado através das distintas áreas da ciência.
Fator de impacto de periódicoLink externo (FIP): É usado para classificar periódicos por sua importância em suas respectivas áreas. O FIP é calculado com base no número médio de vezes que os artigos publicados por um periódico foram citados nos últimos dois anos. O FIP é um método simples de comparação, mas tem suas deficiências: ele não avalia a qualidade do artigo, nem sempre pode comparar através de diferentes áreas, e pode ser enviesado por artigos que embora sejam poucos, são muito citados.
Rankings de universidades A classificação pode ser feita com base na transferência de conhecimentos e citações, bem como no desempenho dos professores. Como mais universidades têm lutado por acesso a recursos, cientistas e estudantes, rankings globais se tornaram um instrumento cada vez mais útil para avaliar a qualidade e o impacto destas organizações. No entanto, segundo relatório da UNESCOLink externo, estes rankings criam incentivos para que as instituições se concentrem excessivamente em pesquisa de alto impacto para melhorar sua colocação, em detrimento de suas responsabilidades educacionais e sociais.
Trata-se de um “paradoxo” da ciência moderna, afirmou o presidente das Academias Suíças de Artes e Ciências, Antonio Loprieno, em uma recente conferência em Berna
“Por um lado, o uso de medidas contemporâneas de desempenho científico aumentou exponencialmente juntamente com o aumento de recursos, o que para nós é algo muito bom. Por outro lado, temos reservas quanto à sua justiça, validade e aplicabilidade”, disse Loprieno.
Para responder a essas críticas, o CCS publicou recomendações para a comunidade científica suíça com vistas a mudar a forma pela qual o Conselho avalia e financia pesquisa, notadamente através da utilização de indicadores qualitativos como complemento (e não substituto) aos indicadores quantitativos.
“Nos últimos anos, indicadores [quantitativos] têm sido progressivamente usados como substituto para a avaliação qualitativa; uma prática que tem dado incentivos errados aos pesquisadores e ameaçado a qualidade científica”, afirma o relatório.
“Uma estratégia nacional que leve em conta a diversidade de disciplinas e requisitos institucionais para uma avaliação diferenciada deveria ser promovida”.
Mais do que apenas um número
A ênfase excessiva em critérios quantitativos, dizem os críticos, leva à deterioração do próprio rigor científico que essas medidas deveriam supostamente promover; sem mencionar o tremendo estresse que implica para os próprios cientistas.
“Segundo o Google, meu Índice H é 48, o que significa que eu tenho 48 artigos que têm pelo menos 48 citações. Eu não gosto de ser reduzido a um mero número, mas existem pessoas nesse planeta que pensam sobre mim em termos de um mero número”, disse Stephen Curry, um dos palestrantes na conferência de Berna e professor de biologia estrutural no Imperial College de Londres.
“Você pode usar números para caracterizar alguns aspectos, mas a ciência é fundamentalmente uma atividade humana. Não se pode simplesmente medir a excelência na ciência; isso deve ser uma questão de juízo, discussão e opinião de especialistas”.
Curry chefia o comitê executivo da Declaração de São Francisco sobre Avaliação de Pesquisa (DORA um dos muitos esforços recentes de repensar como a própria ciência é avaliada e de identificar novas diretrizes para avaliar pesquisadores e instituições de forma mais holística, mas ainda com eficiência suficiente para manter o avanço da ciência.
Quantificando a qualidade
Críticos também argumentam que indicadores quantitativos com o índice H são propensos a distorções pela falta de transparência quanto a seu calculo e aplicação. Para eles, esses critérios quantitativos desencorajam pesquisa diversa de alto risco e grandes retornos em favor do conformismo e da uniformidade.
Para Ellen Hazelkorn, diretora da Unidade de Pesquisa sobre Política de Educação no Instituto de Tecnologia de Dublin, esses critérios quantitativos são particularmente problemáticos em uma época onde a ciência é para todos, e não apenas para os poucos membros de uma elite em suas torres de marfim.
“No momento em que a pesquisa é vista como tendo valor e impacto além da academia, ela deixa de ser a busca da curiosidade intelectual de um indivíduo, mas sim [deve ser] equilibrada por prioridades sociais e nacionais”, disse Hazelkorn.
Ela acrescentou que critérios de classificação como rankings institucionais - por exemplo, o Higher Education World University Rankings que é recebido com muita expectativa anualmente pelo público – são “largamente inadequados para uma sociedade altamente participativa” porque eles tratam da responsabilidade apenas dentro da esfera acadêmica, e não na sociedade como um todo.
Rankings são de fácil compreensão, mas seus indicadores de sucesso aumentam os níveis de desigualdade e estratificação em nossas sociedades, o que por sua vez tem implicações para os bens públicos”.
Simplicidade também constitui grande parte do apelo de critérios de avaliação individual ou de periódicos tais como a contagem de citações e o fator de impacto de periódicos, diz Curry. “Critérios quantitativos são fáceis de serem calculados; eles têm uma pseudo-objetividade sedutora, e facilitam nossas vidas”.
Pressão e prestígio
Mas a que custo? Como Curry explicou, concentrar-se demasiado nesses instrumentos pode até desacelerar o progresso científico ao encorajar que pesquisadores submetam seu trabalho aos periódicos de maior prestígio possível, o que aumenta a possibilidade de rejeição ou até mesmo de retratação do artigo, o que também pode minar a confiança do público na ciência.
Ademais, ao restringir o interesse acadêmico a publicações de prestígio, outras atividades importantes como ensino, comunicação, extensão e treinamento de jovens cientistas são subestimadas, podendo ser até prejudicadas.
Hoje, DORA foi assinado por aproximadamente 14.000 indivíduos e organizações. O Manifesto de LeidenLink externo
http://www.leidenmanifesto.org/ de 2015 também ganhou influência na comunidade acadêmica. Ambos os documentos exortam à redução da utilização de critérios quantitativos, ou pelo menos sua utilização em conjunto com outros critérios qualitativos centrados no conteúdo científico.
Alternativas emergentes
A ciência ainda está crescendo rapidamente, e todos querem ser excelentes. Mas em se tratando da realidade da prática científica, como métodos de avaliação mais holísticos, e possivelmente mais demorados, podem resistir à tentação de se utilizar critérios “rápidos e rasteiros”?
Para Sarah de Rijcke, vice-diretora do Centro de Estudos de Ciência e Tecnologia (CWTS) da Universidade de Leiden, na Holanda - o berço do Manifesto de Leiden -, uma resposta está no que ela chama de "abordagem de portfólio" para avaliar ciência; uma abordagem que poderia ser adaptada a uma dada situação, instituição ou investigador.
“Soluções universais não são muito efetivas”, disse de Rijcke, porque os tipos de pesquisa mais favorecidas pelos métodos tradicionais de avaliação variam entre disciplinas. Ao contrário, para um dado contexto de avaliação, ela recomenda princípios genéricos para se criar uma “narrativa padronizada” que una a especialização do cientista, sua produção (publicações, dotações acadêmicas, ensino e até mídia social) e influência na ciência e sociedade.
O comitê DORA também lista exemplos de tais abordagens em seu website; por exemplo, ao pedir que pesquisadores sumarizem suas melhores publicações e contribuições em suas próprias palavras no formato de um “sumário biográfico (biosketch).
Stephen Curry observou que a tendência da comunidade científica global (também observada na Suíça em direção ao acesso livre também deverá acelerar mudanças nos critérios de avaliação, já que periódicos de acesso livre e arquivos digitais pré-publicação (pre-print archives) podem encorajar uma maior ênfase no conteúdo e na transparência em comparação a periódicos tradicionais por assinatura.
Responsabilidade suíça
Loprieno disse para swissinfo.ch que a Suíça tem uma obrigação internacional de levar adiante a mudança, dada a abastança de seus recursos e flexibilidade nos requisitos administrativos quando comparada a outros países europeus.
“Eu penso que como temos um sistema tão bem financiado, nós também temos certa responsabilidade com o resto do mundo. A Suíça pode experimentar ou tentar soluções de forma mais ativa para ver como superar as dificuldades do sistema atual”, disse ele.
Um dos maiores desafios, ele acrescentou, será assegurar que jovens cientistas no início de suas carreiras tenham apoio adequado durante a transição para critérios de avaliação mais diversos.
“Minha solução seria termos um pouco mais de tolerância para projetos de longo prazo. Temos a tendência de apoiar e financiar no curto prazo, o que tem a ver com esta lógica competitiva. Se financiássemos com uma perspectiva de longo prazo, isso reduziria a pressão nos estágios iniciais da carreira [acadêmica] e criaria um sistema mais igualitário”.
Lopriano reconhece que uma mudança dessa magnitude na cultura da pesquisa é mais fácil dita do que feita, o que não significa dizer que seja impossível.
“Esta é também uma cultura que queremos rever. Precisamos então começar de alguma maneira, em algum lugar”, disse ele.
Adaptação: D.v.Sperling
--alemão via tradutor do google
Wie Wissenschaftler den Erfolg neu definieren.
Rankings der Universitäten, Auswirkungen auf wissenschaftliche Zeitschriften und die Anzahl der Zitationen: Einige sagen, dass solche Kriterien zur Beurteilung der Qualität der wissenschaftlichen Produktion altmodisch sind und sogar den wissenschaftlichen Fortschritt behindern. Die Schweiz will helfen, Alternativen zu implementieren; eine Aufgabe, die leichter gesagt als getan wird.
1
Kritiker argumentieren, dass die derzeitige Besessenheit mit quantitativen Exzellenzmaßstäben nicht nur dem wissenschaftlichen Fortschritt und seinen Auswirkungen auf die Gesellschaft abträglich ist, sondern auch eine Belastung für Wissenschaftler darstellt
(Keystone)
Laut einem aktuellen Bericht des Swiss Scientific Council (CCS) haben diverse wissenschaftliche Aktivitäten wie die Beschäftigung von Forschern, die Veröffentlichung von Artikeln sowie öffentliche oder private Investitionen in den letzten Jahrzehnten stark zugenommen. Dieses Wachstum hat wiederum zu einem beispiellosen Wettbewerb um Embleme mit wissenschaftlichem Erfolg geführt, wie beispielsweise Finanzierung, Preise, akademische Positionen und Positionen in renommierten Zeitschriften.
Angesichts des wachsenden Drucks, "zu veröffentlichen oder zu verderben", werden quantitative Kriterien für den wissenschaftlichen Erfolg immer wichtiger (siehe Kasten) und basieren oft auf Zitaten aus einer Veröffentlichung und auf dem Einflussfaktor einer wissenschaftlichen Zeitschrift, was den Anreiz weiter erhöhen kann die Forscher veröffentlichen müssen.
Gemeinsame quantitative Kriterien für die wissenschaftliche Bewertung
Index Eine standardisierte numerische Klassifizierung, die anhand der Anzahl der von einem Forscher veröffentlichten wissenschaftlichen Arbeiten und der Anzahl der zitierten Artikel berechnet wird. Obwohl es das Ziel ist, die Produktivität eines Wissenschaftlers und die Auswirkungen auf sein Fachgebiet darzustellen, sagen die Kritiker, Index H sei zu simpel und kann nicht zwischen den verschiedenen Wissenschaftsbereichen verglichen werden.
Periodic Impact Factor External Link (FIP): Er wird verwendet, um Zeitschriften nach ihrer Bedeutung in ihren jeweiligen Bereichen zu klassifizieren. Die Berechnung des FIP basiert auf der durchschnittlichen Anzahl der von einer Zeitschrift veröffentlichten Artikel in den letzten zwei Jahren. FIP ist eine einfache Vergleichsmethode, hat jedoch ihre Mängel: Es bewertet nicht die Qualität des Artikels, kann nicht immer in verschiedenen Bereichen verglichen werden und kann durch Artikel, die wenig oder weit voneinander entfernt sind, verzerrt werden.
Rankings von Universitäten Die Klassifizierung kann auf der Grundlage des Wissenstransfers und der Zitate sowie der Leistung der Lehrkräfte erfolgen. Da immer mehr Universitäten um den Zugang zu Ressourcen, Wissenschaftlern und Studenten kämpfen, werden globale Rankings zu einem zunehmend nützlichen Instrument für die Bewertung der Qualität und der Auswirkungen dieser Organisationen. Laut einem externen UNESCOLink-Bericht schaffen diese Rankings jedoch Anreize für Institutionen, sich zu stark auf die Forschung mit hohem Einfluss zu konzentrieren, um ihre Platzierung zum Nachteil ihrer erzieherischen und sozialen Verantwortung zu verbessern.
Es ist ein "Paradox" der modernen Wissenschaft, sagte der Präsident der Akademien der Wissenschaften Schweiz, Antonio Loprieno, kürzlich auf einer Konferenz in Bern
"Auf der einen Seite hat die Verwendung zeitgenössischer Maßstäbe für wissenschaftliche Leistungen mit der Zunahme der Ressourcen exponentiell zugenommen, was für uns eine sehr gute Sache ist. Auf der anderen Seite haben wir Vorbehalte hinsichtlich ihrer Fairness, Gültigkeit und Anwendbarkeit." sagte Loprieno.
Als Reaktion auf diese Kritik hat der SCC der Schweizer Wissenschaftsgemeinschaft Empfehlungen gegeben, die Art und Weise, wie der Rat die Forschung bewertet und finanziert, zu ändern, insbesondere durch die Verwendung von qualitativen Indikatoren als Ergänzung (nicht als Ersatz) zu quantitativen Indikatoren.
"In den letzten Jahren wurden [quantitative] Indikatoren schrittweise als Ersatz für die qualitative Bewertung verwendet; eine Praxis, die Forscher zu falschen Anreizen geführt hat und die wissenschaftliche Qualität gefährdet hat", heißt es in dem Bericht.
"Eine nationale Strategie, die die Vielfalt der Disziplinen und die institutionellen Anforderungen für eine differenzierte Bewertung berücksichtigt, sollte gefördert werden."
Mehr als nur eine Zahl
Kritiker sagen, dass die Überbewertung von quantitativen Kriterien zu einer Verschlechterung der wissenschaftlichen Strenge selbst führt, die diese Maßnahmen fördern sollen. Ganz zu schweigen von dem enormen Stress, den dies für die Wissenschaftler selbst bedeutet.
"Laut Google ist mein H-Index 48, was bedeutet, dass ich 48 Artikel mit mindestens 48 Zitaten habe. Ich mag es nicht, auf eine bloße Zahl reduziert zu werden, aber es gibt Menschen auf diesem Planeten, die über mich nachdenken von einer bloßen Zahl ", sagte Stephen Curry, Dozent an der Berner Konferenz und Professor für Strukturbiologie am Imperial College London.
"Sie können Zahlen verwenden, um einige Aspekte zu charakterisieren, aber Wissenschaft ist im Wesentlichen eine menschliche Tätigkeit. Man kann nicht einfach Exzellenz in Wissenschaft messen. Dies sollte eine Frage des Urteils, der Diskussion und der Meinung von Experten sein."
Curry ist Vorsitzender des Exekutivausschusses der San Francisco Declaration of Research Assessment (DORA), einer der zahlreichen Bemühungen der jüngsten Zeit, die Bewertung der Wissenschaft selbst neu zu überdenken und neue Richtlinien für die ganzheitliche Bewertung von Forschern und Institutionen zu finden, die jedoch immer noch effizient genug sind, um den Fortschritt zu sichern der Wissenschaft.
Quantifizierung der Qualität
Kritiker argumentieren auch, dass quantitative Indikatoren mit dem H-Index aufgrund mangelnder Transparenz bei der Berechnung und Anwendung zu Verzerrungen neigen. Diese quantitativen Kriterien schrecken für sie von diversen Hochrisiko-Forschungen und großen Erträgen für Konformismus und Einheitlichkeit ab.
Für Ellen Hazelkorn, Direktor der Policy Research Unit am Dublin Institute of Technology, sind diese quantitativen Kriterien besonders problematisch in einer Zeit, in der Wissenschaft für alle gilt, nicht nur für die wenigen Mitglieder einer Elite in ihren Türmen. Elfenbein.
"In einer Zeit, in der Forschung über die Akademie hinaus als wertvoll und wirkungsvoll angesehen wird, ist es nicht länger das Streben nach intellektueller Neugier eines Individuums, sondern muss durch soziale und nationale Prioritäten ausgeglichen werden", sagte Hazelkorn.
Sie fügte hinzu, dass Kriterien für ein Ranking als institutionelles Ranking - zum Beispiel das Ranking der Higher Education World University, das jedes Jahr mit großer Vorfreude von der Öffentlichkeit angenommen wird - "für eine stark partizipatorische Gesellschaft weitgehend ungeeignet sind", weil sie nur im akademischen Bereich Verantwortung übernehmen. und nicht in der Gesellschaft insgesamt.
Rankings sind leicht zu verstehen, aber ihre Erfolgsindikatoren erhöhen die Ungleichheit und die Schichtung in unseren Gesellschaften, was wiederum Auswirkungen auf die öffentlichen Güter hat. "
Curry erklärt, dass Einfachheit auch einen großen Teil der Attraktivität einzelner Bewertungskriterien oder Zeitschriften wie der Zitierzählung und des periodischen Einflussfaktors ausmacht. "Quantitative Kriterien sind leicht zu berechnen; sie haben eine verführerische Pseudoobjektivität und erleichtern uns das Leben."
Druck und Prestige
Aber zu welchen Kosten? Wie Curry erläuterte, könnte die Fokussierung auf diese Instrumente zu einer Verlangsamung des wissenschaftlichen Fortschritts führen, indem Forscher dazu ermutigt werden, ihre Arbeiten bei den renommiertesten Fachzeitschriften einzureichen, was die Wahrscheinlichkeit einer Ablehnung oder gar eines Widerrufs des Artikels erhöht, was auch das Vertrauen der Öffentlichkeit in Frage stellen kann Wissenschaft.
Durch die Beschränkung des akademischen Interesses auf prestigeträchtige Publikationen werden zudem andere wichtige Aktivitäten wie Unterrichten, Kommunikation, Ausbau und Ausbildung junger Wissenschaftler unterschätzt und können sogar beeinträchtigt werden.
Heute wurde DORA von rund 14.000 Einzelpersonen und Organisationen unterzeichnet. Das LeidenLink-Manifest extern
http://www.leidenmanifesto.org/ von 2015 gewann auch Einfluss in der akademischen Gemeinschaft. Beide Dokumente fordern eine Verringerung der Verwendung quantitativer Kriterien oder zumindest ihre Verwendung in Verbindung mit anderen qualitativen Kriterien, die sich auf wissenschaftliche Inhalte konzentrieren.
Aufkommende Alternativen
Die Wissenschaft wächst immer noch schnell und alle wollen ausgezeichnet sein. Aber können sie im Fall der Realität der wissenschaftlichen Praxis als ganzheitlichere und möglicherweise zeitaufwendigere Bewertungsmethoden der Versuchung widerstehen, "schnelle und niedrige" Kriterien zu verwenden?
Für Sarah de Rijcke, stellvertretende Direktorin des Zentrums für Wissenschafts- und Technologiestudien (CWTS) der Universität von Leiden in den Niederlanden - die Wiege des Leiden-Manifests - liegt eine Antwort in dem, was sie als "Portfolio-Ansatz" zur Bewertung der Wissenschaft bezeichnet; ein Ansatz, der an eine bestimmte Situation, Institution oder Forscher angepasst werden könnte.
"Universelle Lösungen sind nicht sehr effektiv", sagte de Rijcke, weil die Arten der Forschung, die von traditionellen Bewertungsmethoden am meisten bevorzugt werden, zwischen den Disziplinen variieren. Im Gegenteil, es empfiehlt im Rahmen eines Evaluationskontextes generische Prinzipien, um eine "standardisierte Erzählung" zu schaffen, die die Spezialisierung des Wissenschaftlers, seine Produktion (Publikationen, akademische Aneignungen, Unterricht und sogar soziale Medien) und Einfluss in Wissenschaft und Gesellschaft vereint.
Das DORA-Komitee listet auf seiner Website auch Beispiele für solche Ansätze auf. B. indem Forscher gebeten werden, ihre besten Publikationen und Beiträge in eigenen Worten in Form einer "Bioskete" zusammenzufassen.
Stephen Curry wies darauf hin, dass die Tendenz der globalen wissenschaftlichen Gemeinschaft (die auch in der Schweiz zum freien Zugang verfolgt wird) Änderungen der Bewertungskriterien beschleunigen sollte, da Open-Access-Zeitschriften und Pre-Print-Archive im Vergleich zu herkömmlichen Abonnements eine stärkere Betonung des Inhalts und der Transparenz fördern können Zeitschriften.
Schweizer Verantwortung
Loprieno sagte gegenüber swissinfo.ch, dass die Schweiz angesichts der Fülle an Ressourcen und der Flexibilität der Verwaltungsanforderungen im Vergleich zu anderen europäischen Ländern eine internationale Verpflichtung zur Durchführung der Änderung hat.
"Ich denke, weil wir über ein so gut finanziertes System verfügen, haben wir auch eine gewisse Verantwortung gegenüber dem Rest der Welt. Die Schweiz kann aktiver versuchen oder versuchen, Lösungen zu finden, um die Schwierigkeiten des gegenwärtigen Systems zu überwinden", sagte er .
Er fügte hinzu, eine der größten Herausforderungen sei es, sicherzustellen, dass junge Wissenschaftler zu Beginn ihrer Laufbahn angemessene Unterstützung beim Übergang zu vielfältigeren Bewertungskriterien erhalten.
"Meine Lösung wäre, ein wenig mehr Toleranz für langfristige Projekte zu haben. Wir neigen dazu, kurzfristig zu unterstützen und zu finanzieren, was mit dieser Wettbewerbslogik zu tun hat. Wenn wir langfristig finanzieren, dann dies würde den Druck in den frühen Stadien der [akademischen] Karriere verringern und ein egalitäres System schaffen. "
Lopriano erkennt an, dass eine Änderung dieser Größenordnung in der Forschungskultur leichter gesagt als getan wird, was nicht heißt, dass dies unmöglich ist.
"Dies ist auch eine Kultur, die wir überprüfen wollen. Wir müssen irgendwo anfangen", sagte er.
Wie Wissenschaftler den Erfolg neu definieren.
Rankings der Universitäten, Auswirkungen auf wissenschaftliche Zeitschriften und die Anzahl der Zitationen: Einige sagen, dass solche Kriterien zur Beurteilung der Qualität der wissenschaftlichen Produktion altmodisch sind und sogar den wissenschaftlichen Fortschritt behindern. Die Schweiz will helfen, Alternativen zu implementieren; eine Aufgabe, die leichter gesagt als getan wird.
1
Kritiker argumentieren, dass die derzeitige Besessenheit mit quantitativen Exzellenzmaßstäben nicht nur dem wissenschaftlichen Fortschritt und seinen Auswirkungen auf die Gesellschaft abträglich ist, sondern auch eine Belastung für Wissenschaftler darstellt
(Keystone)
Laut einem aktuellen Bericht des Swiss Scientific Council (CCS) haben diverse wissenschaftliche Aktivitäten wie die Beschäftigung von Forschern, die Veröffentlichung von Artikeln sowie öffentliche oder private Investitionen in den letzten Jahrzehnten stark zugenommen. Dieses Wachstum hat wiederum zu einem beispiellosen Wettbewerb um Embleme mit wissenschaftlichem Erfolg geführt, wie beispielsweise Finanzierung, Preise, akademische Positionen und Positionen in renommierten Zeitschriften.
Angesichts des wachsenden Drucks, "zu veröffentlichen oder zu verderben", werden quantitative Kriterien für den wissenschaftlichen Erfolg immer wichtiger (siehe Kasten) und basieren oft auf Zitaten aus einer Veröffentlichung und auf dem Einflussfaktor einer wissenschaftlichen Zeitschrift, was den Anreiz weiter erhöhen kann die Forscher veröffentlichen müssen.
Gemeinsame quantitative Kriterien für die wissenschaftliche Bewertung
Index Eine standardisierte numerische Klassifizierung, die anhand der Anzahl der von einem Forscher veröffentlichten wissenschaftlichen Arbeiten und der Anzahl der zitierten Artikel berechnet wird. Obwohl es das Ziel ist, die Produktivität eines Wissenschaftlers und die Auswirkungen auf sein Fachgebiet darzustellen, sagen die Kritiker, Index H sei zu simpel und kann nicht zwischen den verschiedenen Wissenschaftsbereichen verglichen werden.
Periodic Impact Factor External Link (FIP): Er wird verwendet, um Zeitschriften nach ihrer Bedeutung in ihren jeweiligen Bereichen zu klassifizieren. Die Berechnung des FIP basiert auf der durchschnittlichen Anzahl der von einer Zeitschrift veröffentlichten Artikel in den letzten zwei Jahren. FIP ist eine einfache Vergleichsmethode, hat jedoch ihre Mängel: Es bewertet nicht die Qualität des Artikels, kann nicht immer in verschiedenen Bereichen verglichen werden und kann durch Artikel, die wenig oder weit voneinander entfernt sind, verzerrt werden.
Rankings von Universitäten Die Klassifizierung kann auf der Grundlage des Wissenstransfers und der Zitate sowie der Leistung der Lehrkräfte erfolgen. Da immer mehr Universitäten um den Zugang zu Ressourcen, Wissenschaftlern und Studenten kämpfen, werden globale Rankings zu einem zunehmend nützlichen Instrument für die Bewertung der Qualität und der Auswirkungen dieser Organisationen. Laut einem externen UNESCOLink-Bericht schaffen diese Rankings jedoch Anreize für Institutionen, sich zu stark auf die Forschung mit hohem Einfluss zu konzentrieren, um ihre Platzierung zum Nachteil ihrer erzieherischen und sozialen Verantwortung zu verbessern.
Es ist ein "Paradox" der modernen Wissenschaft, sagte der Präsident der Akademien der Wissenschaften Schweiz, Antonio Loprieno, kürzlich auf einer Konferenz in Bern
"Auf der einen Seite hat die Verwendung zeitgenössischer Maßstäbe für wissenschaftliche Leistungen mit der Zunahme der Ressourcen exponentiell zugenommen, was für uns eine sehr gute Sache ist. Auf der anderen Seite haben wir Vorbehalte hinsichtlich ihrer Fairness, Gültigkeit und Anwendbarkeit." sagte Loprieno.
Als Reaktion auf diese Kritik hat der SCC der Schweizer Wissenschaftsgemeinschaft Empfehlungen gegeben, die Art und Weise, wie der Rat die Forschung bewertet und finanziert, zu ändern, insbesondere durch die Verwendung von qualitativen Indikatoren als Ergänzung (nicht als Ersatz) zu quantitativen Indikatoren.
"In den letzten Jahren wurden [quantitative] Indikatoren schrittweise als Ersatz für die qualitative Bewertung verwendet; eine Praxis, die Forscher zu falschen Anreizen geführt hat und die wissenschaftliche Qualität gefährdet hat", heißt es in dem Bericht.
"Eine nationale Strategie, die die Vielfalt der Disziplinen und die institutionellen Anforderungen für eine differenzierte Bewertung berücksichtigt, sollte gefördert werden."
Mehr als nur eine Zahl
Kritiker sagen, dass die Überbewertung von quantitativen Kriterien zu einer Verschlechterung der wissenschaftlichen Strenge selbst führt, die diese Maßnahmen fördern sollen. Ganz zu schweigen von dem enormen Stress, den dies für die Wissenschaftler selbst bedeutet.
"Laut Google ist mein H-Index 48, was bedeutet, dass ich 48 Artikel mit mindestens 48 Zitaten habe. Ich mag es nicht, auf eine bloße Zahl reduziert zu werden, aber es gibt Menschen auf diesem Planeten, die über mich nachdenken von einer bloßen Zahl ", sagte Stephen Curry, Dozent an der Berner Konferenz und Professor für Strukturbiologie am Imperial College London.
"Sie können Zahlen verwenden, um einige Aspekte zu charakterisieren, aber Wissenschaft ist im Wesentlichen eine menschliche Tätigkeit. Man kann nicht einfach Exzellenz in Wissenschaft messen. Dies sollte eine Frage des Urteils, der Diskussion und der Meinung von Experten sein."
Curry ist Vorsitzender des Exekutivausschusses der San Francisco Declaration of Research Assessment (DORA), einer der zahlreichen Bemühungen der jüngsten Zeit, die Bewertung der Wissenschaft selbst neu zu überdenken und neue Richtlinien für die ganzheitliche Bewertung von Forschern und Institutionen zu finden, die jedoch immer noch effizient genug sind, um den Fortschritt zu sichern der Wissenschaft.
Quantifizierung der Qualität
Kritiker argumentieren auch, dass quantitative Indikatoren mit dem H-Index aufgrund mangelnder Transparenz bei der Berechnung und Anwendung zu Verzerrungen neigen. Diese quantitativen Kriterien schrecken für sie von diversen Hochrisiko-Forschungen und großen Erträgen für Konformismus und Einheitlichkeit ab.
Für Ellen Hazelkorn, Direktor der Policy Research Unit am Dublin Institute of Technology, sind diese quantitativen Kriterien besonders problematisch in einer Zeit, in der Wissenschaft für alle gilt, nicht nur für die wenigen Mitglieder einer Elite in ihren Türmen. Elfenbein.
"In einer Zeit, in der Forschung über die Akademie hinaus als wertvoll und wirkungsvoll angesehen wird, ist es nicht länger das Streben nach intellektueller Neugier eines Individuums, sondern muss durch soziale und nationale Prioritäten ausgeglichen werden", sagte Hazelkorn.
Sie fügte hinzu, dass Kriterien für ein Ranking als institutionelles Ranking - zum Beispiel das Ranking der Higher Education World University, das jedes Jahr mit großer Vorfreude von der Öffentlichkeit angenommen wird - "für eine stark partizipatorische Gesellschaft weitgehend ungeeignet sind", weil sie nur im akademischen Bereich Verantwortung übernehmen. und nicht in der Gesellschaft insgesamt.
Rankings sind leicht zu verstehen, aber ihre Erfolgsindikatoren erhöhen die Ungleichheit und die Schichtung in unseren Gesellschaften, was wiederum Auswirkungen auf die öffentlichen Güter hat. "
Curry erklärt, dass Einfachheit auch einen großen Teil der Attraktivität einzelner Bewertungskriterien oder Zeitschriften wie der Zitierzählung und des periodischen Einflussfaktors ausmacht. "Quantitative Kriterien sind leicht zu berechnen; sie haben eine verführerische Pseudoobjektivität und erleichtern uns das Leben."
Druck und Prestige
Aber zu welchen Kosten? Wie Curry erläuterte, könnte die Fokussierung auf diese Instrumente zu einer Verlangsamung des wissenschaftlichen Fortschritts führen, indem Forscher dazu ermutigt werden, ihre Arbeiten bei den renommiertesten Fachzeitschriften einzureichen, was die Wahrscheinlichkeit einer Ablehnung oder gar eines Widerrufs des Artikels erhöht, was auch das Vertrauen der Öffentlichkeit in Frage stellen kann Wissenschaft.
Durch die Beschränkung des akademischen Interesses auf prestigeträchtige Publikationen werden zudem andere wichtige Aktivitäten wie Unterrichten, Kommunikation, Ausbau und Ausbildung junger Wissenschaftler unterschätzt und können sogar beeinträchtigt werden.
Heute wurde DORA von rund 14.000 Einzelpersonen und Organisationen unterzeichnet. Das LeidenLink-Manifest extern
http://www.leidenmanifesto.org/ von 2015 gewann auch Einfluss in der akademischen Gemeinschaft. Beide Dokumente fordern eine Verringerung der Verwendung quantitativer Kriterien oder zumindest ihre Verwendung in Verbindung mit anderen qualitativen Kriterien, die sich auf wissenschaftliche Inhalte konzentrieren.
Aufkommende Alternativen
Die Wissenschaft wächst immer noch schnell und alle wollen ausgezeichnet sein. Aber können sie im Fall der Realität der wissenschaftlichen Praxis als ganzheitlichere und möglicherweise zeitaufwendigere Bewertungsmethoden der Versuchung widerstehen, "schnelle und niedrige" Kriterien zu verwenden?
Für Sarah de Rijcke, stellvertretende Direktorin des Zentrums für Wissenschafts- und Technologiestudien (CWTS) der Universität von Leiden in den Niederlanden - die Wiege des Leiden-Manifests - liegt eine Antwort in dem, was sie als "Portfolio-Ansatz" zur Bewertung der Wissenschaft bezeichnet; ein Ansatz, der an eine bestimmte Situation, Institution oder Forscher angepasst werden könnte.
"Universelle Lösungen sind nicht sehr effektiv", sagte de Rijcke, weil die Arten der Forschung, die von traditionellen Bewertungsmethoden am meisten bevorzugt werden, zwischen den Disziplinen variieren. Im Gegenteil, es empfiehlt im Rahmen eines Evaluationskontextes generische Prinzipien, um eine "standardisierte Erzählung" zu schaffen, die die Spezialisierung des Wissenschaftlers, seine Produktion (Publikationen, akademische Aneignungen, Unterricht und sogar soziale Medien) und Einfluss in Wissenschaft und Gesellschaft vereint.
Das DORA-Komitee listet auf seiner Website auch Beispiele für solche Ansätze auf. B. indem Forscher gebeten werden, ihre besten Publikationen und Beiträge in eigenen Worten in Form einer "Bioskete" zusammenzufassen.
Stephen Curry wies darauf hin, dass die Tendenz der globalen wissenschaftlichen Gemeinschaft (die auch in der Schweiz zum freien Zugang verfolgt wird) Änderungen der Bewertungskriterien beschleunigen sollte, da Open-Access-Zeitschriften und Pre-Print-Archive im Vergleich zu herkömmlichen Abonnements eine stärkere Betonung des Inhalts und der Transparenz fördern können Zeitschriften.
Schweizer Verantwortung
Loprieno sagte gegenüber swissinfo.ch, dass die Schweiz angesichts der Fülle an Ressourcen und der Flexibilität der Verwaltungsanforderungen im Vergleich zu anderen europäischen Ländern eine internationale Verpflichtung zur Durchführung der Änderung hat.
"Ich denke, weil wir über ein so gut finanziertes System verfügen, haben wir auch eine gewisse Verantwortung gegenüber dem Rest der Welt. Die Schweiz kann aktiver versuchen oder versuchen, Lösungen zu finden, um die Schwierigkeiten des gegenwärtigen Systems zu überwinden", sagte er .
Er fügte hinzu, eine der größten Herausforderungen sei es, sicherzustellen, dass junge Wissenschaftler zu Beginn ihrer Laufbahn angemessene Unterstützung beim Übergang zu vielfältigeren Bewertungskriterien erhalten.
"Meine Lösung wäre, ein wenig mehr Toleranz für langfristige Projekte zu haben. Wir neigen dazu, kurzfristig zu unterstützen und zu finanzieren, was mit dieser Wettbewerbslogik zu tun hat. Wenn wir langfristig finanzieren, dann dies würde den Druck in den frühen Stadien der [akademischen] Karriere verringern und ein egalitäres System schaffen. "
Lopriano erkennt an, dass eine Änderung dieser Größenordnung in der Forschungskultur leichter gesagt als getan wird, was nicht heißt, dass dies unmöglich ist.
"Dies ist auch eine Kultur, die wir überprüfen wollen. Wir müssen irgendwo anfangen", sagte er.
--ru via tradutor do google
Как ученые переопределяют успех.
Рейтинги университетов, последствия для научных журналов и количество ссылок: некоторые говорят, что такие критерии устарели для оценки качества научной продукции и что они даже являются препятствием для научного прогресса. Швейцария хочет помочь реализовать альтернативы; задача, которую легче сказать, чем сделать.
1
Критики утверждают, что нынешняя одержимость количественными показателями совершенства не только наносит ущерб научному прогрессу и его влиянию на общество, но и вызывает стресс у ученых.
(Трапецеидального)
Согласно недавнему докладу Швейцарского научного совета (CCS), в последние десятилетия значительно возросла разнообразная научная деятельность, такая как трудоустройство исследователей, публикация статей и государственные или частные инвестиции. Этот рост, в свою очередь, привел к беспрецедентному уровню конкуренции за эмблемы научного успеха, такие как финансирование, награды, академические должности и должности в известных журналах, среди других.
В связи с растущим давлением «публиковать или исчезать» количественные критерии научного успеха приобретают все больший вес (см. Вставку) и часто основаны на цитатах из публикации и на факторе воздействия научного журнала, что может еще больше повысить стимул что исследователи должны опубликовать.
Общие количественные критерии для научной оценки
Индекс Стандартизированная числовая классификация, рассчитанная с использованием количества научных работ, опубликованных исследователем, и количества цитирований их статей. Хотя его цель состоит в том, чтобы показать продуктивность ученого и влияние на его область, критики говорят, что Индекс H слишком упрощен и не может сравниваться в различных областях науки.
Внешняя ссылка периодического фактора воздействия (FIP): используется для классификации журналов по их важности в соответствующих областях. FIP рассчитывается на основе среднего числа цитирований статей, опубликованных журналом, за последние два года. FIP - это простой метод сравнения, но у него есть свои недостатки: он не оценивает качество статьи, он не всегда может сравниваться по разным областям и может искажаться по статьям, которые немногочисленны.
Рейтинги университетов Классификация может быть сделана на основе передачи знаний и цитат, а также на результатах работы учителей. Поскольку все больше университетов борются за доступ к ресурсам, ученым и студентам, глобальные рейтинги становятся все более полезным инструментом для оценки качества и воздействия этих организаций. Однако, согласно внешнему отчету UNESCOLink, эти рейтинги создают стимулы для учреждений чрезмерно концентрироваться на исследованиях с высокой отдачей, чтобы улучшить их размещение, в ущерб их образовательным и социальным обязанностям.
Это «парадокс» современной науки, заявил президент Швейцарской академии искусств и наук Антонио Лоприено на недавней конференции в Берне.
«С одной стороны, использование современных показателей научной деятельности возросло в геометрической прогрессии наряду с увеличением ресурсов, что для нас является очень хорошей вещью. С другой стороны, у нас есть сомнения относительно его справедливости, обоснованности и применимости». сказал Лоприено.
В ответ на эту критику ГТК выпустил рекомендации для швейцарского научного сообщества об изменении способа, которым Совет оценивает и финансирует исследования, в частности путем использования качественных показателей в качестве дополнения (а не замены) к количественным показателям.
«В последние годы [количественные] индикаторы постепенно использовались в качестве замены качественной оценки; эта практика давала исследователям неправильные стимулы и угрожала научному качеству», - говорится в докладе.
«Следует продвигать национальную стратегию, которая учитывает разнообразие дисциплин и институциональных требований для дифференцированной оценки».
Больше, чем просто число
По словам критиков, переоценка количественных критериев приводит к ухудшению самой научной строгости, которую должны продвигать эти меры; не говоря уже о том огромном стрессе, который он несет для самих ученых.
«По данным Google, мой H-индекс равен 48, что означает, что у меня есть 48 статей, в которых есть как минимум 48 ссылок. Мне не нравится, когда меня сокращают до простого числа, но на этой планете есть люди, которые думают обо мне с точки зрения о простом числе », - сказал Стивен Карри, лектор Бернской конференции и профессор структурной биологии в Имперском колледже Лондона.
«Вы можете использовать числа, чтобы охарактеризовать некоторые аспекты, но наука - это в основном человеческая деятельность. Нельзя просто измерить превосходство в науке; это должно быть вопросом суждения, обсуждения и экспертного мнения».
Карри возглавляет исполнительный комитет Сан-Францисской декларации об оценке исследований (DORA), одной из многих недавних попыток переосмыслить, как оценивается сама наука, и определить новые руководящие принципы для оценки исследователей и учреждений более целостным, но все же с достаточной эффективностью, чтобы сохранить прогресс науки.
Количественная оценка качества
Критики также утверждают, что количественные показатели с индексом H подвержены искажениям из-за отсутствия прозрачности в их расчете и применении. Для них эти количественные критерии не поощряют разнообразные исследования с высокой степенью риска и большие выгоды в пользу конформизма и единообразия.
Для Эллен Хазелкорн, директора отдела политических исследований в Дублинском технологическом институте, эти количественные критерии особенно проблематичны в эпоху, когда наука предназначена для всех, а не только для немногих членов элиты в своих башнях. цвета слоновой кости.
«В то время, когда исследование рассматривается как имеющее ценность и влияние за пределами академии, оно больше не преследует интеллектуальное любопытство человека, а скорее [должно] быть сбалансировано социальными и национальными приоритетами», - сказал Хазелкорн.
Она добавила, что критерии для ранжирования в качестве институциональных рейтингов - например, рейтинги университетов мира по высшему образованию, которые ежегодно с большим ожиданием воспринимаются общественностью, - "в значительной степени не подходят для общества с широким участием", поскольку они касаются ответственности только в академической сфере, а не в обществе в целом.
Рейтинги легко понять, но их показатели успеха увеличивают уровни неравенства и расслоения в наших обществах, что, в свою очередь, имеет значение для общественных благ. "
По словам Карри, простота также составляет большую часть привлекательности отдельных критериев оценки или журналов, таких как подсчет цитирования и периодический фактор воздействия. «Количественные критерии легко вычислить; они обладают соблазнительной псевдообъективностью и облегчают нашу жизнь».
Давление и престиж
Но какой ценой? Как объяснил Карри, слишком большое внимание к этим инструментам может даже замедлить научный прогресс, побуждая исследователей представлять свои работы в самых престижных журналах, что увеличивает вероятность отклонения или даже отказа от статьи, что также может подорвать доверие общественности к наука.
Кроме того, из-за ограничения академического интереса к престижным публикациям другие важные виды деятельности, такие как обучение, общение, повышение квалификации и подготовка молодых ученых, недооцениваются и могут даже ухудшаться.
Сегодня DORA подписали около 14 000 частных лиц и организаций. ЛейденЛинк Манифест Внешний
http://www.leidenmanifesto.org/ of 2015 также получил влияние в академическом сообществе. Оба документа предусматривают сокращение использования количественных критериев или, по крайней мере, их использование в сочетании с другими качественными критериями, ориентированными на научное содержание.
Новые альтернативы
Наука все еще быстро растет, и все хотят быть превосходными. Но в случае реальности научной практики, как более целостных и, возможно, более трудоемких методов оценки, могут ли они противостоять искушению использовать «быстрые и низкие» критерии?
Для Сары де Рийке, заместителя директора Центра научных и технологических исследований (CWTS) Лейденского университета в Нидерландах - колыбели Лейденского манифеста - ответ заключается в том, что она называет «портфельным подходом» для оценки науки; подход, который может быть адаптирован к конкретной ситуации, учреждению или исследователю.
«Универсальные решения не очень эффективны», - сказал де Рийке, потому что виды исследований, наиболее предпочтительные для традиционных методов оценки, варьируются в зависимости от дисциплины. Напротив, для данного контекста оценки он рекомендует общие принципы для создания «стандартизированного нарратива», объединяющего специализацию ученого, его производство (публикации, академические ассигнования, преподавание и даже социальные сети) и влияние в науке и обществе.
Комитет DORA также перечисляет примеры таких подходов на своем веб-сайте; например, попросив исследователей обобщить свои лучшие публикации и вклады своими словами в форме «биоскетча».
Стивен Карри отметил, что тенденция мирового научного сообщества (также наблюдаемая в Швейцарии к свободному доступу должна также ускорить изменения в критериях оценки, поскольку журналы открытого доступа и пре-печатные архивы могут стимулировать больший акцент на контент и прозрачность по сравнению с традиционной подпиской). периодические издания.
Швейцарская ответственность
Лоприено сообщил swissinfo.ch, что Швейцария имеет международное обязательство проводить изменения, учитывая обилие своих ресурсов и гибкость в административных требованиях по сравнению с другими европейскими странами.
«Я думаю, что, поскольку у нас такая хорошо финансируемая система, мы также несем определенную ответственность перед остальным миром. Швейцария может более активно пробовать или пробовать решения, чтобы увидеть, как преодолеть трудности нынешней системы», - сказал он. ,
Он добавил, что одной из самых больших проблем будет обеспечение того, чтобы молодые ученые в начале своей карьеры получали адекватную поддержку при переходе к более разнообразным критериям оценки.
«Мое решение состояло бы в том, чтобы иметь немного больше терпимости к долгосрочным проектам. Мы склонны поддерживать и финансировать в краткосрочной перспективе, что связано с этой конкурентной логикой. Если бы мы финансировали в долгосрочной перспективе, это уменьшит давление на ранних этапах [академической] карьеры и создаст более эгалитарную систему ».
Лоприано признает, что изменение этой величины в исследовательской культуре легче сказать, чем сделать, что не означает, что это невозможно.
«Это также культура, которую мы хотим пересмотреть. Нам нужно как-то начать где-то», - сказал он.
Рейтинги университетов, последствия для научных журналов и количество ссылок: некоторые говорят, что такие критерии устарели для оценки качества научной продукции и что они даже являются препятствием для научного прогресса. Швейцария хочет помочь реализовать альтернативы; задача, которую легче сказать, чем сделать.
1
Критики утверждают, что нынешняя одержимость количественными показателями совершенства не только наносит ущерб научному прогрессу и его влиянию на общество, но и вызывает стресс у ученых.
(Трапецеидального)
Согласно недавнему докладу Швейцарского научного совета (CCS), в последние десятилетия значительно возросла разнообразная научная деятельность, такая как трудоустройство исследователей, публикация статей и государственные или частные инвестиции. Этот рост, в свою очередь, привел к беспрецедентному уровню конкуренции за эмблемы научного успеха, такие как финансирование, награды, академические должности и должности в известных журналах, среди других.
В связи с растущим давлением «публиковать или исчезать» количественные критерии научного успеха приобретают все больший вес (см. Вставку) и часто основаны на цитатах из публикации и на факторе воздействия научного журнала, что может еще больше повысить стимул что исследователи должны опубликовать.
Общие количественные критерии для научной оценки
Индекс Стандартизированная числовая классификация, рассчитанная с использованием количества научных работ, опубликованных исследователем, и количества цитирований их статей. Хотя его цель состоит в том, чтобы показать продуктивность ученого и влияние на его область, критики говорят, что Индекс H слишком упрощен и не может сравниваться в различных областях науки.
Внешняя ссылка периодического фактора воздействия (FIP): используется для классификации журналов по их важности в соответствующих областях. FIP рассчитывается на основе среднего числа цитирований статей, опубликованных журналом, за последние два года. FIP - это простой метод сравнения, но у него есть свои недостатки: он не оценивает качество статьи, он не всегда может сравниваться по разным областям и может искажаться по статьям, которые немногочисленны.
Рейтинги университетов Классификация может быть сделана на основе передачи знаний и цитат, а также на результатах работы учителей. Поскольку все больше университетов борются за доступ к ресурсам, ученым и студентам, глобальные рейтинги становятся все более полезным инструментом для оценки качества и воздействия этих организаций. Однако, согласно внешнему отчету UNESCOLink, эти рейтинги создают стимулы для учреждений чрезмерно концентрироваться на исследованиях с высокой отдачей, чтобы улучшить их размещение, в ущерб их образовательным и социальным обязанностям.
Это «парадокс» современной науки, заявил президент Швейцарской академии искусств и наук Антонио Лоприено на недавней конференции в Берне.
«С одной стороны, использование современных показателей научной деятельности возросло в геометрической прогрессии наряду с увеличением ресурсов, что для нас является очень хорошей вещью. С другой стороны, у нас есть сомнения относительно его справедливости, обоснованности и применимости». сказал Лоприено.
В ответ на эту критику ГТК выпустил рекомендации для швейцарского научного сообщества об изменении способа, которым Совет оценивает и финансирует исследования, в частности путем использования качественных показателей в качестве дополнения (а не замены) к количественным показателям.
«В последние годы [количественные] индикаторы постепенно использовались в качестве замены качественной оценки; эта практика давала исследователям неправильные стимулы и угрожала научному качеству», - говорится в докладе.
«Следует продвигать национальную стратегию, которая учитывает разнообразие дисциплин и институциональных требований для дифференцированной оценки».
Больше, чем просто число
По словам критиков, переоценка количественных критериев приводит к ухудшению самой научной строгости, которую должны продвигать эти меры; не говоря уже о том огромном стрессе, который он несет для самих ученых.
«По данным Google, мой H-индекс равен 48, что означает, что у меня есть 48 статей, в которых есть как минимум 48 ссылок. Мне не нравится, когда меня сокращают до простого числа, но на этой планете есть люди, которые думают обо мне с точки зрения о простом числе », - сказал Стивен Карри, лектор Бернской конференции и профессор структурной биологии в Имперском колледже Лондона.
«Вы можете использовать числа, чтобы охарактеризовать некоторые аспекты, но наука - это в основном человеческая деятельность. Нельзя просто измерить превосходство в науке; это должно быть вопросом суждения, обсуждения и экспертного мнения».
Карри возглавляет исполнительный комитет Сан-Францисской декларации об оценке исследований (DORA), одной из многих недавних попыток переосмыслить, как оценивается сама наука, и определить новые руководящие принципы для оценки исследователей и учреждений более целостным, но все же с достаточной эффективностью, чтобы сохранить прогресс науки.
Количественная оценка качества
Критики также утверждают, что количественные показатели с индексом H подвержены искажениям из-за отсутствия прозрачности в их расчете и применении. Для них эти количественные критерии не поощряют разнообразные исследования с высокой степенью риска и большие выгоды в пользу конформизма и единообразия.
Для Эллен Хазелкорн, директора отдела политических исследований в Дублинском технологическом институте, эти количественные критерии особенно проблематичны в эпоху, когда наука предназначена для всех, а не только для немногих членов элиты в своих башнях. цвета слоновой кости.
«В то время, когда исследование рассматривается как имеющее ценность и влияние за пределами академии, оно больше не преследует интеллектуальное любопытство человека, а скорее [должно] быть сбалансировано социальными и национальными приоритетами», - сказал Хазелкорн.
Она добавила, что критерии для ранжирования в качестве институциональных рейтингов - например, рейтинги университетов мира по высшему образованию, которые ежегодно с большим ожиданием воспринимаются общественностью, - "в значительной степени не подходят для общества с широким участием", поскольку они касаются ответственности только в академической сфере, а не в обществе в целом.
Рейтинги легко понять, но их показатели успеха увеличивают уровни неравенства и расслоения в наших обществах, что, в свою очередь, имеет значение для общественных благ. "
По словам Карри, простота также составляет большую часть привлекательности отдельных критериев оценки или журналов, таких как подсчет цитирования и периодический фактор воздействия. «Количественные критерии легко вычислить; они обладают соблазнительной псевдообъективностью и облегчают нашу жизнь».
Давление и престиж
Но какой ценой? Как объяснил Карри, слишком большое внимание к этим инструментам может даже замедлить научный прогресс, побуждая исследователей представлять свои работы в самых престижных журналах, что увеличивает вероятность отклонения или даже отказа от статьи, что также может подорвать доверие общественности к наука.
Кроме того, из-за ограничения академического интереса к престижным публикациям другие важные виды деятельности, такие как обучение, общение, повышение квалификации и подготовка молодых ученых, недооцениваются и могут даже ухудшаться.
Сегодня DORA подписали около 14 000 частных лиц и организаций. ЛейденЛинк Манифест Внешний
http://www.leidenmanifesto.org/ of 2015 также получил влияние в академическом сообществе. Оба документа предусматривают сокращение использования количественных критериев или, по крайней мере, их использование в сочетании с другими качественными критериями, ориентированными на научное содержание.
Новые альтернативы
Наука все еще быстро растет, и все хотят быть превосходными. Но в случае реальности научной практики, как более целостных и, возможно, более трудоемких методов оценки, могут ли они противостоять искушению использовать «быстрые и низкие» критерии?
Для Сары де Рийке, заместителя директора Центра научных и технологических исследований (CWTS) Лейденского университета в Нидерландах - колыбели Лейденского манифеста - ответ заключается в том, что она называет «портфельным подходом» для оценки науки; подход, который может быть адаптирован к конкретной ситуации, учреждению или исследователю.
«Универсальные решения не очень эффективны», - сказал де Рийке, потому что виды исследований, наиболее предпочтительные для традиционных методов оценки, варьируются в зависимости от дисциплины. Напротив, для данного контекста оценки он рекомендует общие принципы для создания «стандартизированного нарратива», объединяющего специализацию ученого, его производство (публикации, академические ассигнования, преподавание и даже социальные сети) и влияние в науке и обществе.
Комитет DORA также перечисляет примеры таких подходов на своем веб-сайте; например, попросив исследователей обобщить свои лучшие публикации и вклады своими словами в форме «биоскетча».
Стивен Карри отметил, что тенденция мирового научного сообщества (также наблюдаемая в Швейцарии к свободному доступу должна также ускорить изменения в критериях оценки, поскольку журналы открытого доступа и пре-печатные архивы могут стимулировать больший акцент на контент и прозрачность по сравнению с традиционной подпиской). периодические издания.
Швейцарская ответственность
Лоприено сообщил swissinfo.ch, что Швейцария имеет международное обязательство проводить изменения, учитывая обилие своих ресурсов и гибкость в административных требованиях по сравнению с другими европейскими странами.
«Я думаю, что, поскольку у нас такая хорошо финансируемая система, мы также несем определенную ответственность перед остальным миром. Швейцария может более активно пробовать или пробовать решения, чтобы увидеть, как преодолеть трудности нынешней системы», - сказал он. ,
Он добавил, что одной из самых больших проблем будет обеспечение того, чтобы молодые ученые в начале своей карьеры получали адекватную поддержку при переходе к более разнообразным критериям оценки.
«Мое решение состояло бы в том, чтобы иметь немного больше терпимости к долгосрочным проектам. Мы склонны поддерживать и финансировать в краткосрочной перспективе, что связано с этой конкурентной логикой. Если бы мы финансировали в долгосрочной перспективе, это уменьшит давление на ранних этапах [академической] карьеры и создаст более эгалитарную систему ».
Лоприано признает, что изменение этой величины в исследовательской культуре легче сказать, чем сделать, что не означает, что это невозможно.
«Это также культура, которую мы хотим пересмотреть. Нам нужно как-то начать где-то», - сказал он.
--chines simplificado via tradutor do google
科学家如何重新定义成功。
大学排名，对科学期刊的影响以及引用次数：有人说这些标准过时是为了评估科学生产的质量，而且它们甚至是科学进步的障碍。瑞士希望帮助实施替代方案;一项说起来容易做起来难的任务。
1
目前对卓越量化指标的痴迷不仅不利于科学进步及其对社会的影响，也给科学家带来压力，批评者认为
（梯形失真校正）
根据瑞士科学理事会（CCS）最近的一份报告，近几十年来，诸如研究人员的就业，文章的出版以及公共或私人投资等各种科学活动显着增加。反过来，这种增长为科学成功的标志带来了前所未有的竞争，例如资金，奖励，学术职位和知名期刊的职位等。
随着“出版或灭亡”的压力越来越大，科学成功的量化标准越来越重（见专栏），并且通常基于出版物的引用和科学期刊的影响因素，这可能进一步增加激励研究人员必须发表。
科学评估的常用量化标准
指数使用研究人员发表的科学论文数量计算的标准化数字分类，以及引用其文章的次数。虽然它的目的是展示科学家的生产力及其对他的领域的影响，但批评者认为指数H过于简单化，无法在不同的科学领域进行比较。
定期影响因子外部链接（FIP）：用于根据日记在各自领域的重要性对其进行分类。 FIP是根据过去两年中引用期刊发表的文章的平均次数计算得出的。 FIP是一种简单的比较方法，但它有它的缺点：它不评估文章的质量，它不能总是在不同的区域进行比较，并且可能被少数和远远的文章所扭曲。
大学排名可以根据知识和报价的转移以及教师的表现进行分类。随着越来越多的大学努力获取资源，科学家和学生，全球排名已成为评估这些组织的质量和影响的越来越有用的工具。然而，根据UNESCOLink的一份外部报告，这些排名激励机构过度关注高影响力的研究，以改善其安置，从而损害他们的教育和社会责任。
瑞士艺术与科学院院长Antonio Loprieno最近在伯尔尼举行的一次会议上说，这是现代科学的“悖论”。
“一方面，随着资源的增加，当代科学表现指标的使用呈指数增长，这对我们来说是一件非常好的事情。另一方面，我们对其公平性，有效性和适用性有所保留，” Loprieno说。
针对这些批评，SCC已向瑞士科学界提出建议，以改变理事会评估和资助研究的方式，特别是通过使用定性指标作为量化指标的补充（而非替代）。
“近年来，[定量]指标逐渐被用作定性评估的替代品;这种做法给研究人员提供了错误的激励措施，并威胁到了科学质量，”报告说。
“应该促进一项考虑到学科多样性和差异化评估的制度要求的国家战略。”
不只是一个数字
批评者说，过分强调量化标准导致这些措施应该促进的科学严谨性本身的恶化;更不用说它给科学家们带来的巨大压力了。
“根据Google的说法，我的H-Index是48，这意味着我有48篇文章至少引用了48篇。我不喜欢被简化为一个数字，但这个星球上的人们用我的方式来考虑我伯尔尼会议的讲师兼伦敦帝国理工学院结构生物学教授斯蒂芬库里说。
“你可以用数字来表征某些方面，但科学从根本上说是一种人类活动。人们不能简单地衡量科学的卓越性;这应该是判断，讨论和专家意见的问题。”
库里是旧金山研究评估宣言（DORA）执行委员会的负责人，这是最近重新思考科学本身如何评估的一项努力之一，并为更全面地评估研究人员和机构确定新的指导方针，但仍具有足够的效率来保持进步科学。
量化质量
批评者还认为，由于计算和应用缺乏透明度，H指数的量化指标容易出现扭曲。对他们而言，这些量化标准阻碍了各种高风险研究和大回报，有利于顺从和统一。
对于都柏林理工学院政策研究部主任艾伦·哈泽尔孔恩来说，这些量化标准在科学适合每个人的时代尤其成问题，而不仅仅是塔中精英的少数成员。象牙。
Hazelkorn说：“在研究被视为具有超越学术界的价值和影响的时代，它不再追求个人的求知欲，而是[必须]平衡社会和国家的优先事项。”
她补充说，作为机构排名的排名标准 - 例如，公众每年都非常期待的高等教育世界大学排名 - “在很大程度上不适合高度参与的社会”，因为他们只在学术领域内负责，而不是整个社会。
排名很容易理解，但他们的成功指标增加了我们社会中的不平等和分层程度，这反过来又对公共产品产生影响。 “
库里说，简单性也是个人评估标准或期刊（如引文计数和周期性影响因子）吸引力的重要组成部分。 “定量标准很容易计算;它们具有诱人的伪客观性，使我们的生活更轻松。”
压力和威望
但是以什么代价？正如库里所解释的那样，过分关注这些工具甚至可能会通过鼓励研究人员将他们的作品提交给最负盛名的期刊来减缓科学进步，这会增加拒绝甚至撤回文章的可能性，这也会削弱公众对文章的信心。科学。
此外，通过限制对着名出版物的学术兴趣，其他重要的活动，如教学，交流，推广和培训年轻科学家，被低估甚至可能受到损害。
今天，大约有14,000名个人和组织签署了DORA。莱顿也在学术界获得了影响力。这两份文件都要求减少使用量化标准，或至少将其与其他以质量标准为重点的定性标准结合使用。
新兴替代品
科学仍在迅速发展，每个人都希望自己变得优秀。但是，就科学实践的现实而言，作为更全面，可能更耗时的评估方法，他们能否抵制使用“快速和低”标准的诱惑？
对于荷兰莱顿大学 - 莱顿宣言的摇篮 - 科学与技术研究中心（CWTS）副主任Sarah de Rijcke来说，回应在于她所谓的“投资组合方法”来评估科学;一种可以适应特定情况，机构或研究人员的方法。
“通用解决方案不是很有效，”de Rijcke说，因为传统评估方法最受青睐的研究种类因学科而异。相反，对于给定的评估环境，它建议通用原则来创建“标准化叙述”，将科学家的专业化，生产（出版物，学术拨款，教学甚至社交媒体）与科学和社会的影响联系起来。
DORA委员会还在其网站上列出了此类方法的示例;例如，要求研究人员以“biosketch”的形式用自己的语言总结他们最好的出版物和贡献。
斯蒂芬库里指出，全球科学界的趋势（在瑞士也观察到自由访问也应该加速评估标准的变化，因为与传统订阅相比，开放获取期刊和预印档案可以鼓励更多地强调内容和透明度期刊。
瑞士责任
Loprieno告诉瑞士资讯swissinfo.ch，鉴于与其他欧洲国家相比，瑞士在管理要求方面拥有丰富的资源和灵活性，因此瑞士有履行变革的国际义务。
“我认为，因为我们拥有这样一个资金充足的系统，我们对世界其他地方也有一定的责任。瑞士可以更积极地尝试或尝试解决方案，看看如何克服当前系统的困难，”他说。 。
他补充说，最大的挑战之一将是确保年轻科学家在其职业生涯早期得到足够的支持，以便向更多样化的评估标准过渡。
“我的解决方案是对长期项目有一点宽容。我们倾向于在短期内支持和融资，这与这种竞争逻辑有关。如果我们从长远角度进行融资，这个将减轻[学术]职业生涯早期的压力，并创造一个更平等的体系。“
Lopriano认识到，研究文化中这种程度的变化说起来容易做起来难，这并不是说这是不可能的。
“这也是我们想要审查的文化。我们需要以某种方式开始，某个地方，”他说。
大学排名，对科学期刊的影响以及引用次数：有人说这些标准过时是为了评估科学生产的质量，而且它们甚至是科学进步的障碍。瑞士希望帮助实施替代方案;一项说起来容易做起来难的任务。
1
目前对卓越量化指标的痴迷不仅不利于科学进步及其对社会的影响，也给科学家带来压力，批评者认为
（梯形失真校正）
根据瑞士科学理事会（CCS）最近的一份报告，近几十年来，诸如研究人员的就业，文章的出版以及公共或私人投资等各种科学活动显着增加。反过来，这种增长为科学成功的标志带来了前所未有的竞争，例如资金，奖励，学术职位和知名期刊的职位等。
随着“出版或灭亡”的压力越来越大，科学成功的量化标准越来越重（见专栏），并且通常基于出版物的引用和科学期刊的影响因素，这可能进一步增加激励研究人员必须发表。
科学评估的常用量化标准
指数使用研究人员发表的科学论文数量计算的标准化数字分类，以及引用其文章的次数。虽然它的目的是展示科学家的生产力及其对他的领域的影响，但批评者认为指数H过于简单化，无法在不同的科学领域进行比较。
定期影响因子外部链接（FIP）：用于根据日记在各自领域的重要性对其进行分类。 FIP是根据过去两年中引用期刊发表的文章的平均次数计算得出的。 FIP是一种简单的比较方法，但它有它的缺点：它不评估文章的质量，它不能总是在不同的区域进行比较，并且可能被少数和远远的文章所扭曲。
大学排名可以根据知识和报价的转移以及教师的表现进行分类。随着越来越多的大学努力获取资源，科学家和学生，全球排名已成为评估这些组织的质量和影响的越来越有用的工具。然而，根据UNESCOLink的一份外部报告，这些排名激励机构过度关注高影响力的研究，以改善其安置，从而损害他们的教育和社会责任。
瑞士艺术与科学院院长Antonio Loprieno最近在伯尔尼举行的一次会议上说，这是现代科学的“悖论”。
“一方面，随着资源的增加，当代科学表现指标的使用呈指数增长，这对我们来说是一件非常好的事情。另一方面，我们对其公平性，有效性和适用性有所保留，” Loprieno说。
针对这些批评，SCC已向瑞士科学界提出建议，以改变理事会评估和资助研究的方式，特别是通过使用定性指标作为量化指标的补充（而非替代）。
“近年来，[定量]指标逐渐被用作定性评估的替代品;这种做法给研究人员提供了错误的激励措施，并威胁到了科学质量，”报告说。
“应该促进一项考虑到学科多样性和差异化评估的制度要求的国家战略。”
不只是一个数字
批评者说，过分强调量化标准导致这些措施应该促进的科学严谨性本身的恶化;更不用说它给科学家们带来的巨大压力了。
“根据Google的说法，我的H-Index是48，这意味着我有48篇文章至少引用了48篇。我不喜欢被简化为一个数字，但这个星球上的人们用我的方式来考虑我伯尔尼会议的讲师兼伦敦帝国理工学院结构生物学教授斯蒂芬库里说。
“你可以用数字来表征某些方面，但科学从根本上说是一种人类活动。人们不能简单地衡量科学的卓越性;这应该是判断，讨论和专家意见的问题。”
库里是旧金山研究评估宣言（DORA）执行委员会的负责人，这是最近重新思考科学本身如何评估的一项努力之一，并为更全面地评估研究人员和机构确定新的指导方针，但仍具有足够的效率来保持进步科学。
量化质量
批评者还认为，由于计算和应用缺乏透明度，H指数的量化指标容易出现扭曲。对他们而言，这些量化标准阻碍了各种高风险研究和大回报，有利于顺从和统一。
对于都柏林理工学院政策研究部主任艾伦·哈泽尔孔恩来说，这些量化标准在科学适合每个人的时代尤其成问题，而不仅仅是塔中精英的少数成员。象牙。
Hazelkorn说：“在研究被视为具有超越学术界的价值和影响的时代，它不再追求个人的求知欲，而是[必须]平衡社会和国家的优先事项。”
她补充说，作为机构排名的排名标准 - 例如，公众每年都非常期待的高等教育世界大学排名 - “在很大程度上不适合高度参与的社会”，因为他们只在学术领域内负责，而不是整个社会。
排名很容易理解，但他们的成功指标增加了我们社会中的不平等和分层程度，这反过来又对公共产品产生影响。 “
库里说，简单性也是个人评估标准或期刊（如引文计数和周期性影响因子）吸引力的重要组成部分。 “定量标准很容易计算;它们具有诱人的伪客观性，使我们的生活更轻松。”
压力和威望
但是以什么代价？正如库里所解释的那样，过分关注这些工具甚至可能会通过鼓励研究人员将他们的作品提交给最负盛名的期刊来减缓科学进步，这会增加拒绝甚至撤回文章的可能性，这也会削弱公众对文章的信心。科学。
此外，通过限制对着名出版物的学术兴趣，其他重要的活动，如教学，交流，推广和培训年轻科学家，被低估甚至可能受到损害。
今天，大约有14,000名个人和组织签署了DORA。莱顿也在学术界获得了影响力。这两份文件都要求减少使用量化标准，或至少将其与其他以质量标准为重点的定性标准结合使用。
新兴替代品
科学仍在迅速发展，每个人都希望自己变得优秀。但是，就科学实践的现实而言，作为更全面，可能更耗时的评估方法，他们能否抵制使用“快速和低”标准的诱惑？
对于荷兰莱顿大学 - 莱顿宣言的摇篮 - 科学与技术研究中心（CWTS）副主任Sarah de Rijcke来说，回应在于她所谓的“投资组合方法”来评估科学;一种可以适应特定情况，机构或研究人员的方法。
“通用解决方案不是很有效，”de Rijcke说，因为传统评估方法最受青睐的研究种类因学科而异。相反，对于给定的评估环境，它建议通用原则来创建“标准化叙述”，将科学家的专业化，生产（出版物，学术拨款，教学甚至社交媒体）与科学和社会的影响联系起来。
DORA委员会还在其网站上列出了此类方法的示例;例如，要求研究人员以“biosketch”的形式用自己的语言总结他们最好的出版物和贡献。
斯蒂芬库里指出，全球科学界的趋势（在瑞士也观察到自由访问也应该加速评估标准的变化，因为与传统订阅相比，开放获取期刊和预印档案可以鼓励更多地强调内容和透明度期刊。
瑞士责任
Loprieno告诉瑞士资讯swissinfo.ch，鉴于与其他欧洲国家相比，瑞士在管理要求方面拥有丰富的资源和灵活性，因此瑞士有履行变革的国际义务。
“我认为，因为我们拥有这样一个资金充足的系统，我们对世界其他地方也有一定的责任。瑞士可以更积极地尝试或尝试解决方案，看看如何克服当前系统的困难，”他说。 。
他补充说，最大的挑战之一将是确保年轻科学家在其职业生涯早期得到足够的支持，以便向更多样化的评估标准过渡。
“我的解决方案是对长期项目有一点宽容。我们倾向于在短期内支持和融资，这与这种竞争逻辑有关。如果我们从长远角度进行融资，这个将减轻[学术]职业生涯早期的压力，并创造一个更平等的体系。“
Lopriano认识到，研究文化中这种程度的变化说起来容易做起来难，这并不是说这是不可能的。
“这也是我们想要审查的文化。我们需要以某种方式开始，某个地方，”他说。
Nenhum comentário:
Postar um comentário