quinta-feira, 3 de janeiro de 2019

How scientists are redefining success. -- Como os cientistas estão redefinindo o sucesso. -- Wie Wissenschaftler den Erfolg neu definieren. -- Как ученые переопределяют успех. -- 科学家如何重新定义成功。

Rankings of universities, repercussions on scientific journals, and the number of citations: some say that such criteria are old-fashioned to evaluate the quality of scientific production, and that they are even an obstacle to scientific progress. Switzerland wants to help implement alternatives; a task that is easier said than done.

The current obsession with quantitative measures of excellence is not only detrimental to scientific progress and its impact on society, but also stressful to scientists, critics argue

According to a recent report from the Swiss Scientific CouncilLink external https://www.swir.ch/en/publications-ssc (CCS), various scientific activities such as the employment of researchers, the publication of articles, and public or private investment have increased significantly in recent decades. This growth has, in turn, brought about an unprecedented level of competition for emblems of scientific success such as funding, awards, academic positions and positions in renowned journals, among others.

With increasing pressure to "publish or perish," quantitative criteria for scientific success are increasingly gaining weight (see box), and are often based on citations from a publication and on the impact factor of a scientific journal,  which may further increase the incentive that researchers have to publish.

Common quantitative criteria for scientific evaluation   a standardized numerical classification calculated using the number of scientific articles published by a researcher, and the number of times in which his articles were cited. Although its aim is to show a scientist's productivity and the impact on his field, critics say that Index H is too simplistic and can not be compared across the different areas of science.

Periodic Impact Factor External Link (FIP): It is used to classify journals by their importance in their respective areas. The FIP is calculated based on the average number of times articles published by a journal have been cited in the last two years. FIP is a simple method of comparison, but it has its shortcomings: it does not evaluate the quality of the article, it can not always compare across different areas, and can be skewed by articles that are few and far between.

Universities rankings Classification can be done based on the transfer of knowledge and quotations, as well as on the performance of teachers . As more universities have struggled for access to resources, scientists and students, global rankings have become an increasingly useful tool for assessing the quality and impact of these organizations. However, according to an external UNESCOLink report, these rankings create incentives for institutions to focus excessively on high-impact research to improve their placement, to the detriment of their educational and social responsibilities.

It is a "paradox" of modern science, said the president of the Swiss Academies of Arts and Sciences, Antonio Loprieno, at a recent conference in BernaLink abroad. 

"On the one hand, the use of contemporary measures of scientific performance has increased exponentially along with the increase in resources, which for us is a very good thing. On the other hand, we have reservations about its fairness, validity and applicability, "said Loprieno.

To respond to these criticisms, the CCS published recommendations  for the Swiss scientific community with a view to changing the way in which the Council evaluates and finances research, notably through the use of qualitative indicators as a complement (and not a substitute) to quantitative indicators.

"In recent years, [quantitative] indicators have been progressively used as a substitute for qualitative assessment; a practice that has given researchers wrong incentives and threatened scientific quality, "the report says.

"A national strategy that takes into account the diversity of disciplines and institutional requirements for a differentiated assessment should be promoted."

More than just a number

The overemphasis on quantitative criteria, critics say, leads to a deterioration in the scientific rigor itself that these measures are supposed to promote; not to mention the tremendous stress it implies for the scientists themselves.

"According to Google, my is 48, which means that I have 48 articles that have at least 48 citations. I do not like being reduced to a mere number, but there are people on this planet who think about me in terms of a mere number, "said Stephen Curry, a lecturer at the Bern conference and professor of structural biology at Imperial College London.

"You can use numbers to characterize some aspects, but science is fundamentally a human activity. One can not simply measure excellence in science; this should be a matter of judgment, discussion and expert opinion. "

Curry heads the executive committee of the San Francisco Declaration on Research Assessment  one of many recent efforts to rethink how science itself is assessed and to identify new guidelines for evaluating researchers and institutions more holistically but still efficiently enough to keep science going.

Quantifying quality

Critics also argue that quantitative indicators with the H index are prone to distortions by lack of transparency in their calculation and application. For them, these quantitative criteria discourage diverse high-risk research and large returns in favor of conformism and uniformity.

For Ellen Hazelkorn, director of the Policy Research Unit at the Dublin Institute of Technology, these quantitative criteria are particularly problematic in an age where science is for everyone, not just the few members of an elite in their towers. ivory.

"At a time when research is seen as having value and impact beyond the academy, it is no longer the pursuit of an individual's intellectual curiosity but rather [must be] balanced by social and national priorities," Hazelkorn said.

She added that classification criteria as institutional rankings - for example, the Higher Education World University which is received with much expectation annually by the public - are "largely unsuited to a highly participatory society" because they address responsibility only within the academic sphere, not in society as a whole.

Rankings are easy to understand, but their indicators of success increase the levels of inequality and stratification in our societies, which in turn has implications for public goods. "

Simplicity also forms a large part of the appeal of individual evaluation criteria or journals such as citation counting and the periodic impact factor, says Curry. "Quantitative criteria are easy to calculate; they have a seductive pseudo-objectivity, and make our lives easier. "

Pressure and prestige
But at what cost? As Curry explained, focusing too much on these instruments may even slow down scientific progress by encouraging researchers to submit their work to the most prestigious journals, which increases the likelihood of rejection or even retraction of the article, which can also undermine the public's confidence in science.

In addition, by restricting academic interest to prestigious publications, other important activities such as teaching, communication, extension and training of young scientists are underestimated and may even be impaired.

Today, DORA has been signed by approximately 14,000 individuals and organizations. The Leiden of 2015 also gained influence in the academic community. Both documents call for a reduction in the use of quantitative criteria, or at least their use in conjunction with other qualitative criteria focusing on scientific content.

Emerging Alternatives

Science is still growing rapidly, and everyone wants to be excellent. But in the case of the reality of scientific practice, as more holistic and possibly more time-consuming methods of evaluation, can they resist the temptation to use "quick and low" criteria?

For Sarah de Rijcke, deputy director of the Center for Science and Technology Studies (CWTS) at the University of Leiden in the Netherlands - the cradle of the Leiden Manifesto - a response lies in what she calls a "portfolio approach" to evaluate science; an approach that could be adapted to a given situation, institution or researcher.

"Universal solutions are not very effective," de Rijcke said, because the kinds of research most favored by traditional methods of assessment vary across disciplines. On the contrary, for a given context of evaluation, it recommends generic principles to create a "standardized narrative" that unites the scientist's specialization, its production (publications, academic appropriations, teaching and even social media) and influence in science and society.

The DORA committee also lists examples of such approaches on its website; for example, by asking researchers to summarize their best publications and contributions in their own words in the form of a "biographical summary external link" https://sfdora.org/good-practices/funders/ (biosketch).

Stephen Curry noted that the trend of the global scientific community (also observed in Switzerland towards free access should also accelerate changes in evaluation criteria, since free access journals and digital files pre-publication  / (pre-print archives) can encourage a greater emphasis on content and transparency compared to traditional subscription periodicals.

Swiss responsibility

Loprieno told swissinfo.ch that Switzerland has an international obligation to carry out the change, given the abundance of its resources and flexibility in administrative requirements when compared to other European countries.

"I think that because we have such a well-funded system, we also have a certain responsibility to the rest of the world. Switzerland can try or try solutions more actively to see how to overcome the difficulties of the current system, "he said.

One of the biggest challenges, he added, will be to ensure that young scientists early in their careers have adequate support during the transition to more diverse evaluation criteria.

 "My solution would be to have a little more tolerance for long-term projects. We tend to support and finance in the short term, which has to do with this competitive logic. If we were to finance from a long-term perspective, this would reduce the pressure in the early stages of the [academic] career and create a more egalitarian system. "

Lopriano recognizes that a change of this magnitude in the research culture is easier said than done, which is not to say that it is impossible.

 "This is also a culture we want to review. We need to start somehow, somewhere, "he said.

Adaptation: D.v.Sperling

"Eu só quero pensar no futuro e não ficar triste." Elon Musk.
"I just want to think about the future and not be sad." Elon Musk.

This report is guaranteed to verify the address of the LINK above
Say no to fake News!
Esta reportagem tem a garantia de apuração do endereço do LINK acima.
Diga não às fake news!
Culture is not what enters the eyes and ears, 
but what modifies the way of looking and hearing
Cultura não é o que entra nos olhos e ouvidos, 
mas o que modifica a maneira de olhar e ouvir

Como os cientistas estão redefinindo o sucesso.  

Rankings de universidades, repercussão em periódicos científicos e o número de citações: há quem diga que tais critérios são antiquados para avaliar a qualidade da produção científica, e que são até um obstáculo para o progresso científico. A Suíça quer ajudar a implementar alternativas; uma tarefa que é mais fácil dita do que feita.

A obsessão atual por medidas quantitativas de excelência não é apenas prejudicial ao progresso científico e seu impacto na sociedade, mas também estressante para os cientistas, argumentam os críticos

De acordo com um relatório recente do Conselho Científico Suíço (CCS), atividades científicas diversas como o emprego de pesquisadores, a publicação de artigos, e o investimento público ou privado têm aumentado significativamente nas últimas décadas. Este crescimento causou, por sua vez, um nível de competição sem precedentes por emblemas do sucesso científico como financiamento, prêmios, posições acadêmicas e cargos em periódicos de renome, entre outros.

Com a crescente pressão para “publicar ou perecer”, critérios quantitativos de sucesso científico recebem cada vez mais peso (ver quadro), e frequentemente se baseiam nas citações de uma publicação e no fator de impacto de um periódico científico  o que pode aumentar ainda mais o incentivo que pesquisadores têm para publicar.

Critérios quantitativos comuns para avaliação científica
Índice Huma classificação numérica padronizada calculada usando-se o número de artigos científicos publicados por um pesquisador, e o número de vezes em que seus artigos foram citados. Apesar de seu objetivo ser mostrar a produtividade de um cientista e o impacto em seu campo, críticos dizem que o Índice H é demasiado simplista e não pode ser comparado através das distintas áreas da ciência.
Fator de impacto de periódicoLink externo (FIP): É usado para classificar periódicos por sua importância em suas respectivas áreas. O FIP é calculado com base no número médio de vezes que os artigos publicados por um periódico foram citados nos últimos dois anos. O FIP é um método simples de comparação, mas tem suas deficiências: ele não avalia a qualidade do artigo, nem sempre pode comparar através de diferentes áreas, e pode ser enviesado por artigos que embora sejam poucos, são muito citados.

Rankings de universidades A classificação pode ser feita com base na transferência de conhecimentos e citações, bem como no desempenho dos professores. Como mais universidades têm lutado por acesso a recursos, cientistas e estudantes, rankings globais se tornaram um instrumento cada vez mais útil para avaliar a qualidade e o impacto destas organizações. No entanto, segundo relatório da UNESCOLink externo, estes rankings criam incentivos para que as instituições se concentrem excessivamente em pesquisa de alto impacto para melhorar sua colocação, em detrimento de suas responsabilidades educacionais e sociais.

Trata-se de um “paradoxo” da ciência moderna, afirmou o presidente das Academias Suíças de Artes e Ciências, Antonio Loprieno, em uma recente conferência em Berna

“Por um lado, o uso de medidas contemporâneas de desempenho científico aumentou exponencialmente juntamente com o aumento de recursos, o que para nós é algo muito bom. Por outro lado, temos reservas quanto à sua justiça, validade e aplicabilidade”, disse Loprieno.

Para responder a essas críticas, o CCS publicou recomendações para a comunidade científica suíça com vistas a mudar a forma pela qual o Conselho avalia e financia pesquisa, notadamente através da utilização de indicadores qualitativos como complemento (e não substituto) aos indicadores quantitativos.

“Nos últimos anos, indicadores [quantitativos] têm sido progressivamente usados como substituto para a avaliação qualitativa; uma prática que tem dado incentivos errados aos pesquisadores e ameaçado a qualidade científica”, afirma o relatório.

“Uma estratégia nacional que leve em conta a diversidade de disciplinas e requisitos institucionais para uma avaliação diferenciada deveria ser promovida”.

Mais do que apenas um número

A ênfase excessiva em critérios quantitativos, dizem os críticos, leva à deterioração do próprio rigor científico que essas medidas deveriam supostamente promover; sem mencionar o tremendo estresse que implica para os próprios cientistas.

“Segundo o Google, meu Índice H é 48, o que significa que eu tenho 48 artigos que têm pelo menos 48 citações. Eu não gosto de ser reduzido a um mero número, mas existem pessoas nesse planeta que pensam sobre mim em termos de um mero número”, disse Stephen Curry, um dos palestrantes na conferência de Berna e professor de biologia estrutural no Imperial College de Londres.

“Você pode usar números para caracterizar alguns aspectos, mas a ciência é fundamentalmente uma atividade humana. Não se pode simplesmente medir a excelência na ciência; isso deve ser uma questão de juízo, discussão e opinião de especialistas”.

Curry chefia o comitê executivo da Declaração de São Francisco sobre Avaliação de Pesquisa (DORA um dos muitos esforços recentes de repensar como a própria ciência é avaliada e de identificar novas diretrizes para avaliar pesquisadores e instituições de forma mais holística, mas ainda com eficiência suficiente  para manter o avanço da ciência.

Quantificando a qualidade

Críticos também argumentam que indicadores quantitativos com o índice H são propensos a distorções pela falta de transparência quanto a seu calculo e aplicação. Para eles, esses critérios quantitativos desencorajam pesquisa diversa de alto risco e grandes retornos em favor do conformismo e da uniformidade.

Para Ellen Hazelkorn, diretora da Unidade de Pesquisa sobre Política de Educação no Instituto de Tecnologia de Dublin, esses critérios quantitativos são particularmente problemáticos em uma época onde a ciência é para todos, e não apenas para os poucos membros de uma elite em suas torres de marfim.

“No momento em que a pesquisa é vista como tendo valor e impacto além da academia, ela deixa de ser a busca da curiosidade intelectual de um indivíduo, mas sim [deve ser] equilibrada por prioridades sociais e nacionais”, disse Hazelkorn.

Ela acrescentou que critérios de classificação como rankings institucionais - por exemplo, o Higher Education World University Rankings   que é recebido com muita expectativa anualmente pelo público – são “largamente inadequados para uma sociedade altamente participativa” porque eles tratam da responsabilidade apenas dentro da esfera acadêmica, e não na sociedade como um todo.

Rankings são de fácil compreensão, mas seus indicadores de sucesso aumentam os níveis de desigualdade e estratificação em nossas sociedades, o que por sua vez tem implicações para os bens públicos”.

Simplicidade também constitui grande parte do apelo de critérios de avaliação individual ou de periódicos tais como a contagem de citações e o fator de impacto de periódicos, diz Curry. “Critérios quantitativos são fáceis de serem calculados; eles têm uma pseudo-objetividade sedutora, e facilitam nossas vidas”.

Pressão e prestígio
Mas a que custo? Como Curry explicou, concentrar-se demasiado nesses instrumentos pode até desacelerar o progresso científico ao encorajar que pesquisadores submetam seu trabalho aos periódicos de maior prestígio possível, o que aumenta a possibilidade de rejeição ou até mesmo de retratação do artigo, o que também pode minar a confiança do público na ciência.

Ademais, ao restringir o interesse acadêmico a publicações de prestígio, outras atividades importantes como ensino, comunicação, extensão e treinamento de jovens cientistas são subestimadas, podendo ser até prejudicadas.

Hoje, DORA foi assinado por aproximadamente 14.000 indivíduos e organizações. O Manifesto de LeidenLink externo 
 http://www.leidenmanifesto.org/  de 2015 também ganhou influência na comunidade acadêmica. Ambos os documentos exortam à redução da utilização de critérios quantitativos, ou pelo menos sua utilização em conjunto com outros critérios qualitativos centrados no conteúdo científico.

Alternativas emergentes

A ciência ainda está crescendo rapidamente, e todos querem ser excelentes. Mas em se tratando da realidade da prática científica, como métodos de avaliação mais holísticos, e possivelmente mais demorados, podem resistir à tentação de se utilizar critérios “rápidos e rasteiros”?

Para Sarah de Rijcke, vice-diretora do Centro de Estudos de Ciência e Tecnologia (CWTS) da Universidade de Leiden, na Holanda - o berço do Manifesto de Leiden -, uma resposta está no que ela chama de "abordagem de portfólio" para avaliar ciência; uma abordagem que poderia ser adaptada a uma dada situação, instituição ou investigador.

“Soluções universais não são muito efetivas”, disse de Rijcke, porque os tipos de pesquisa mais favorecidas pelos métodos tradicionais de avaliação variam entre disciplinas. Ao contrário, para um dado contexto de avaliação, ela recomenda princípios genéricos para se criar uma “narrativa padronizada” que una a especialização do cientista, sua produção (publicações, dotações acadêmicas, ensino e até mídia social) e influência na ciência e sociedade.

O comitê DORA também lista exemplos de tais abordagens em seu website; por exemplo, ao pedir que pesquisadores sumarizem suas melhores publicações e contribuições em suas próprias palavras no formato de um “sumário biográfico  (biosketch).

Stephen Curry observou que a tendência da comunidade científica global (também observada na Suíça  em direção ao acesso livre também deverá acelerar mudanças nos critérios de avaliação, já que periódicos de acesso livre e arquivos digitais pré-publicação  (pre-print archives) podem encorajar uma maior ênfase no conteúdo e na transparência em comparação a periódicos tradicionais por assinatura.

Responsabilidade suíça

Loprieno disse para swissinfo.ch que a Suíça tem uma obrigação internacional de levar adiante a mudança, dada a abastança de seus recursos e flexibilidade nos requisitos administrativos quando comparada a outros países europeus.

“Eu penso que como temos um sistema tão bem financiado, nós também temos certa responsabilidade com o resto do mundo. A Suíça pode experimentar ou tentar soluções de forma mais ativa para ver como superar as dificuldades do sistema atual”, disse ele.

Um dos maiores desafios, ele acrescentou, será assegurar que jovens cientistas no início de suas carreiras tenham apoio adequado durante a transição para critérios de avaliação mais diversos.

 “Minha solução seria termos um pouco mais de tolerância para projetos de longo prazo. Temos a tendência de apoiar e financiar no curto prazo, o que tem a ver com esta lógica competitiva. Se financiássemos com uma perspectiva de longo prazo, isso reduziria a pressão nos estágios iniciais da carreira [acadêmica] e criaria um sistema mais igualitário”.

Lopriano reconhece que uma mudança dessa magnitude na cultura da pesquisa é mais fácil dita do que feita, o que não significa dizer que seja impossível.

 “Esta é também uma cultura que queremos rever. Precisamos então começar de alguma maneira, em algum lugar”, disse ele.

Adaptação: D.v.Sperling

--alemão via tradutor do google
Wie Wissenschaftler den Erfolg neu definieren. 

Rankings der Universitäten, Auswirkungen auf wissenschaftliche Zeitschriften und die Anzahl der Zitationen: Einige sagen, dass solche Kriterien zur Beurteilung der Qualität der wissenschaftlichen Produktion altmodisch sind und sogar den wissenschaftlichen Fortschritt behindern. Die Schweiz will helfen, Alternativen zu implementieren; eine Aufgabe, die leichter gesagt als getan wird.

Kritiker argumentieren, dass die derzeitige Besessenheit mit quantitativen Exzellenzmaßstäben nicht nur dem wissenschaftlichen Fortschritt und seinen Auswirkungen auf die Gesellschaft abträglich ist, sondern auch eine Belastung für Wissenschaftler darstellt

Laut einem aktuellen Bericht des Swiss Scientific Council (CCS) haben diverse wissenschaftliche Aktivitäten wie die Beschäftigung von Forschern, die Veröffentlichung von Artikeln sowie öffentliche oder private Investitionen in den letzten Jahrzehnten stark zugenommen. Dieses Wachstum hat wiederum zu einem beispiellosen Wettbewerb um Embleme mit wissenschaftlichem Erfolg geführt, wie beispielsweise Finanzierung, Preise, akademische Positionen und Positionen in renommierten Zeitschriften.

Angesichts des wachsenden Drucks, "zu veröffentlichen oder zu verderben", werden quantitative Kriterien für den wissenschaftlichen Erfolg immer wichtiger (siehe Kasten) und basieren oft auf Zitaten aus einer Veröffentlichung und auf dem Einflussfaktor einer wissenschaftlichen Zeitschrift, was den Anreiz weiter erhöhen kann die Forscher veröffentlichen müssen.

Gemeinsame quantitative Kriterien für die wissenschaftliche Bewertung
Index Eine standardisierte numerische Klassifizierung, die anhand der Anzahl der von einem Forscher veröffentlichten wissenschaftlichen Arbeiten und der Anzahl der zitierten Artikel berechnet wird. Obwohl es das Ziel ist, die Produktivität eines Wissenschaftlers und die Auswirkungen auf sein Fachgebiet darzustellen, sagen die Kritiker, Index H sei zu simpel und kann nicht zwischen den verschiedenen Wissenschaftsbereichen verglichen werden.
Periodic Impact Factor External Link (FIP): Er wird verwendet, um Zeitschriften nach ihrer Bedeutung in ihren jeweiligen Bereichen zu klassifizieren. Die Berechnung des FIP basiert auf der durchschnittlichen Anzahl der von einer Zeitschrift veröffentlichten Artikel in den letzten zwei Jahren. FIP ist eine einfache Vergleichsmethode, hat jedoch ihre Mängel: Es bewertet nicht die Qualität des Artikels, kann nicht immer in verschiedenen Bereichen verglichen werden und kann durch Artikel, die wenig oder weit voneinander entfernt sind, verzerrt werden.

Rankings von Universitäten Die Klassifizierung kann auf der Grundlage des Wissenstransfers und der Zitate sowie der Leistung der Lehrkräfte erfolgen. Da immer mehr Universitäten um den Zugang zu Ressourcen, Wissenschaftlern und Studenten kämpfen, werden globale Rankings zu einem zunehmend nützlichen Instrument für die Bewertung der Qualität und der Auswirkungen dieser Organisationen. Laut einem externen UNESCOLink-Bericht schaffen diese Rankings jedoch Anreize für Institutionen, sich zu stark auf die Forschung mit hohem Einfluss zu konzentrieren, um ihre Platzierung zum Nachteil ihrer erzieherischen und sozialen Verantwortung zu verbessern.

Es ist ein "Paradox" der modernen Wissenschaft, sagte der Präsident der Akademien der Wissenschaften Schweiz, Antonio Loprieno, kürzlich auf einer Konferenz in Bern

"Auf der einen Seite hat die Verwendung zeitgenössischer Maßstäbe für wissenschaftliche Leistungen mit der Zunahme der Ressourcen exponentiell zugenommen, was für uns eine sehr gute Sache ist. Auf der anderen Seite haben wir Vorbehalte hinsichtlich ihrer Fairness, Gültigkeit und Anwendbarkeit." sagte Loprieno.

Als Reaktion auf diese Kritik hat der SCC der Schweizer Wissenschaftsgemeinschaft Empfehlungen gegeben, die Art und Weise, wie der Rat die Forschung bewertet und finanziert, zu ändern, insbesondere durch die Verwendung von qualitativen Indikatoren als Ergänzung (nicht als Ersatz) zu quantitativen Indikatoren.

"In den letzten Jahren wurden [quantitative] Indikatoren schrittweise als Ersatz für die qualitative Bewertung verwendet; eine Praxis, die Forscher zu falschen Anreizen geführt hat und die wissenschaftliche Qualität gefährdet hat", heißt es in dem Bericht.

"Eine nationale Strategie, die die Vielfalt der Disziplinen und die institutionellen Anforderungen für eine differenzierte Bewertung berücksichtigt, sollte gefördert werden."

Mehr als nur eine Zahl

Kritiker sagen, dass die Überbewertung von quantitativen Kriterien zu einer Verschlechterung der wissenschaftlichen Strenge selbst führt, die diese Maßnahmen fördern sollen. Ganz zu schweigen von dem enormen Stress, den dies für die Wissenschaftler selbst bedeutet.

"Laut Google ist mein H-Index 48, was bedeutet, dass ich 48 Artikel mit mindestens 48 Zitaten habe. Ich mag es nicht, auf eine bloße Zahl reduziert zu werden, aber es gibt Menschen auf diesem Planeten, die über mich nachdenken von einer bloßen Zahl ", sagte Stephen Curry, Dozent an der Berner Konferenz und Professor für Strukturbiologie am Imperial College London.

"Sie können Zahlen verwenden, um einige Aspekte zu charakterisieren, aber Wissenschaft ist im Wesentlichen eine menschliche Tätigkeit. Man kann nicht einfach Exzellenz in Wissenschaft messen. Dies sollte eine Frage des Urteils, der Diskussion und der Meinung von Experten sein."

Curry ist Vorsitzender des Exekutivausschusses der San Francisco Declaration of Research Assessment (DORA), einer der zahlreichen Bemühungen der jüngsten Zeit, die Bewertung der Wissenschaft selbst neu zu überdenken und neue Richtlinien für die ganzheitliche Bewertung von Forschern und Institutionen zu finden, die jedoch immer noch effizient genug sind, um den Fortschritt zu sichern der Wissenschaft.

Quantifizierung der Qualität

Kritiker argumentieren auch, dass quantitative Indikatoren mit dem H-Index aufgrund mangelnder Transparenz bei der Berechnung und Anwendung zu Verzerrungen neigen. Diese quantitativen Kriterien schrecken für sie von diversen Hochrisiko-Forschungen und großen Erträgen für Konformismus und Einheitlichkeit ab.

Für Ellen Hazelkorn, Direktor der Policy Research Unit am Dublin Institute of Technology, sind diese quantitativen Kriterien besonders problematisch in einer Zeit, in der Wissenschaft für alle gilt, nicht nur für die wenigen Mitglieder einer Elite in ihren Türmen. Elfenbein.

"In einer Zeit, in der Forschung über die Akademie hinaus als wertvoll und wirkungsvoll angesehen wird, ist es nicht länger das Streben nach intellektueller Neugier eines Individuums, sondern muss durch soziale und nationale Prioritäten ausgeglichen werden", sagte Hazelkorn.

Sie fügte hinzu, dass Kriterien für ein Ranking als institutionelles Ranking - zum Beispiel das Ranking der Higher Education World University, das jedes Jahr mit großer Vorfreude von der Öffentlichkeit angenommen wird - "für eine stark partizipatorische Gesellschaft weitgehend ungeeignet sind", weil sie nur im akademischen Bereich Verantwortung übernehmen. und nicht in der Gesellschaft insgesamt.

Rankings sind leicht zu verstehen, aber ihre Erfolgsindikatoren erhöhen die Ungleichheit und die Schichtung in unseren Gesellschaften, was wiederum Auswirkungen auf die öffentlichen Güter hat. "

Curry erklärt, dass Einfachheit auch einen großen Teil der Attraktivität einzelner Bewertungskriterien oder Zeitschriften wie der Zitierzählung und des periodischen Einflussfaktors ausmacht. "Quantitative Kriterien sind leicht zu berechnen; sie haben eine verführerische Pseudoobjektivität und erleichtern uns das Leben."

Druck und Prestige
Aber zu welchen Kosten? Wie Curry erläuterte, könnte die Fokussierung auf diese Instrumente zu einer Verlangsamung des wissenschaftlichen Fortschritts führen, indem Forscher dazu ermutigt werden, ihre Arbeiten bei den renommiertesten Fachzeitschriften einzureichen, was die Wahrscheinlichkeit einer Ablehnung oder gar eines Widerrufs des Artikels erhöht, was auch das Vertrauen der Öffentlichkeit in Frage stellen kann Wissenschaft.

Durch die Beschränkung des akademischen Interesses auf prestigeträchtige Publikationen werden zudem andere wichtige Aktivitäten wie Unterrichten, Kommunikation, Ausbau und Ausbildung junger Wissenschaftler unterschätzt und können sogar beeinträchtigt werden.

Heute wurde DORA von rund 14.000 Einzelpersonen und Organisationen unterzeichnet. Das LeidenLink-Manifest extern
http://www.leidenmanifesto.org/ von 2015 gewann auch Einfluss in der akademischen Gemeinschaft. Beide Dokumente fordern eine Verringerung der Verwendung quantitativer Kriterien oder zumindest ihre Verwendung in Verbindung mit anderen qualitativen Kriterien, die sich auf wissenschaftliche Inhalte konzentrieren.

Aufkommende Alternativen

Die Wissenschaft wächst immer noch schnell und alle wollen ausgezeichnet sein. Aber können sie im Fall der Realität der wissenschaftlichen Praxis als ganzheitlichere und möglicherweise zeitaufwendigere Bewertungsmethoden der Versuchung widerstehen, "schnelle und niedrige" Kriterien zu verwenden?

Für Sarah de Rijcke, stellvertretende Direktorin des Zentrums für Wissenschafts- und Technologiestudien (CWTS) der Universität von Leiden in den Niederlanden - die Wiege des Leiden-Manifests - liegt eine Antwort in dem, was sie als "Portfolio-Ansatz" zur Bewertung der Wissenschaft bezeichnet; ein Ansatz, der an eine bestimmte Situation, Institution oder Forscher angepasst werden könnte.

"Universelle Lösungen sind nicht sehr effektiv", sagte de Rijcke, weil die Arten der Forschung, die von traditionellen Bewertungsmethoden am meisten bevorzugt werden, zwischen den Disziplinen variieren. Im Gegenteil, es empfiehlt im Rahmen eines Evaluationskontextes generische Prinzipien, um eine "standardisierte Erzählung" zu schaffen, die die Spezialisierung des Wissenschaftlers, seine Produktion (Publikationen, akademische Aneignungen, Unterricht und sogar soziale Medien) und Einfluss in Wissenschaft und Gesellschaft vereint.

Das DORA-Komitee listet auf seiner Website auch Beispiele für solche Ansätze auf. B. indem Forscher gebeten werden, ihre besten Publikationen und Beiträge in eigenen Worten in Form einer "Bioskete" zusammenzufassen.

Stephen Curry wies darauf hin, dass die Tendenz der globalen wissenschaftlichen Gemeinschaft (die auch in der Schweiz zum freien Zugang verfolgt wird) Änderungen der Bewertungskriterien beschleunigen sollte, da Open-Access-Zeitschriften und Pre-Print-Archive im Vergleich zu herkömmlichen Abonnements eine stärkere Betonung des Inhalts und der Transparenz fördern können Zeitschriften.

Schweizer Verantwortung

Loprieno sagte gegenüber swissinfo.ch, dass die Schweiz angesichts der Fülle an Ressourcen und der Flexibilität der Verwaltungsanforderungen im Vergleich zu anderen europäischen Ländern eine internationale Verpflichtung zur Durchführung der Änderung hat.

"Ich denke, weil wir über ein so gut finanziertes System verfügen, haben wir auch eine gewisse Verantwortung gegenüber dem Rest der Welt. Die Schweiz kann aktiver versuchen oder versuchen, Lösungen zu finden, um die Schwierigkeiten des gegenwärtigen Systems zu überwinden", sagte er .

Er fügte hinzu, eine der größten Herausforderungen sei es, sicherzustellen, dass junge Wissenschaftler zu Beginn ihrer Laufbahn angemessene Unterstützung beim Übergang zu vielfältigeren Bewertungskriterien erhalten.

"Meine Lösung wäre, ein wenig mehr Toleranz für langfristige Projekte zu haben. Wir neigen dazu, kurzfristig zu unterstützen und zu finanzieren, was mit dieser Wettbewerbslogik zu tun hat. Wenn wir langfristig finanzieren, dann dies würde den Druck in den frühen Stadien der [akademischen] Karriere verringern und ein egalitäres System schaffen. "

Lopriano erkennt an, dass eine Änderung dieser Größenordnung in der Forschungskultur leichter gesagt als getan wird, was nicht heißt, dass dies unmöglich ist.

"Dies ist auch eine Kultur, die wir überprüfen wollen. Wir müssen irgendwo anfangen", sagte er.

--ru via tradutor do google
Как ученые переопределяют успех. 

Рейтинги университетов, последствия для научных журналов и количество ссылок: некоторые говорят, что такие критерии устарели для оценки качества научной продукции и что они даже являются препятствием для научного прогресса. Швейцария хочет помочь реализовать альтернативы; задача, которую легче сказать, чем сделать.

Критики утверждают, что нынешняя одержимость количественными показателями совершенства не только наносит ущерб научному прогрессу и его влиянию на общество, но и вызывает стресс у ученых.

Согласно недавнему докладу Швейцарского научного совета (CCS), в последние десятилетия значительно возросла разнообразная научная деятельность, такая как трудоустройство исследователей, публикация статей и государственные или частные инвестиции. Этот рост, в свою очередь, привел к беспрецедентному уровню конкуренции за эмблемы научного успеха, такие как финансирование, награды, академические должности и должности в известных журналах, среди других.

В связи с растущим давлением «публиковать или исчезать» количественные критерии научного успеха приобретают все больший вес (см. Вставку) и часто основаны на цитатах из публикации и на факторе воздействия научного журнала, что может еще больше повысить стимул что исследователи должны опубликовать.

Общие количественные критерии для научной оценки
Индекс Стандартизированная числовая классификация, рассчитанная с использованием количества научных работ, опубликованных исследователем, и количества цитирований их статей. Хотя его цель состоит в том, чтобы показать продуктивность ученого и влияние на его область, критики говорят, что Индекс H слишком упрощен и не может сравниваться в различных областях науки.
Внешняя ссылка периодического фактора воздействия (FIP): используется для классификации журналов по их важности в соответствующих областях. FIP рассчитывается на основе среднего числа цитирований статей, опубликованных журналом, за последние два года. FIP - это простой метод сравнения, но у него есть свои недостатки: он не оценивает качество статьи, он не всегда может сравниваться по разным областям и может искажаться по статьям, которые немногочисленны.

Рейтинги университетов Классификация может быть сделана на основе передачи знаний и цитат, а также на результатах работы учителей. Поскольку все больше университетов борются за доступ к ресурсам, ученым и студентам, глобальные рейтинги становятся все более полезным инструментом для оценки качества и воздействия этих организаций. Однако, согласно внешнему отчету UNESCOLink, эти рейтинги создают стимулы для учреждений чрезмерно концентрироваться на исследованиях с высокой отдачей, чтобы улучшить их размещение, в ущерб их образовательным и социальным обязанностям.

Это «парадокс» современной науки, заявил президент Швейцарской академии искусств и наук Антонио Лоприено на недавней конференции в Берне.

«С одной стороны, использование современных показателей научной деятельности возросло в геометрической прогрессии наряду с увеличением ресурсов, что для нас является очень хорошей вещью. С другой стороны, у нас есть сомнения относительно его справедливости, обоснованности и применимости». сказал Лоприено.

В ответ на эту критику ГТК выпустил рекомендации для швейцарского научного сообщества об изменении способа, которым Совет оценивает и финансирует исследования, в частности путем использования качественных показателей в качестве дополнения (а не замены) к количественным показателям.

«В последние годы [количественные] индикаторы постепенно использовались в качестве замены качественной оценки; эта практика давала исследователям неправильные стимулы и угрожала научному качеству», - говорится в докладе.

«Следует продвигать национальную стратегию, которая учитывает разнообразие дисциплин и институциональных требований для дифференцированной оценки».

Больше, чем просто число

По словам критиков, переоценка количественных критериев приводит к ухудшению самой научной строгости, которую должны продвигать эти меры; не говоря уже о том огромном стрессе, который он несет для самих ученых.

«По данным Google, мой H-индекс равен 48, что означает, что у меня есть 48 статей, в которых есть как минимум 48 ссылок. Мне не нравится, когда меня сокращают до простого числа, но на этой планете есть люди, которые думают обо мне с точки зрения о простом числе », - сказал Стивен Карри, лектор Бернской конференции и профессор структурной биологии в Имперском колледже Лондона.

«Вы можете использовать числа, чтобы охарактеризовать некоторые аспекты, но наука - это в основном человеческая деятельность. Нельзя просто измерить превосходство в науке; это должно быть вопросом суждения, обсуждения и экспертного мнения».

Карри возглавляет исполнительный комитет Сан-Францисской декларации об оценке исследований (DORA), одной из многих недавних попыток переосмыслить, как оценивается сама наука, и определить новые руководящие принципы для оценки исследователей и учреждений более целостным, но все же с достаточной эффективностью, чтобы сохранить прогресс науки.

Количественная оценка качества

Критики также утверждают, что количественные показатели с индексом H подвержены искажениям из-за отсутствия прозрачности в их расчете и применении. Для них эти количественные критерии не поощряют разнообразные исследования с высокой степенью риска и большие выгоды в пользу конформизма и единообразия.

Для Эллен Хазелкорн, директора отдела политических исследований в Дублинском технологическом институте, эти количественные критерии особенно проблематичны в эпоху, когда наука предназначена для всех, а не только для немногих членов элиты в своих башнях. цвета слоновой кости.

«В то время, когда исследование рассматривается как имеющее ценность и влияние за пределами академии, оно больше не преследует интеллектуальное любопытство человека, а скорее [должно] быть сбалансировано социальными и национальными приоритетами», - сказал Хазелкорн.

Она добавила, что критерии для ранжирования в качестве институциональных рейтингов - например, рейтинги университетов мира по высшему образованию, которые ежегодно с большим ожиданием воспринимаются общественностью, - "в значительной степени не подходят для общества с широким участием", поскольку они касаются ответственности только в академической сфере, а не в обществе в целом.

Рейтинги легко понять, но их показатели успеха увеличивают уровни неравенства и расслоения в наших обществах, что, в свою очередь, имеет значение для общественных благ. "

По словам Карри, простота также составляет большую часть привлекательности отдельных критериев оценки или журналов, таких как подсчет цитирования и периодический фактор воздействия. «Количественные критерии легко вычислить; они обладают соблазнительной псевдообъективностью и облегчают нашу жизнь».

Давление и престиж
Но какой ценой? Как объяснил Карри, слишком большое внимание к этим инструментам может даже замедлить научный прогресс, побуждая исследователей представлять свои работы в самых престижных журналах, что увеличивает вероятность отклонения или даже отказа от статьи, что также может подорвать доверие общественности к наука.

Кроме того, из-за ограничения академического интереса к престижным публикациям другие важные виды деятельности, такие как обучение, общение, повышение квалификации и подготовка молодых ученых, недооцениваются и могут даже ухудшаться.

Сегодня DORA подписали около 14 000 частных лиц и организаций. ЛейденЛинк Манифест Внешний
http://www.leidenmanifesto.org/ of 2015 также получил влияние в академическом сообществе. Оба документа предусматривают сокращение использования количественных критериев или, по крайней мере, их использование в сочетании с другими качественными критериями, ориентированными на научное содержание.

Новые альтернативы

Наука все еще быстро растет, и все хотят быть превосходными. Но в случае реальности научной практики, как более целостных и, возможно, более трудоемких методов оценки, могут ли они противостоять искушению использовать «быстрые и низкие» критерии?

Для Сары де Рийке, заместителя директора Центра научных и технологических исследований (CWTS) Лейденского университета в Нидерландах - колыбели Лейденского манифеста - ответ заключается в том, что она называет «портфельным подходом» для оценки науки; подход, который может быть адаптирован к конкретной ситуации, учреждению или исследователю.

«Универсальные решения не очень эффективны», - сказал де Рийке, потому что виды исследований, наиболее предпочтительные для традиционных методов оценки, варьируются в зависимости от дисциплины. Напротив, для данного контекста оценки он рекомендует общие принципы для создания «стандартизированного нарратива», объединяющего специализацию ученого, его производство (публикации, академические ассигнования, преподавание и даже социальные сети) и влияние в науке и обществе.

Комитет DORA также перечисляет примеры таких подходов на своем веб-сайте; например, попросив исследователей обобщить свои лучшие публикации и вклады своими словами в форме «биоскетча».

Стивен Карри отметил, что тенденция мирового научного сообщества (также наблюдаемая в Швейцарии к свободному доступу должна также ускорить изменения в критериях оценки, поскольку журналы открытого доступа и пре-печатные архивы могут стимулировать больший акцент на контент и прозрачность по сравнению с традиционной подпиской). периодические издания.

Швейцарская ответственность

Лоприено сообщил swissinfo.ch, что Швейцария имеет международное обязательство проводить изменения, учитывая обилие своих ресурсов и гибкость в административных требованиях по сравнению с другими европейскими странами.

«Я думаю, что, поскольку у нас такая хорошо финансируемая система, мы также несем определенную ответственность перед остальным миром. Швейцария может более активно пробовать или пробовать решения, чтобы увидеть, как преодолеть трудности нынешней системы», - сказал он. ,

Он добавил, что одной из самых больших проблем будет обеспечение того, чтобы молодые ученые в начале своей карьеры получали адекватную поддержку при переходе к более разнообразным критериям оценки.

«Мое решение состояло бы в том, чтобы иметь немного больше терпимости к долгосрочным проектам. Мы склонны поддерживать и финансировать в краткосрочной перспективе, что связано с этой конкурентной логикой. Если бы мы финансировали в долгосрочной перспективе, это уменьшит давление на ранних этапах [академической] карьеры и создаст более эгалитарную систему ».

Лоприано признает, что изменение этой величины в исследовательской культуре легче сказать, чем сделать, что не означает, что это невозможно.

«Это также культура, которую мы хотим пересмотреть. Нам нужно как-то начать где-то», - сказал он.

--chines simplificado via tradutor do google





定期影响因子外部链接(FIP):用于根据日记在各自领域的重要性对其进行分类。 FIP是根据过去两年中引用期刊发表的文章的平均次数计算得出的。 FIP是一种简单的比较方法,但它有它的缺点:它不评估文章的质量,它不能总是在不同的区域进行比较,并且可能被少数和远远的文章所扭曲。


瑞士艺术与科学院院长Antonio Loprieno最近在伯尔尼举行的一次会议上说,这是现代科学的“悖论”。

“一方面,随着资源的增加,当代科学表现指标的使用呈指数增长,这对我们来说是一件非常好的事情。另一方面,我们对其公平性,有效性和适用性有所保留,” Loprieno说。













她补充说,作为机构排名的排名标准 - 例如,公众每年都非常期待的高等教育世界大学排名 - “在很大程度上不适合高度参与的社会”,因为他们只在学术领域内负责,而不是整个社会。

排名很容易理解,但他们的成功指标增加了我们社会中的不平等和分层程度,这反过来又对公共产品产生影响。 “

库里说,简单性也是个人评估标准或期刊(如引文计数和周期性影响因子)吸引力的重要组成部分。 “定量标准很容易计算;它们具有诱人的伪客观性,使我们的生活更轻松。”






对于荷兰莱顿大学 - 莱顿宣言的摇篮 - 科学与技术研究中心(CWTS)副主任Sarah de Rijcke来说,回应在于她所谓的“投资组合方法”来评估科学;一种可以适应特定情况,机构或研究人员的方法。

“通用解决方案不是很有效,”de Rijcke说,因为传统评估方法最受青睐的研究种类因学科而异。相反,对于给定的评估环境,它建议通用原则来创建“标准化叙述”,将科学家的专业化,生产(出版物,学术拨款,教学甚至社交媒体)与科学和社会的影响联系起来。





“我认为,因为我们拥有这样一个资金充足的系统,我们对世界其他地方也有一定的责任。瑞士可以更积极地尝试或尝试解决方案,看看如何克服当前系统的困难,”他说。 。