Schwierig zu messen

Die Evaluation von Forschern und Universitäten: Möglichkeiten und Grenzen

Mitteilungen
Issue
2023/01
DOI:
https://doi.org/10.4414/cvm.2023.02266
Cardiovasc Med. 2023;26:w02266

Affiliations
Center for Moleculal Cardiology, Universität Zürich, Schweiz und Royal Brompton and Harefield Hospitals, Imperial College and Kings College, London, United Kingdom

Published on 25.01.2023

Schwierig zu messen.

Spieglein, Spieglein an der Wand,
wer ist die Schönste im ganzen Land?
Grimms Märchen
Jede Tätigkeit muss sich heute einer Überprüfung stellen, so auch die Forschung. Ja, neben der Industrie sind staatliche Institutionen wie beispielswese der Schweizerische Nationalfonds, die Deutsche Forschunggemeinschaft, das National Institute of Health Research im United Kingdom and das National Institute of Health in den USA die wichtigsten Geldgeber. Dies gilt praktisch für die gesamte Grundlagenforschung, aber auch für weite Teile der klinischen Forschung, bei der Industriemittel auch von Bedeutung sind. Entsprechend wollen die Politik und die Gesellschaft, die mit ihren Steuern die Forschung unterstützen, mit gutem Recht wissen, was mit diesen Mitteln, die sie zur Verfügung stellen, geschieht. Neben den Forschungsergebnissen selbst gehört dazu auch die Evaluation der durch staatliche Mittel unterstützten Institutionen und deren Forscher.

Ranking von Universitäten

Institutionen der Forschung, so auch die Schweizer Universitäten, werden von verschiedener Seite evaluiert und einem Ranking zugeführt. Die meistbeachteten Rankings sind dabei jenes von Quacquarelli Symonds, von Times Higher Education und das ShanghaiRanking (Academic Ranking of World Universities; ARWU) neben anderen. Diese Rating Agenturen verwenden leider nicht durchweg die gleichen Kriterien, weshalb auch das Ranking von Institutionen zum Teil recht unterschiedlich ausfällt (Tab. 1). Geratet werden je nach Ranking-Agentur Finanzierungs- und Ausstattungsart, Forschungsexzellenz und/oder -impact, Zulassungskriterien und Möglichkeiten für Studenten, Preise und Auszeichnungen, Internationalisierung, späterer Berufserfolg von Absolventen, Zusammenarbeit mit der forschenden Industrie und anderes mehr. Kaum mehr akzeptiert sind Einschätzungen von Experten oder die allgemeine Reputation, da sie sehr subjektiv sind.
Tabelle 1: Ranking der Schweizer Universitäten mit medizinischen und/oder naturwissenschaftlichen Fakultäten im Jahr 2021 durch verschiedene Agenturen. Angegeben ist die Position im Ranking (je geringer die Zahl, umso höher das Ranking). Integrated Ranking gibt die Summe des Ranking aller drei Agenturen wieder.
CH UniversitätTimes Higher EducationQuacquarelli SymondsShanghai (ARWU)Integrales RankingRanking CH
Basel103138873284
Bern101119>100–1503455
ETH Zürich15821441
EPFL Lausanne4014911452
Genf197106603636
Lausanne176176>100–1504777
Zürich7570541993
In Tabelle 1 sind die sieben wichtigsten und forschungsaktivsten Universitäten aufgeführt. Kleinere Hochschulen wie Luzern, Fribourg und die Universià della Svizzera Italiana oder Institutionen mit nur wenigen Fakultäten wie die Universität St. Gallen (Oekonomie und Recht) sind im Ranking weit hinten anzutreffen. Um ein ausgewogenes Bild zu erhalten, gibt Tabelle 1 auch das integrale Ranking (Summe aller Positionen in den drei wichtigsten Rankings; für Bern und Lausanne ungenau wegen ARWU) wieder und klassifiziert dann aufgrund dieser Zahlen die sieben Schweizer Universitäten. Dabei zeigt erneut die ETH Zürich ihre Führungsrolle vor ihrer Schwesterorganisation in Lausanne und der Universität Zürich.
Die häufig beachtete ARWU (ShanghaiRanking) verwendet sechs objektive Indikatoren, um Universitäten weltweit einzustufen, darunter die Anzahl der Alumni und Mitarbeiter, die Nobelpreise und Fields-Medaillen erhalten haben, die Anzahl der von Clarivate Analytics ausgewählten häufig zitierten Forscher, die Anzahl der in den Zeitschriften Nature und Science veröffentlichten Artikel, die Anzahl der darin indexierten Artikel, sowie ein Zitationsindex und die Pro-Kopf-Leistung einer Universität. Während Nobelpreise eine eher seltene Auszeichnung von Forschern und damit ihrer Alma Mater sind (Abb. 1), gewinnen die highliy cited scientists für das Ranking der Universitäten an Gewicht.
Abbildung 1: Nobelpreisträger der Medizin aus der Schweiz seit Gründung des Preises. V.l.n.r.: Theodor Kocher (1841–1917), Walter R. Hess (1881–1973), Thadeus Reichstein (1887–1986), Werner Arber (*1929) und Rolf Zinkernagel (*1944).
Die insgesamt wohl am ehesten als «objektiv» zu nennenden Kriterien betrifft neben den Auszeichnungen der Forschungsoutput. Dabei spielen aufgrund ihrer Zahl vor allem die «highly cited scientists» eine wichtige Rolle, d.h. in der Regel die 1% oder 0.1% best cited weltweit. In der Schweiz wurden seit der Vergabe des Nobelpreises 31 Forscher ausgezeichnet, die entweder Schweizer Bürger waren, in der Schweiz geboren wurden und/oder in der Schweiz ihre Entdeckungen gemacht haben (Tab. 2). Nicht alle diese Forscher haben ein Leben lang an Schweizer Universitäten gearbeitet; viele, wie beispielsweise Albert Einstein, waren an zahlreichen Institutionen in der Schweiz, in Europa und den USA tätig. Die Anzahl von 30 Nobelpreisträgern überschätzt daher den Anteil der Schweiz an diesen Auszeichnungen. Auffallend ist der hohe Anteil von Ausländern, die in der Schweiz arbeiteten, gegenüber der recht geringen Zahl von Nobelpreisträgern, die gebürtige Schweizer sind oder waren.

Highly Cited Scientists

ResearchGate hat gerade vor kurzem eine Liste der bestzitierten Schweizer Forscher publiziert. Dabei finden sich unter den drei Medaillisten ein Biologe, ein Epidemiologe und ein Kardiologe (Tab. 3). Bei der Analyse wurde ausschliesslich der h-Index verwendet. Der h-Index ist eine Bewertung der kumulativen Wirkung des wissenschaftlichen Outputs und der Leistung eines Autors; er misst Quantität und Qualität, indem er Publikationen mit Zitaten vergleicht. Der h-Index korrigiert das überproportionale Gewicht häufig zitierter oder noch nicht zitierter Publikationen.

Lassen sich Forscher ranken?

Kann man Forschung messen? Gewiss haben fundamentale Entdeckungen wie die Tuberkelbakterien, das Penicillin und das Streptomycin wie auch Impfungen und Geräte, wie der Defibrillator oder der Ballonkatheter, die Medizin neu gestaltet und nachweisbar Millionen Menschen vor Gebrechen und Krankheit gerettet.
Viele Entdeckungen aber erfolgen in kleinen Schritten, an denen zahllose Forscher arbeiten, sich gegenseitig informieren, diskutieren und beeinflussen, schliesslich lesen und zitieren. Nicht selten schaffen diese Entdeckungen die Grundlage für den Fortschritt der Medizin. Gerade deshalb ist der Zitationsindex, oder eben der h-Index, ein wichtiges Mittel für das Ranking von Forschern. Citare (lat.) meinte einst bei den Römern «herbeirufen», «aufrufen», «als Zeugen vorladen», «kommen lassen» – kurzum, Zitieren ist die Anerkennung, dass ein Forscher etwas Wichtiges zu berichten hatte.
Tabelle 2: Namen und Forschungsgebiet von Nobelpreisträgern, die in der Schweiz geboren, aufgewachsen und studiert oder vorübergehend oder permanent seit Bestehen des Preises gearbeitet haben.
NameBereichJahrForschungsgebietUniversität
Theodor KocherMedizin1909SchilddrüsenchirurgieBern
Paul H. MüllerMedizin1948Insektizide, insbesondere DDTGeigy Basel
Walter R. HessMedizin1949NeurophysiologieZürich
Taddeusz ReichsteinMedizin1950Isolation von KortisonETH Zürich
Daniel Bovet1Medizin1957NeurotransmitterInstituto Superiore di Sanità Rom
Werner ArberMedizin1978RestriktionsenzymeBasel
Edmond H. Fischer1Medizin1992Protein PhosphorylierungUniversität Washington
Rolf M. ZinkernagelMedizin1996Zelluläre ImmunabwehrZürich
Alfred WernerChemie1913KoordinationsverbindungZürich
Paul KarrerChemie1937VitamineZürich
Leopold RuzickaChemie1939Polymethylene, SexualhormoneETH Zürich
Herman StraudingerChemie1953Makromoleküle (Polymere)ETH Zürich
Vladimir PrelogChemie1975Stereochemie organischer MoleküleETH Zürich
Richard ErnstChemie1991NMR SpektroskopieETH Zürich
Kurt WüthrichChemie2002NMR Spektroskopie von ProteinenETH Zürich
Alfred WernerPhysik1913Octahedrale molekulare GeometrieZürich
Charles E. GuillaumePhysik1920Stahl-/NickelstahlverbindungETH Zürich Intl. Büro für Gewicht und Mass, Sèvres
Erwin SchrödingerPhysik1933Quantenphysik, Schrödinger-FormelZürich
Albert EinsteinPhysik1921Photoelektrischer EffektZürich und ETH Zürich
Peter DebyePhysik1936Molekulare StrukturETH Zürich
Wolfgang PauliPhysik1945Paulisches AusschliessungsprinzipETH Zürich
Felix BlochPhysik1952Nukleare Präzisionsmessungen, FerromagnetismusCERN ETH ZH Stanford
Heinrich RohrerPhysik1986RastertunnelmikroskopIBM Institut Zürich
Karl Alexander MüllerPhysik1987SupraleiterIBM Institut Zürich
Theodor MommsenLiteratur1902Geschichte RomsZürich
Carl SpittelerLiteratur1919Olympischer Frühling 
Hermann HesseLiteratur1946Gesamtwerk 
Henry DunantFrieden1901Rotes KreuzGenf
Elie Ducommun und Charles-Gilbert GobatFrieden1902FriedensaktivitätIntl. Büro für den Frieden
1 Aufgewachsen in der Schweiz und Studium an der Universität Genf
Wer zitiert wird, bringt die Forschung anderer weiter und so gestalten viele die Medizin der Zukunft. Ja, mit dem Zitationsindex lassen sich, entgegen allen Verunglimpfungen durch Zukurzgekommene, Nobelpreise vorhersagen. Dabei müssen die Arbeiten, wie dies das Beispiel von Kurt Wüthrich zeigt, nicht zwingend in Nature oder Science erscheinen (wie beim ShanghaiRating vorgesehen); wenn sie Bedeutendes berichten, werden Artikel aus vielen Zeitschriften zitiert. Ein Drittel der Publikationen in Nature oder Science und anderen hoch angesehenen Zeitschriften werden sogar kaum oder gar nicht zitiert.
Neben den Zitationen sind gewiss auch Patente wichtig; Patente aber, die auch zu Produkten führen, was sicher bei der Mehrheit nicht der Fall ist. Dennoch zeigt sich auch im Quervergleich, dass Länder mit hoher wissenschaftlicher Produktivität besonders viele Patente hervorbringen.
Ein wichtiger Nachteil des Zitationsrankings ist die Berücksichtigung von Guidelines und Konsensus-Dokumenten, da es sich dabei nicht um Forschung handelt und der Beitrag der jeweils zahllosen Autoren nicht klar bestimmt werden kann. Auch werden Autoren, die vor allem als Ko-Autoren Karriere machen, und davon gibt es gerade in der Medizin eine ganze Menge, in ihrer wissenschaftlichen Geltung masslos überschätzt. Schliesslich wird in Multicenter-Studien ein Teil der Ko-Autoren aufgrund ihrer Rekrutierungsleistung und nicht nur oder überhaupt nicht aufgrund ihres intellektuellen Beitrags zum Projekt gelistet – auch hier kommt es zu einem unangemessenen h-Index. Hier wären bessere Messmethoden, wie dies Artificial Intelligence und Machine Learning erlauben dürften, ein Bedarf.
Tabelle 3: Liste der 10 bestzitierten Schweizer Forscher im Bereich Medizin und Life Sciences (aufgrund der ResearchGate-Analyse von 2022).
Nameh-IndexFachgebietUniversität
Mark A. Rudin163PräzisionsonkologieDepartment for BioMedical Research, Universität Bern
Mathias Egger161Epidemiologie und StatistikInstitut für Sozial und Präventivmedizin, Universität Bern
Thomas F. Lüscher154Kardiologie, speziell Arteriosklerose und koronare HerzkrankheitCenter for Molecular Cardiology, Universität Zürich. Imperial College London
Michael Weller153Neurologie, speziell entzündliche ErkrankungenUniversitätsspital und Universität Zürich
Stefan Windecker151Kardiologie, speziell interventionelle KardiologieInselspital Bern und Universität Bern
Thomas J. Smith149Malaria epidemiology, and simulation modellingSwiss Tropical and Public Health Institute, Universität Basel
Nikolaus P. Land140ParadontologieUniversität Bern
Johann Auwerx138Intergative Systems PhysiologyÉcole Polytechnique Fédérale in Lausanne
Rolf Zinkernagel137Immunologie, speziellInstitut für Immunologie, Universität Zürich
Cezmi A. Akdis132Allergologie, speziellInstitut für Allergieforschung, Universität Zürich

Wie soll man Universitäten ranken?

Die Aufgabe von akademischen Institutionen ist Lehre und Forschung. Nun ist die Lehre schwierig zu messen. Wie wäre dies zu erreichen? Man kann die Studenten befragen, doch kann dies nicht die ganze Sicht der Dinge sein. Während des Studiums findet man nicht alles gut, was man später zu schätzen lernt. Viel wichtiger als die Stimmung Studierender wäre wohl, was aus ihnen wird. Sind die Alumni zu grossen Forschern, zu berühmten Professoren, zu CEOs bedeutender Unternehmen, zu Gründern von Start-ups herangereift? Dies scheint wohl der beste Qualitätsausweis. Amerikanische Universitäten dokumentieren ausgiebig die Erfolge ihrer Alumni – und dies mit Recht. Damit ziehen sie die besten Studenten an, denn wer etwas werden will, studiert dort, wo man etwas wird.
Vielerorts sind die eingeworbenen Drittmittel ebenso wichtig wie der wissenschaftliche Output, sei es durch Institutionen wie das National Institute of Health, die EU, die British Heart Foundation oder der Schweizerische Nationalfonds. Doch misst dies meist in etwa das Gleiche wie die Zitationsanalyse, denn wer mehr Mittel einwirbt, ist in aller Regel auch produktiver.

Zum Schluss

Die Frage der Königin in Grimms Märchen lässt sich in der Forschung nicht eindeutig beantworten. Die Rankings geben einen Hinweis, aber sie sind keine zuverlässigen Messgrössen wie in der Physik. Jedoch erlauben sie den Vergleich mit der Konkurrenz, der nicht nur in der Wirtschaft von Nutzen ist. Er hält auch in Medizin und Biologischer Forschung den Betroffenen einen Spiegel vor, kein scharfes Bild zwar, aber doch eine Aussensicht, die den Einen bestätigt, dass sie es richtig machen, und die Anderen antreibt, es besser zu machen.
Professor Thomas F. Lüscher, MD, FRCP
Center for Molecular Cardiology
Schlieren Campus
Universität Zürich
Wagistrasse 12
CH-8952 Schlieren