Mitteilungen
Schwierig zu messen
Die Evaluation von Forschern und Universitäten: Möglichkeiten und Grenzen
Center for Moleculal Cardiology, Universität Zürich, Schweiz und Royal Brompton and Harefield Hospitals, Imperial College and Kings College, London, United Kingdom
Spieglein, Spieglein an der Wand,
wer ist die Schönste im ganzen Land?
Grimms Märchen
Jede Tätigkeit muss sich heute einer Überprüfung stellen, so auch die Forschung. Ja, neben der Industrie sind staatliche Institutionen wie beispielswese der Schweizerische Nationalfonds, die Deutsche Forschunggemeinschaft, das National Institute of Health Research im United Kingdom and das National Institute of Health in den USA die wichtigsten Geldgeber. Dies gilt praktisch für die gesamte Grundlagenforschung, aber auch für weite Teile der klinischen Forschung, bei der Industriemittel auch von Bedeutung sind. Entsprechend wollen die Politik und die Gesellschaft, die mit ihren Steuern die Forschung unterstützen, mit gutem Recht wissen, was mit diesen Mitteln, die sie zur Verfügung stellen, geschieht. Neben den Forschungsergebnissen selbst gehört dazu auch die Evaluation der durch staatliche Mittel unterstützten Institutionen und deren Forscher.
Ranking von Universitäten
Institutionen der Forschung, so auch die Schweizer Universitäten, werden von verschiedener Seite evaluiert und einem Ranking zugeführt. Die meistbeachteten Rankings sind dabei jenes von Quacquarelli Symonds, von Times Higher Education und das ShanghaiRanking (Academic Ranking of World Universities; ARWU) neben anderen. Diese Rating Agenturen verwenden leider nicht durchweg die gleichen Kriterien, weshalb auch das Ranking von Institutionen zum Teil recht unterschiedlich ausfällt (Tab. 1). Geratet werden je nach Ranking-Agentur Finanzierungs- und Ausstattungsart, Forschungsexzellenz und/oder -impact, Zulassungskriterien und Möglichkeiten für Studenten, Preise und Auszeichnungen, Internationalisierung, späterer Berufserfolg von Absolventen, Zusammenarbeit mit der forschenden Industrie und anderes mehr. Kaum mehr akzeptiert sind Einschätzungen von Experten oder die allgemeine Reputation, da sie sehr subjektiv sind.
Tabelle 1: Ranking der Schweizer Universitäten mit medizinischen und/oder naturwissenschaftlichen Fakultäten im Jahr 2021 durch verschiedene Agenturen. Angegeben ist die Position im Ranking (je geringer die Zahl, umso höher das Ranking). Integrated Ranking gibt die Summe des Ranking aller drei Agenturen wieder. | |||||
CH Universität | Times Higher Education | Quacquarelli Symonds | Shanghai (ARWU) | Integrales Ranking | Ranking CH |
Basel | 103 | 138 | 87 | 328 | 4 |
Bern | 101 | 119 | >100–150 | 345 | 5 |
ETH Zürich | 15 | 8 | 21 | 44 | 1 |
EPFL Lausanne | 40 | 14 | 91 | 145 | 2 |
Genf | 197 | 106 | 60 | 363 | 6 |
Lausanne | 176 | 176 | >100–150 | 477 | 7 |
Zürich | 75 | 70 | 54 | 199 | 3 |
In Tabelle 1 sind die sieben wichtigsten und forschungsaktivsten Universitäten aufgeführt. Kleinere Hochschulen wie Luzern, Fribourg und die Universià della Svizzera Italiana oder Institutionen mit nur wenigen Fakultäten wie die Universität St. Gallen (Oekonomie und Recht) sind im Ranking weit hinten anzutreffen. Um ein ausgewogenes Bild zu erhalten, gibt Tabelle 1 auch das integrale Ranking (Summe aller Positionen in den drei wichtigsten Rankings; für Bern und Lausanne ungenau wegen ARWU) wieder und klassifiziert dann aufgrund dieser Zahlen die sieben Schweizer Universitäten. Dabei zeigt erneut die ETH Zürich ihre Führungsrolle vor ihrer Schwesterorganisation in Lausanne und der Universität Zürich.
Die häufig beachtete ARWU (ShanghaiRanking) verwendet sechs objektive Indikatoren, um Universitäten weltweit einzustufen, darunter die Anzahl der Alumni und Mitarbeiter, die Nobelpreise und Fields-Medaillen erhalten haben, die Anzahl der von Clarivate Analytics ausgewählten häufig zitierten Forscher, die Anzahl der in den Zeitschriften Nature und Science veröffentlichten Artikel, die Anzahl der darin indexierten Artikel, sowie ein Zitationsindex und die Pro-Kopf-Leistung einer Universität. Während Nobelpreise eine eher seltene Auszeichnung von Forschern und damit ihrer Alma Mater sind (Abb. 1), gewinnen die highliy cited scientists für das Ranking der Universitäten an Gewicht.


Die insgesamt wohl am ehesten als «objektiv» zu nennenden Kriterien betrifft neben den Auszeichnungen der Forschungsoutput. Dabei spielen aufgrund ihrer Zahl vor allem die «highly cited scientists» eine wichtige Rolle, d.h. in der Regel die 1% oder 0.1% best cited weltweit. In der Schweiz wurden seit der Vergabe des Nobelpreises 31 Forscher ausgezeichnet, die entweder Schweizer Bürger waren, in der Schweiz geboren wurden und/oder in der Schweiz ihre Entdeckungen gemacht haben (Tab. 2). Nicht alle diese Forscher haben ein Leben lang an Schweizer Universitäten gearbeitet; viele, wie beispielsweise Albert Einstein, waren an zahlreichen Institutionen in der Schweiz, in Europa und den USA tätig. Die Anzahl von 30 Nobelpreisträgern überschätzt daher den Anteil der Schweiz an diesen Auszeichnungen. Auffallend ist der hohe Anteil von Ausländern, die in der Schweiz arbeiteten, gegenüber der recht geringen Zahl von Nobelpreisträgern, die gebürtige Schweizer sind oder waren.
Highly Cited Scientists
ResearchGate hat gerade vor kurzem eine Liste der bestzitierten Schweizer Forscher publiziert. Dabei finden sich unter den drei Medaillisten ein Biologe, ein Epidemiologe und ein Kardiologe (Tab. 3). Bei der Analyse wurde ausschliesslich der h-Index verwendet. Der h-Index ist eine Bewertung der kumulativen Wirkung des wissenschaftlichen Outputs und der Leistung eines Autors; er misst Quantität und Qualität, indem er Publikationen mit Zitaten vergleicht. Der h-Index korrigiert das überproportionale Gewicht häufig zitierter oder noch nicht zitierter Publikationen.
Lassen sich Forscher ranken?
Kann man Forschung messen? Gewiss haben fundamentale Entdeckungen wie die Tuberkelbakterien, das Penicillin und das Streptomycin wie auch Impfungen und Geräte, wie der Defibrillator oder der Ballonkatheter, die Medizin neu gestaltet und nachweisbar Millionen Menschen vor Gebrechen und Krankheit gerettet.
Viele Entdeckungen aber erfolgen in kleinen Schritten, an denen zahllose Forscher arbeiten, sich gegenseitig informieren, diskutieren und beeinflussen, schliesslich lesen und zitieren. Nicht selten schaffen diese Entdeckungen die Grundlage für den Fortschritt der Medizin. Gerade deshalb ist der Zitationsindex, oder eben der h-Index, ein wichtiges Mittel für das Ranking von Forschern. Citare (lat.) meinte einst bei den Römern «herbeirufen», «aufrufen», «als Zeugen vorladen», «kommen lassen» – kurzum, Zitieren ist die Anerkennung, dass ein Forscher etwas Wichtiges zu berichten hatte.
Tabelle 2: Namen und Forschungsgebiet von Nobelpreisträgern, die in der Schweiz geboren, aufgewachsen und studiert oder vorübergehend oder permanent seit Bestehen des Preises gearbeitet haben. | ||||
Name | Bereich | Jahr | Forschungsgebiet | Universität |
Theodor Kocher | Medizin | 1909 | Schilddrüsenchirurgie | Bern |
Paul H. Müller | Medizin | 1948 | Insektizide, insbesondere DDT | Geigy Basel |
Walter R. Hess | Medizin | 1949 | Neurophysiologie | Zürich |
Taddeusz Reichstein | Medizin | 1950 | Isolation von Kortison | ETH Zürich |
Daniel Bovet1 | Medizin | 1957 | Neurotransmitter | Instituto Superiore di Sanità Rom |
Werner Arber | Medizin | 1978 | Restriktionsenzyme | Basel |
Edmond H. Fischer1 | Medizin | 1992 | Protein Phosphorylierung | Universität Washington |
Rolf M. Zinkernagel | Medizin | 1996 | Zelluläre Immunabwehr | Zürich |
Alfred Werner | Chemie | 1913 | Koordinationsverbindung | Zürich |
Paul Karrer | Chemie | 1937 | Vitamine | Zürich |
Leopold Ruzicka | Chemie | 1939 | Polymethylene, Sexualhormone | ETH Zürich |
Herman Straudinger | Chemie | 1953 | Makromoleküle (Polymere) | ETH Zürich |
Vladimir Prelog | Chemie | 1975 | Stereochemie organischer Moleküle | ETH Zürich |
Richard Ernst | Chemie | 1991 | NMR Spektroskopie | ETH Zürich |
Kurt Wüthrich | Chemie | 2002 | NMR Spektroskopie von Proteinen | ETH Zürich |
Alfred Werner | Physik | 1913 | Octahedrale molekulare Geometrie | Zürich |
Charles E. Guillaume | Physik | 1920 | Stahl-/Nickelstahlverbindung | ETH Zürich Intl. Büro für Gewicht und Mass, Sèvres |
Erwin Schrödinger | Physik | 1933 | Quantenphysik, Schrödinger-Formel | Zürich |
Albert Einstein | Physik | 1921 | Photoelektrischer Effekt | Zürich und ETH Zürich |
Peter Debye | Physik | 1936 | Molekulare Struktur | ETH Zürich |
Wolfgang Pauli | Physik | 1945 | Paulisches Ausschliessungsprinzip | ETH Zürich |
Felix Bloch | Physik | 1952 | Nukleare Präzisionsmessungen, Ferromagnetismus | CERN ETH ZH Stanford |
Heinrich Rohrer | Physik | 1986 | Rastertunnelmikroskop | IBM Institut Zürich |
Karl Alexander Müller | Physik | 1987 | Supraleiter | IBM Institut Zürich |
Theodor Mommsen | Literatur | 1902 | Geschichte Roms | Zürich |
Carl Spitteler | Literatur | 1919 | Olympischer Frühling | |
Hermann Hesse | Literatur | 1946 | Gesamtwerk | |
Henry Dunant | Frieden | 1901 | Rotes Kreuz | Genf |
Elie Ducommun und Charles-Gilbert Gobat | Frieden | 1902 | Friedensaktivität | Intl. Büro für den Frieden |
1 Aufgewachsen in der Schweiz und Studium an der Universität Genf |
Wer zitiert wird, bringt die Forschung anderer weiter und so gestalten viele die Medizin der Zukunft. Ja, mit dem Zitationsindex lassen sich, entgegen allen Verunglimpfungen durch Zukurzgekommene, Nobelpreise vorhersagen. Dabei müssen die Arbeiten, wie dies das Beispiel von Kurt Wüthrich zeigt, nicht zwingend in Nature oder Science erscheinen (wie beim ShanghaiRating vorgesehen); wenn sie Bedeutendes berichten, werden Artikel aus vielen Zeitschriften zitiert. Ein Drittel der Publikationen in Nature oder Science und anderen hoch angesehenen Zeitschriften werden sogar kaum oder gar nicht zitiert.
Neben den Zitationen sind gewiss auch Patente wichtig; Patente aber, die auch zu Produkten führen, was sicher bei der Mehrheit nicht der Fall ist. Dennoch zeigt sich auch im Quervergleich, dass Länder mit hoher wissenschaftlicher Produktivität besonders viele Patente hervorbringen.
Ein wichtiger Nachteil des Zitationsrankings ist die Berücksichtigung von Guidelines und Konsensus-Dokumenten, da es sich dabei nicht um Forschung handelt und der Beitrag der jeweils zahllosen Autoren nicht klar bestimmt werden kann. Auch werden Autoren, die vor allem als Ko-Autoren Karriere machen, und davon gibt es gerade in der Medizin eine ganze Menge, in ihrer wissenschaftlichen Geltung masslos überschätzt. Schliesslich wird in Multicenter-Studien ein Teil der Ko-Autoren aufgrund ihrer Rekrutierungsleistung und nicht nur oder überhaupt nicht aufgrund ihres intellektuellen Beitrags zum Projekt gelistet – auch hier kommt es zu einem unangemessenen h-Index. Hier wären bessere Messmethoden, wie dies Artificial Intelligence und Machine Learning erlauben dürften, ein Bedarf.
Tabelle 3: Liste der 10 bestzitierten Schweizer Forscher im Bereich Medizin und Life Sciences (aufgrund der ResearchGate-Analyse von 2022). | |||
Name | h-Index | Fachgebiet | Universität |
Mark A. Rudin | 163 | Präzisionsonkologie | Department for BioMedical Research, Universität Bern |
Mathias Egger | 161 | Epidemiologie und Statistik | Institut für Sozial und Präventivmedizin, Universität Bern |
Thomas F. Lüscher | 154 | Kardiologie, speziell Arteriosklerose und koronare Herzkrankheit | Center for Molecular Cardiology, Universität Zürich. Imperial College London |
Michael Weller | 153 | Neurologie, speziell entzündliche Erkrankungen | Universitätsspital und Universität Zürich |
Stefan Windecker | 151 | Kardiologie, speziell interventionelle Kardiologie | Inselspital Bern und Universität Bern |
Thomas J. Smith | 149 | Malaria epidemiology, and simulation modelling | Swiss Tropical and Public Health Institute, Universität Basel |
Nikolaus P. Land | 140 | Paradontologie | Universität Bern |
Johann Auwerx | 138 | Intergative Systems Physiology | École Polytechnique Fédérale in Lausanne |
Rolf Zinkernagel | 137 | Immunologie, speziell | Institut für Immunologie, Universität Zürich |
Cezmi A. Akdis | 132 | Allergologie, speziell | Institut für Allergieforschung, Universität Zürich |
Wie soll man Universitäten ranken?
Die Aufgabe von akademischen Institutionen ist Lehre und Forschung. Nun ist die Lehre schwierig zu messen. Wie wäre dies zu erreichen? Man kann die Studenten befragen, doch kann dies nicht die ganze Sicht der Dinge sein. Während des Studiums findet man nicht alles gut, was man später zu schätzen lernt. Viel wichtiger als die Stimmung Studierender wäre wohl, was aus ihnen wird. Sind die Alumni zu grossen Forschern, zu berühmten Professoren, zu CEOs bedeutender Unternehmen, zu Gründern von Start-ups herangereift? Dies scheint wohl der beste Qualitätsausweis. Amerikanische Universitäten dokumentieren ausgiebig die Erfolge ihrer Alumni – und dies mit Recht. Damit ziehen sie die besten Studenten an, denn wer etwas werden will, studiert dort, wo man etwas wird.
Vielerorts sind die eingeworbenen Drittmittel ebenso wichtig wie der wissenschaftliche Output, sei es durch Institutionen wie das National Institute of Health, die EU, die British Heart Foundation oder der Schweizerische Nationalfonds. Doch misst dies meist in etwa das Gleiche wie die Zitationsanalyse, denn wer mehr Mittel einwirbt, ist in aller Regel auch produktiver.
Zum Schluss
Die Frage der Königin in Grimms Märchen lässt sich in der Forschung nicht eindeutig beantworten. Die Rankings geben einen Hinweis, aber sie sind keine zuverlässigen Messgrössen wie in der Physik. Jedoch erlauben sie den Vergleich mit der Konkurrenz, der nicht nur in der Wirtschaft von Nutzen ist. Er hält auch in Medizin und Biologischer Forschung den Betroffenen einen Spiegel vor, kein scharfes Bild zwar, aber doch eine Aussensicht, die den Einen bestätigt, dass sie es richtig machen, und die Anderen antreibt, es besser zu machen.
Korrespondenz
cardio[at]tomluescher.ch
Correspondence
Professor Thomas F. Lüscher, MD, FRCP
Center for Molecular Cardiology
Schlieren Campus
Universität Zürich
Wagistrasse 12
CH-8952 Schlieren
Copyright
Published under the copyright license
“Attribution – Non-Commercial – NoDerivatives 4.0”.
No commercial reuse without permission.
See: emh.ch/en/emh/rights-and-licences/