Im Januar 2009 hat eine Arbeitsgruppe von Mitgliedern der Gesellschaft für Wirtschafts- und Sozialwissenschaften des Landbaues (GEWISOLA) und der Österreichischen Gesellschaft für Agrarökonomie (ÖGA) ein Ranking von für Agrarökonomen relevanten Publikationsorganen - im Wesentlichen Zeitschriften - vorgelegt (DABBERT et al., 2009). 160 wissenschaftliche Zeitschriften sind in diesem Ranking in eine Rangfolge gebracht worden und in die Kategorien A+, A, B, C, D und E eingestuft worden (Rating). Die Bewertungen beruhen auf den Einschätzungen von 310 deutschsprachigen Agrarökonominnen und Agrarökonomen, die um die Jahreswende 2007/2008 in einer Internetbefragung abgegeben wurden. Bewertet wurden dabei die Anforderungen, die Zeitschriften an eingereichte Artikel anlegen (von solchen Personen, die dies als Einreichende oder Gutachter beurteilen konnten), sowie das wissenschaftliche Niveau der Zeitschrift insgesamt (von denen, die angaben, die Zeitschrift zu lesen).
In der Spitzen-Kategorie A+ liegt die American Economic Review erwartungsgemäß ganz vorne. Die erste spezifisch agrarökonomische Zeitschrift ist auf Rangplatz 4, ebenfalls in der Kategorie A+, das American Journal of Agricultural Economics. Die Agrarwirtschaft liegt auf Rangplatz 89 in der Kategorie C im Mittelfeld und damit in derselben Kategorie C wie das British Food Journal oder die Applied Economic Letters. Die Agrarwirtschaft ist unter den Zeitschriften, die auch deutschsprachige Artikel veröffentlichen, die am besten eingeschätzte. In der Kategorie D finden sich auf Platz 114 das Quarterly Journal of International Agriculture und auf Platz 116 die Schriften der Gesellschaft für Wirtschafts- und Sozialwissenschaften. In der am geringsten bewerteten Kategorie E sind auf Platz 154 Berichte über Landwirtschaft und auf Platz 157 Landbauforschung Völkenrode platziert. Das Schlusslicht der gerankten Zeitschriften bildet auf Platz 160 Ländlicher Raum: Rundbrief der Agrarsozialen Gesellschaft.
War das notwendig? Brauchen wir wirklich ein weiteres Ranking? Leistet ein solches Ranking nicht nur der ansteigenden Flut von Begutachtungen und Evaluationen weiteren Vorschub? Wird die z.T. als "Evaluitis" (FREY, 2007) geschmähte Modewelle der permanenten Evaluation in der Wissenschaft nicht durch ein nun auch auf die Agrarökonomie anwendbares Zeitschriften-Ranking gefördert?
Auf solch kritische Fragen, die von Kolleginnen und Kollegen während der Arbeit an dem Publikationsranking gestellt wurden, haben wir zwei Antworten:
1.Wenn man das derzeitige Evaluationssystem in der Wissenschaft als gegeben akzeptiert, kann für eine positive Weiterentwicklung der Agrarökonomie ein solches Publikationsranking eine erhebliche Bedeutung gewinnen, da es spezifisch auf unseren Wissenschaftszweig ausgerichtete ist. Verfolgt man den Zweck einer Evaluation innerhalb des Feldes der Agrarökonomie, so ist es daher aus unserer Sicht anderen Publikationsrankings überlegen. Ob das gesamte Wissenschaftssystem insgesamt zu viel und mit den falschen Methoden evaluiert wird, ist eine davon unabhängige Frage.
2.Für eine umfassende Bewertung der wissenschaftlichen Leistung eines Individuums oder einer Arbeitsgruppe kann eine Einstufung von Zeitschriften, in denen jemand publiziert, ein Element der Bewertung sein, mehr aber nicht.
Aus Sicht einzelner Wissenschaftler, von Arbeitsgruppen oder agrarökonomischen Instituten sind Evaluationen (im Rahmen von Promotionen oder Habilitationen, Bewilligung von Drittmittelprojekten, Querschnittsevaluationen, Evaluationen zur inneruniversitären Mittelvergabe, Evaluationen mit Auswirkungen auf das Gehalt etc.) etwas, mit dessen Existenz man sich wohl oder übel abfinden muss. Als einzelner Wissenschaftler und als Arbeitsgruppe besteht - wenn man auf Dauer in dem System verbleiben und erfolgreich sein will - nur bedingt die Möglichkeit, die Kriterien, die Evaluatoren zu Grunde legen, zu ignorieren.
Forschungsexzellenz wird dabei heute in der Regel über die Publikation in wissenschaftlichen Zeitschriften gemessen. Während des letzten Jahrzehnts ist eine deutliche Verschiebung der Kriterien innerhalb der (deutschsprachigen) Agrarökonomie erfolgt: Veröffentlichungen in wissenschaftlichen Zeitschriften werden heute sehr viel höher bewertet als in der Vergangenheit - mit dieser Entwicklung ging eine relative Abwertung des Verfassens von Büchern und Buchbeiträgen einher. Bei den Zeitschriftenaufsätzen spielt die Frage, wo, d.h. in welcher Zeitschrift, ein Aufsatz veröffentlicht wurde, eine wesentlich wichtigere Rolle als in der Vergangenheit.
Transparenz über das Ansehen und die Reputation von für Agrarökonomen relevanten Zeitschriften herzustellen ist daher eine wichtige Aufgabe, um die Spielregeln innerhalb des Evaluationssystems offen zu legen und Irrwege einzelner Personen und Gruppen zu vermeiden, die nur darauf beruhen, dass diese Spielregeln nicht bekannt sind. Zudem kann allein die Existenz eines gemeinsamen Bewertungsrahmens dazu beitragen, dass eine gewisse Konvergenz zwischen den Urteilen unterschiedlicher Evaluatoren entsteht und dadurch die Unsicherheit über die Bewertungskriterien bei den Evaluierten verringern.
Der Druck auf Agrarökonominnen und Agrarökonomen, in englischsprachigen Zeitschriften mit Gutachtersystem (Peer-Review) zu publizieren, hat auch mit der Wissenschaftskultur im naturwissenschaftlichen Teil der Agrarwissenschaften zu tun. Im Rahmen von Fakultäten prägt diese naturwissenschaftliche Wissenschaftskultur die Agrarwissenschaften. In den Naturwissenschaften ist es weithin üblich, den Impact- Faktor, der von der Firma ThomsonReuters in der Datenbank Journal Citation Report kostenpflichtig veröffentlicht wird, als Maßstab für die Qualität von Zeitschriften zu nehmen.
Die Datenbank Journal Citation Report 2007 (Science Edition) weist unter der Kategorie "Agricultural Economics and Policy" neun agrarökonomische Zeitschriften auf, für die ein Impact-Faktor errechnet wurde. Dies sind (in alphabethischer Reihenfolge, in Klammern werden der jeweilige Rangplatz und die jeweilige Rating-Kategorie im GEWISOLA-ÖGA-Publikationsranking angegeben) Agricultural Economics (26, A), American Journal of Agricultural Economics (4, A+), Australian Journal of Agricultural and Resource Economics (22, A), Canadian Journal of Agricultural Economics - Revue Canadienne d‘Agroéconomie (57, B), European Review of Agricultural Economics (10, A), Food Policy (33, A), Journal of Agriculture and Resource Economics (53, B), Journal of Agricultural Economics (30, A) und Review of Agricultural Economics (71, C). Zwei weitere Zeitschriften wurden kürzlich in die Datenbank aufgenommen (PURNELL, 2008), nämlich Agricultural Economics - Zemědělská ekonomika (im GEWISOLA-ÖGA-Ranking auf Platz 145 in der Kategorie E) und ITEA - Information Technica Economica Agraria (im GEWISOLA-ÖGA-Ranking nicht enthalten). Für die beiden neu aufgenommenen Zeitschriften liegen noch keine Impact-Faktoren vor.
Die Berechnungsweise des Impact-Faktors lässt sich am einfachsten an einem Beispiel illustrieren. Die Zeitschrift Agricultural Economics (im GEWISOLA-ÖGA-Ranking auf Platz 26 in der Kategorie A), eine renommierte agrarökonomische Zeitschrift, hat im Jahr 2006 59 Artikel veröffentlicht, im Jahr 2005 waren es 67 Artikel, über beide Jahre zusammen genommen also 136 Artikel. Innerhalb der Datenbasis von Thomson Reuters (in diesem Fall der Journal Citation Report 2007, Science Edition), die insgesamt mehr als 5 900 Zeitschriften umfasst, wurden Artikel aus dem Jahr 2006, die in der Zeitschrift Agricultural Economics erschienen waren, im Jahre 2007 28 Mal zitiert. In demselben Jahr 2007 wurden Artikel, die in der Zeitschrift Agricultural Economics im Jahr 2005 erschienen waren, 54 Mal zitiert. Die Gesamtzahl der Zitationen von Artikeln, die in Agricultural Economics in den beiden Jahren 2006 und 2005 erschienen, im Jahr 2007 war also 82. Der Impact-Faktor der Zeitschrift Agricultural Economics für das Jahr 2007 errechnet sich nun, indem die 82 Zitationen von Artikeln aus den Jahren 2005 und 2006 auf die Gesamtzahl der in diesen Jahren in dieser Zeitschrift erschienen Artikel bezogen werden: 82/136 = 0,603. Die Artikel, die im Zweijahresfenster 2005/2006 in Agricultural Economics erschienen, wurden im Jahr 2007 im Durchschnitt 0,603-mal zitiert.
Impact-Faktoren sollten für den Vergleich von Zeitschriften nur innerhalb von Forschungsfeldern bzw. Disziplinen verwendet werden. Dies liegt einerseits in unterschiedlichen Zitationsgewohnheiten begründet: In einigen Fächern wird sehr viel mehr zitiert als in anderen, was sich naturgemäß auf den Impact-Faktor auswirkt. Andererseits ist auch die "Umschlagsgeschwindigkeit" in unterschiedlichen wissenschaftlichen Feldern unterschiedlich.
So ist es kein Zufall, dass die Zahl der Zitationen von Artikeln aus der Zeitschrift Agricultural Economics im Jahr 2006 deutlich geringer ist als die aus 2005 zitierten Artikel. Dies liegt nicht nur daran, dass die Ergebnisse gelesen und verarbeitet werden müssen, sondern auch daran, dass ein Artikel, der in einem agrarökonomischen Journal 2006 erschien (und die meisten Zitationen finden sich innerhalb des Feldes der Agrarökonomie), mit einiger Wahrscheinlichkeit in seiner ersten Fassung 2004 oder 2005 geschrieben wurde, vielleicht auch schon früher. In unserer Disziplin dauert es von der Ersteinreichung eines Artikels bis dieser dann im Druck erscheint mindestens 1-2 Jahre und häufig länger, insbesondere, wenn der Artikel von der ersten Zeitschrift abgelehnt und bei einer anderen Zeitschrift eingereicht wird. Überarbeitungen des Artikels berücksichtigen in der Regel die Anmerkungen der Gutachter, beinhalten aber nicht immer eine komplette Aktualisierung der verwendeten Literatur. Auch aufgrund dieser langsamen Umschlagsgeschwindigkeit liegt der Impact-Faktor in der Agrarökonomie niedriger als in den Naturwissenschaften, in denen in der Regel die Zeitspanne zwischen Ersteinreichung und Druck sehr viel geringer ist.
Das vielleicht wichtigste Argument, warum Impact-Faktoren zwischen Disziplinen nicht verglichen werden dürfen, ist aber die unterschiedliche Größe der Disziplinen. Große Forschungsgebiete - z.B. Biochemie - haben im Journal Citation Report deutlich mehr Zeitschriften als spezialisierte, kleine Forschungsgebiete - z.B. die Agrarökonomie. Damit hat eine führende Zeitschrift des großen Forschungsgebietes ein viel größeres Zitationspotenzial als eine führende Zeitschrift des kleinen Forschungsgebietes. Ceteris paribus wird damit bei zwei Zeitschriften, die eine gleiche Zahl von Artikeln veröffentlicht haben, der Zähler im großen Forschungsgebiet größer bei gleichem Nenner sein. Es kommt zu einer strukturellen Verzerrung zugunsten großer Forschungsgebiete.
Eine wichtige Schlussfolgerung ist: Der Vergleich von Impact-Faktoren über unterschiedliche Wissenschaftsbereiche hinweg ist nicht sinnvoll. Ein Beispiel mag dies illustrieren: Die Zeitschrift Agriculture, Ecosystems and Environment hat im Journal Citation Report Science Edition 2007 einen Impact-Faktor von 2,308, verglichen etwa mit dem American Journal of Agricultural Economics, das einen Impact-Faktor von 1,034 aufweist. Nun handelt es sich bei der Zeitschrift Agriculture, Ecosystems and Environment zweifellos um eine qualitativ sehr gute agrarwissenschaftliche und damit auch für Agrarökonomen relevante Zeitschrift. Wenn man jedoch die Impact-Faktoren unzulässiger Weise vergleichen würde, so würde man diese Zeitschrift wesentlich höher einstufen als die Topzeitschriften aus dem agrarökonomischen Bereich. Eine solche Einstufung wäre offensichtlich in der Sache falsch und irreführend - würde es doch in der Schlussfolgerung implizieren, Agrarökonomen sollten vorrangig in Agriculture, Ecosystems and Environment publizieren und das American Journal of Agricultural Economics eher nicht als Zielmedium für ihre Artikel wählen. Das GEWISOLA-ÖGA-Ranking stuft das American Journal of Agricultural Economics als A+-Zeitschrift auf dem Rangplatz 4 ein, die Zeitschrift Agriculture, Ecosystems and Environment wird als A-Zeitschrift auf dem Rangplatz 23 platziert.
Im Bereich der Agrarökonomie sind also über Impact-Faktoren nur die neun genannten Zeitschriften miteinander vergleichbar. Diese enge Eingrenzung limitiert die Anwendbarkeit des Impact-Faktors. Wenn schon das Vorhandensein eines Impact-Faktors als Qualitätskriterium für eine Zeitschrift genommen wird, wie dies häufig geschieht, so bedeutet das für diejenigen Zeitschriften, die einen Impact-Faktor haben, einen sehr starken Wettbewerbsvorteil, ungeachtet der Qualität, die die Artikel aufweisen. In gewisser Weise bilden also jene Zeitschriften innerhalb eines wissenschaftlichen Gebiets, die einen Impact-Faktor aufweisen, ein Oligopol (YOUNG et al., 2008). Auf Grund der Evaluationskriterien vieler Evaluatoren sind die Wissenschaftlerinnen und Wissenschaftler gezwungen, in diesen Zeitschriften zu publizieren. Auch um diesem Effekt entgegen zu wirken, ist es für ein Wissenschaftsgebiet wichtig, möglichst viele Zeitschriften mit Impact-Faktor zu haben. Insofern ist es wichtig, dafür zu werben, den Anteil agrarökonomischer Zeitschrift mit Impact-Faktor zu erhöhen.
Die Firma Thomson Reuters beschreibt die Auswahlkriterien für Zeitschriften detailliert, ist jedoch als privatwirtschaftliches Unternehmen keine Rechenschaft über die faktische Umsetzung der Auswahl schuldig - eine externe Evaluation des Auswahlverfahrens erfolgt nicht. Das Ergebnis der Auswahl kann in dem einen oder anderen Fall aus agrarökonomischer Sicht durchaus überraschen. So weist Berichte über Landwirtschaft (Rangplatz 154 im GEWISOLA-ÖGA-Ranking, Kategorie E) einen Impact-Faktor auf, wenn auch nur einen von 0,085, auch Landbauforschung Völkenrode (im GEWISOLA-ÖGA-Ranking auf Rangplatz 157) hat einen Impact-Faktor, der mit 0,535 nur leicht unter dem von Agricultural Economics (0,603) liegt. Eine Aufnahme weiterer agrarökonomischer Zeitschriften in die Datenbank würde die Verwendbarkeit des Impact-Faktors verbessern.
Als Gegenargument gegen ein auf Expertenurteilen basierendes Ranking wie das GEWISOLA-ÖGA-Ranking wird in der Literatur angeführt (RITZBERGER, 2008), dass die befragten Experten sich strategisch verhalten können, d.h. solche Zeitschriften, in denen sie selber publiziert haben oder publizieren wollen, besonders hoch einstufen. Ob dieses Argument empirische Relevanz hat, ist im Falle des GEWISOLA-ÖGA-Rankings noch zu überprüfen.
Allerdings kann auch der Impact-Faktor Gegenstand strategischen Verhaltens sein. So werden in der Literatur Beispiele zitiert, in denen der Herausgeber einer Zeitschrift bei Autoren eines in Überarbeitung befindlichen Artikels anregte, Zitate zu Artikeln der eigenen Zeitschrift aus der jüngeren Vergangenheit aufzunehmen (DONG et al., 2007). Zwar wird diese Vorgehensweise z.B. von DONG et al. (2007) als "unethisches Verhalten" klassifiziert, es bleibt allerdings unklar, inwieweit die wissenschaftliche Gemeinschaft insgesamt diese Einschätzung (aktiv) teilt. Zudem besteht die Möglichkeit, dass Autoren quasi "im vorauseilenden Gehorsam" bereits Artikel aus der entsprechenden Zeitschrift zitieren, um ihre Chance auf Annahme ihres eigenen Artikels zu steigern. Weitere Manipulationsmöglichkeiten eröffnen sich dadurch, dass die Artikel, die im Nenner des Impact-Faktors auftauchen (sogenannte source items), eine kleinere Menge darstellen als die Gruppe der Veröffentlichungen, aus denen die Zitate entstammen, die im Zähler bei der Berechnung des Impact-Faktors auftauchen. So gelten etwa Kommentare zu Artikeln nicht als zitierbar (sogenannte non-source items) und werden im Nenner nicht einberechnet. Werden diese dann doch zitiert, so werden sie im Zähler einberechnet (source items plus non-source items). Dies beinhaltet die Möglichkeit für Zeitschriften, eine aktive Strategie zu verfolgen, mit der nur ein Teil der in ihnen enthaltenen Artikel im Zähler auftauchen. Insgesamt lässt sich dadurch der Impact-Faktor vergrößern.
Thomson Reuters rät von der Verwendung von Impact-Faktoren für die Evaluation von Wissenschaftlern und Arbeitsgruppen ab. PURNELL (2008) formuliert das prägnant so: "Appropriate use (:) To evaluate journals. Misuse (:) Evaluation of individual articles, evaluation of institution or researcher."
Von der Qualität einer Zeitschrift kann man nicht zwingend auf die Qualität der in ihr enthaltenen Artikel schließen. So gibt PURNELL (2008) an, dass etwa 30% der Artikel in Food Policy niemals zitiert werden. In der Regel ist es innerhalb von Zeitschriften eine verhältnismäßig kleine Anzahl an Artikeln, die den weitaus größten Teil der Zitationen auf sich zieht, während ein beträchtlicher Anteil der Artikel wenig oder gar nicht zitiert wird.
Wenn man also der Meinung ist, dass Zitationen ein geeignetes Maß für die Messung des Impact von wissenschaftlicher Arbeit sind, so kann man nicht unmittelbar vom Impact-Faktor einer Zeitschrift auf die Zitationshäufigkeit eines Artikels schließen, der in ihr erschienen ist. Logischerweise kann man dann auch nicht die Wissenschaftlerin bzw. den Wissenschafter, der diesen Artikel (mit-)verfasst hat, anhand des Impact-Faktors bewerten. Gleiches gilt für Arbeitsgruppen.
Wer dies alles für eine etwas theoretische, anstrengende Diskussion hält, sei an die Querschnittsevaluation der agrarwissenschaftlichen Fakultäten durch den Wissenschaftsrat erinnert: In den Berichten, die von den evaluierten Institutionen im Jahre 2004 abzuliefern waren, wurde in einer Tabelle gefordert, den durchschnittlichen Impact-Faktor der Aufsätze, die in referierten Zeitschriften mit Impact-Faktor erschienen waren, nach Institut und Jahr sowie für die Institution insgesamt anzugeben. Wenn dies im Rahmen der Bewertung der Institutionen Verwendung gefunden haben sollte, so war es ein Missbrauch des Impact-Faktors nach der o.g. Definition des Vertreters von Thomson Reuters. Wenn nicht, fragt man sich, wozu diese Daten denn erhoben wurden.
Die Einschränkung, dass sich aus der Reputation einer Zeitschrift nicht unmittelbar auf die Qualität der in ihr enthaltenen Artikel schließen lässt, gilt selbstverständlich auch für das auf der Beurteilung von Zeitschriften durch Experten basierte GEWISOLA-ÖGA-Publikationsranking. Der Hauptvorteil dieses Rankings gegenüber den Impact-Faktoren besteht nach Auffassung seiner Autoren vor allem darin, dass es eine wesentlich breitere Abdeckung der für Agrarökonomen und Agrarökonominnen tatsächlich relevanten Zeitschriften enthält und alle Zeitschriften auf einer einheitlichen Skala aus agrarökonomischer Perspektive bewertet. Als Nachteil könnte - je nach Sichtweise und Verwendungszweck - gewertet werden, dass das GEWISOLA-ÖGA-Publikationsranking in der Bewertung auf deutschsprachige Probanden stützt und damit keine weltweite Abdeckung aufweist.
...
