ASpB-Stipendium 2024

Gudrun Witzler nahm im September 2024 mit Unterstützung der ASpB an der European summer school for scientometrics (esss) in Wien teil. 

Hier ist Ihr Bericht:

 

Abbildung 1 esss Logo. Foto: esss.info

Im September 2024 fand die european summer school for scientometrics (esss) an der Universität Wien statt. Um mich mit Kolleg*innen aus aller Welt zu vernetzen und mich auf den aktuellen Stand in Sachen Einsatz Künstlicher Intelligenz (KI) im Rahmen bibliometrischer Analysen zu bringen, habe ich an der esss teilgenommen. 

Abbildung 2  Teilnehmer*innen der esss 2024 in Wien. Foto: esss.info

Die esss ist eine internationale Kooperation der: 

• Universität Wien
• Deutsches Zentrum für Hochschul- und Wissenschaftsforschung
• KU Leuven
• Universidad de Granada
• Berlin University Alliance
• Sapienza Universität Rom

Die Teilnehmenden
Die Teilnehmenden kamen aus ganz unterschiedlichen beruflichen Kontexten. Neben Bibliothekar*innen (oft Open Science/Open Access Beauftragte) waren auch Studierende, Promovierende und Wissenschaftsmanager dabei. Eine Woche lang trafen sich die 46 Teilnehmer*innen aus ganz Europa, USA, Kanada, Malaysia, Mexiko und Kolumbien um voneinander und miteinander zu lernen. 

Was versteht man unter „Scientometrics“?
Die Szientometrie ist die Lehre von der Messung der wissenschaftlichen Aktivitäten. Die Szientometrie ist ein Teilgebiet der Infometrie. Ein Teilgebiet der Szientometrie ist die Bibliometrie, die Lehre von der Messung wissenschaftlicher Publikationen. In der Praxis werden die Begriffe Scientometrics, Bibliometrics und Infometrics oft synonym verwendet. 

Bibliometrie – Wozu braucht man das?

Im Rahmen von Evaluationen wird u.a. die Publikationsleistung berücksichtigt. D.h. es werden im Rahmen von bibliometrischen Analysen Informationen zusammen gestellt z.B. zu den Fragestellungen:

• Wer publiziert wieviel? Mit wem? In welchen Journals? 
• Welche Publikation wird wie oft zitiert? Von wem?
• Wer publiziert mit wem? Aus welchen Ländern kommen die Ko-Autor*innen?
• Wer publiziert zu einem bestimmten Thema?
• Zu welchen Themen wird wieviel publiziert? Gibt es neue Trends?
• Welche möglichen Kooperationspartner oder Konkurrenten gibt es?
• Mit Hilfe bibliometrischer Analysen kann man eine eigene Publikationsstrategie entwickeln bzw. optimieren.

Die Verlage / Datenbankanbieter
Die kommerziellen Datenbankanbieter waren ebenfalls auf der esss vertreten, dominierten aber nicht das Programm. Sie erhielten zwar Gelegenheit, ihre kommerziellen Produkte vorzustellen, bestimmten aber nicht den Charakter der Veranstaltung. Ihre Anwesenheit war insofern praktisch, als sie bei login-Problemen schnell Abhilfe schaffen konnten und bei produktspezifischen Detailfragen Teilnehmende individuell beraten konnten.

Vorbereitung auf die esss
Die esss überzeugt mit einer sehr gründlichen Vorbereitung der Teilnehmer*innen auf die Woche in Wien. So gab es im Vorfeld eine ausführliche Literaturliste für alle, die sich ins Fachgebiet einlesen wollten. Zusätzlich gab es im Vorfeld drei einführende Videokonferenzen zu den verschiedenen bibliometrischen Datenbanken und ein „Technical manual“ (pdf) in dem detailliert aufgeführt wurde, welche Software man während der esss benötigt und wie sie zu installieren ist. So konnten alle Teilnehmenden bestens präpariert anreisen.

Das sehr umfangreiche und abwechslungsreiche Programm der esss [1] bot am ersten Tag zunächst eine Einführung in die bibliometrischen Datenquellen. Der Fokus lag dabei auf dem Web of Science (WoS), Scopus, Dimensions und OpenAlex. Dabei wurde auch die Datenqualität kritisch unter die Lupe genommen. Während die Vormittage den Vorträgen vorbehalten waren, waren die Nachmittage weitgehend für die Übungen reserviert. Diese enge Verzahnung von Theorie und Praxis ist es, die den Reiz der esss ausmacht und rasche Lernfortschritte ermöglicht. Besonders hervorheben möchte ich an dieser Stelle den unermüdlichen Einsatz des gesamten Dozent*innen-Teams, die uns während der Übungen bei auftretenden Fragen / Problemen jederzeit weitergeholfen haben.

Tag 2 stand ganz im Zeichen von Indikatoren: Welche gibt es, wie werden sie berechnet und worauf ist beim Einsatz von Indikatoren zu achten? 

Neben Publikationsbezogenen Indikatoren wurden auch Zeitschriftenbezogene Indikatoren vorgestellt und diskutiert. Kollaboration lässt sich durch Co-Autoren-Analysen untersuchen und der Impact durch Zitationsanalysen. 

Der klassische Publikationsprozess führt zu einem erheblichen zeitlichen Verzug. Bis eine publizierter Artikel rezipiert und in neuen Artikeln zitiert wird, können Jahre ins Land gehen. In diese Nachweis-Lücke versucht Altmetrics zu stoßen. Altmetrics steht für alternative Metriken und versucht die Aufmerksamkeit zu messen, die ein Artikel im Internet, z.B. in den sozialen Medien erhält. Dazu werden verschiedene Quellen abgegrast und die jeweiligen Nutzungszahlen mit einem fragwürdigen Punkteschlüssel zu einem sogenannten „Attention Score“ verwurstet [2]. Die Idee dahinter ist, dass eine hohe Aufmerksamkeit für einen Artikel auf News-Seiten, in Blogs und Social Media später einmal auch zu hohen Zitationsraten für diesen Artikel führen könnte.

An Tag 3 drehte sich alles um Forschungszusammenarbeit und deren Visualisierung, z.B. internationale Kooperationen durch gemeinsame Publikationen mit Wissenschaftler*innen von ausländischen Forschungseinrichtungen. Die Übungen dazu waren sehr umfangreich und brachten einige Teilnehmer ganz schön zum Schwitzen.

Abbildung 3 Beispiel für die Visualisierung internationaler Kooperationen einer wissenschaftlichen Institution

Einen hervorragenden Überblick über hilfreiche Tools für bibliometrische Analysen gab uns Bart Thijs von der KU Leuven. Seine Einstufung von fast 30 verschiedenen Tools als „Werkzeugkoffer“, „Schweizer Taschenmesser“ oder „one-trick pony“ stellte sich als durchaus hilfreich heraus um den Überblick zu behalten.

An Tag 4 ging es um Praxisbeispiele für den Einsatz von KI für bibliometrische Zwecke. Während ChatGPT gut einsetzbar ist für vorbereitende, orientierende Recherchen war der Versuch der Datenanalyse mit ChatGPT nicht überzeugend. Im Rahmen der nachmittäglichen Übungen ging es darum, mithilfe von ChatGPT ausgewählte Abstracts hochzuladen um dann von ChatGPT Schlagworte zu diesen Dokumenten erstellen zu lassen. Die gelieferten Ergebnisse waren viel zu allgemein, teilweise auch falsch und auch trotz expliziter Anweisungen nie so präzise und aussagekräftig, wie die Author Keywords im Web of Science. Durchaus brauchbar waren die Ergebnisse die ChatGPT anschließend beim wissenschaftlichen Schreiben liefert.

Am Nachmittag stand die Podiumsdiskussion zum Thema „Artificial Intelligence: The Ultimate Revolution? Challenges and Opportunities“ auf dem Programm. Hier wurde deutlich, dass die Experten dem Thema KI eine hohe Bedeutung beimessen, aber auch die limitierten Einsatzbereiche klar benennen. KI als neues Tool im bibliometrischen Werkzeugkasten kann hilfreich sein, wenn es richtig eingesetzt wird. Deutlich wurde aber auch, dass nur einzelne Arbeitsschritte und nicht komplette bibliometrische Analysen bearbeitet werden können. Niemandem ist mit einer bibliometrischen Analyse gedient, deren Ergebnisse ganz oder teilweise halluziniert sind. Ob nun die Chancen oder die Risiken beim Einsatz von KI überwiegen, liegt wie immer im Auge der Betrachterin.

Am fünften und leider auch schon letzten Tag der Summer School standen Best Practise Beispiele für bibliometrische Analysen in Wissenschaftlichen Bibliotheken im Mittelpunkt. Dabei sollten immer gewisse Standards erfüllt werden: Zunächst ist die Auswahl relevanter Datenquellen wichtig, die umfassende Abdeckung der Literatur in den ausgewählten Datenbanken muss gewährleistet sein. Zudem ist es entscheidend, zwischen verschiedenen Publikationstypen wie Artikeln, Buchkapiteln u.a. zu unterscheiden. Der Publikationszeitraum sowie das Zitationsfenster sind wesentliche Faktoren, um Trends und den Einfluss von Veröffentlichungen korrekt zu erfassen. Auch muss die Aggregationsebene berücksichtigt werden: Auf Mikroebene (Einzelpersonen) sind detaillierte Metriken nötig, während auf Mesoebene (Forschungsgruppen) und Makroebene (Institutionen) breitere Indikatoren zur Anwendung kommen. Um die Analyse zu optimieren, wird empfohlen, mehrere Datenbanken zu nutzen (wenigstens drei), darunter fachspezifische und Open-Access-Quellen, und die Strategien an die jeweilige Aggregationsebene anzupassen.

Nach einer letzten Arbeitsphase zur Fertigstellung der Übungen präsentierten am Nachmittag ausgewählte Teilnehmer*innen ihre im Laufe der Woche erarbeiteten Ergebnisse im Plenum.

Abbildung 4 Besonderer Dank geht an das gesamte Dozenten-Team, das auch während der Übungsphasen den Teilnehmer*innen jederzeit unterstützend und äußerst hilfreich zur Seite stand. Foto: esss.info

Das Programm der esss war so umfangreich, dass leider kaum Zeit blieb um Wien näher zu erkunden. Eine gemeinsame Besichtigung des Prunksaals der Österreichischen Nationalbibliothek und ein gemeinsamer Abend im Heurigen in den Weinbergen der Umgebung rundeten diese perfekte Woche ab. 

Ich danke der ASpB für die Förderung meiner Teilnahme an der esss und kann nur jede/n ermutigen, sich um ein Stipendium zur Weiterbildung im Ausland zu bewerben!

Die nächste esss findet vom 8.-12. September 2025 in Granada in Spanien statt. 

[1] Programm der esss: https://esss.info/programme/

[2] How is the Altmetric Attention Score calculated?: https://help.altmetric.com/support/solutions/articles/6000233311-how-is-the-altmetric-attention-score-calculated-

Abbildung 5 Gemeinsame Besichtigung des Prunksaals der Österreichischen Nationalbibliothek. Foto: esss.info