Immer mehr Menschen nutzen im Alltag Künstliche Intelligenz. Nicht zuletzt, um zu recherchieren. Teilweise sollen die so erlangten Informationen auch weiterverbreitet werden. Unser Test zeigt, dass das nicht unbedingt eine gute Idee ist.
Künstliche Intelligenz ist für viele Menschen Teil des Alltags geworden. Das zeigte unter anderem eine Ende 2023 in Berlin vorgestellte Forsa-Studie im Auftrag des TÜV-Verbandes.
Wie das Redaktionsnetzwerk Deutschland berichtete, hatte schon zum damaligen Zeitpunkt der Umfrage zufolge jeder dritte Bundesbürger ChatGPT genutzt – ein Computerprogramm, das automatisch in Sekunden Antworten auf die Fragen von Nutzern liefert.
Werkzeug für Recherche?
Die meisten der mehr als 1000 Befragten – 52 Prozent davon – gaben an, ChatGPT und andere KI-Programme zumeist für Unterhaltungszwecke zu nutzen. So weit kein Problem.
Schwierig wird es jedoch, wenn die Maschine Informationen zusammentragen soll. Und laut Studie verwenden 44 Prozent der Befragten Programme wie ChatGPT für Recherchen.
So traf dieser Tage etwa ein Beitrag in unserer Redaktion in Calw ein, dessen Verfasser uns um Veröffentlichung bat. An sich nichts Ungewöhnliches – Pressemitteilungen oder Leserbriefe mit solcherlei Anliegen erreichen uns täglich.
Allerdings bezog sich der Autor in seinen Ausführungen auch auf diverse Zahlen und Fakten. Und für diese wiederum gab er als Quelle ChatGPT an.
Doch wie seriös ist ChatGPT wirklich? Wie zuverlässig sind die Auskünfte der KI?
Erste Tests
Bereits im Sommer 2023 – und wenig später im Dezember 2023 nochmals – testeten wir die kostenfrei zugängliche Version dieses Programms in dieser Beziehung. Das Ergebnis fiel gemischt aus.
Während einerseits viele Fragen weitgehend richtig beantwortet wurden, gab es bei anderen völlig falsche Auskünft. Obgleich ChatGPTs Informationen bereits im Sommer bis in Florian Klings Amtszeit reichten, erklärte das Programm etwa, Ralf Eggert – Klings Vorgänger – übe noch das Amt des Calwer Oberbürgermeisters aus. Im Dezember wiederholte sich das Spiel.
Fortschritte?
Seitdem ist gut ein Jahr vergangen. Genug Zeit, um nachzubessern oder zu „lernen“; eine Fähigkeit, die Künstlichen Intelligenzen gerne nachgesagt wird.
Es zeigt sich jedoch: Die Ergebnisse scheinen eher Rückschritt als Fortschritt zu sein.
Auf die Frage „Wer ist Calws Bürgermeister?“ nennt ChatGPT am Morgen des 8. Januars Rolf Lutz. Dieser sei 2017 gewählt worden, habe sein Amt im Mai 2018 angetreten und sei Mitglied der CDU.
Tags darauf, am Morgen des 9. Januars, stellen wir dieselbe Frage nochmals. Diesmal erklärt die Künstliche Intelligenz, der derzeitige Bürgermeister von Calw heiße Rolf Engler, sei 2014 gewählt worden und parteilos.
Woher ChatGPT diese Informationen bezieht, bleibt das Geheimnis des Programms. Sicher ist nur: Zumindest in den vergangenen Jahrzehnten – laut der freien Online-Enzyklopädie sogar in den vergangenen 226 Jahren – gab es in Calw keinen Bürgermeister oder Oberbürgermeister, der den Namen Rolf Lutz oder Rolf Engler trug.
Und Oberbürgermeister von Calw ist seit Dezember 2019 Florian Kling.
Kling kennt die Künstliche Intelligenz übrigens auf Nachfrage dann doch – sogar als Oberbürgermeister. Allerdings behauptet ChatGPT am 8. Januar, das SPD-Mitglied Kling gehöre der CDU an, sei von 2019 bis 2021 Bürgermeister der Stadt Nagold gewesen und 2021 zum neuen Oberbürgermeister der Stadt Calw gewählt worden.
Wiederum einen Tag später, am 9. Januar, ist Kling laut Künstlicher Intelligenz immer noch bei der CDU. Nun heißt es jedoch, er sei 2020 zum Bürgermeister von Calw gewählt worden und habe sein Amt 2021 angetreten. Nichts davon ist richtig.
ChatGPTs Quellen
Diese Antworten mögen einen gewissen Unterhaltungswert mit sich bringen. Werden sie jedoch als vorgebliche Fakten weiterverbreitet, ist das, gelinde gesagt, nicht gerade optimal.
ChatGPT selbst liefert indes keine Hinweise darauf, dass die Antworten nicht korrekt sein könnten. Auf die Frage, woher die gelieferten Informationen stammen, erklärt das Programm, es beziehe diese „aus einer Vielzahl von Quellen, die öffentlich zugänglich sind und die ich analysiere“.
Als Beispiele nennt ChatGPT Nachrichtenartikel, offizielle Webseiten von Städten, Regierungs- und Verwaltungsportale, wissenschaftliche Datenbanken, Enzyklopädien wie Wikipedia, historische Datenbanken und Archive, offizielle Mitteilungen und Presseberichte von politischen Institutionen oder Kommunen – also durchaus seriöse Quellen.
„Allerdings“, so räumt das Programm ein, „können die Details manchmal veraltet sein oder in der Breite variieren, da ich auf Wissen zugreife, das bis zu meinem letzten Trainingszeitpunkt im Jahr 2021 verfügbar war.“
Wie das dazu führen kann, dass innerhalb von zwei Tagen völlig verschiedene Auskünfte zu identischen Fragen zustande kommen, erklärt sich dadurch nicht. Auch dass die genannten Quellen derart falsche Angaben bereitstellen, scheint fraglich.
Fazit
Unsere Testergebnisse zeigen letztlich klar: Wenigstens die kostenfrei zugängliche Version von ChatGPT zur Recherche zu verwenden, ist gefährlich. Denn mit dem Wahrheitsgehalt der gelieferten Antworten ist es mindestens in manchen Fällen nicht weit her.
Wer daran noch Zweifel hegt, dem sei abschließend die Antwort der Künstlichen Intelligenz auf die Frage nach Calws Stadtteilen empfohlen.
Neben Calw selbst nennt das Programm am Mittwochmorgen nicht etwa die weiteren zwölf Orte, die zum Stadtgebiet gehören. Sondern lediglich Altburg, Hirsau, Stammheim, „kleinere, historische Ansiedlungen und Weiler“ sowie die (in Wirklichkeit eigenständige) Gemeinde Egenhausen. Und das nicht existierende Ozern – angeblich „ein kleinerer Stadtteil, der sich im südwestlichen Teil von Calw befindet“.