Vor anderthalb Jahren wollten wir an dieser Stelle wissen, über wie viel regionales Wissen die Künstliche Intelligenz «Chat GPT» verfügt. Das Resultat war erschreckend. Heute liefert die Software deutlich bessere Ergebnisse – aber weiterhin auch Fehlinformationen, die echten Schaden anrichten könnten.

rc. Wir haben uns zugegebenermassen lustig gemacht, als wir im Februar 2023 die Software «Chat GPT» getestet haben und diese behauptete, Schlossrued, Uerkheim und Kölliken seien Gemeinden im Wynental. Im weiteren Gesprächsverlauf verschob die Künstliche Intelligenz Beinwil am See an das nördliche Ufer des Hallwilersees und behauptete, Birrwil liege geografisch nicht in einem Tal. Dafür lag nun Schöftland direkt neben Pfeffikon. Stellt man heute die genau gleichen Fragen wie damals, sind die Resultate um einiges besser. Zwei Beispiele:

Welches ist der Unterschied zwischen dem Wynental und dem Suhrental?

Chat GPT 2023: «Das Wynental ist insgesamt länger und grösser als das Suhrental und umfasst mehrere Gemeinden, darunter auch grössere Städte wie Aarau und Zofingen.»

Chat GPT 2024: «Das Wynental und das Suhrental sind zwei benachbarte Täler im Kanton Aargau, die sich durch ihre Flüsse, geografische Lage und wirtschaftliche Strukturen unterscheiden. Beide Täler spielen eine wichtige Rolle in der regionalen Wirtschaft und sind durch gut ausgebaute Verkehrsverbindungen miteinander und mit anderen Regionen verbunden.»

Nur bei der Aufzählung der Gemeinden macht die Software noch Fehler: Sie zählt Schlossrued und Büron zum Wynental und behauptet, Schöftland liege teils im Wynental. Man muss nachfragen, ob das wirklich stimme, ehe sich die Software selber korrigiert und die korrekte Liste ausspuckt. Und auch im Seetal kennt sich Chat GPT inzwischen besser aus. Ein Beispiel:

Liegt Beinwil am See im Seetal?

Chat GPT 2023: «Nein, Beinwil am See liegt geografisch nicht im Seetal. Die Gemeinde liegt am Nordufer des Hallwilersees. Beinwil am See wird manchmal als Teil des Wynentals betrachtet, obwohl es nicht direkt im Tal liegt. Die Gemeinde grenzt im Norden an die Gemeinde Menziken. Einige betrachten Beinwil am See als eigenständige Region.» Auf die Feststellung des Menschen, das sei völliger Blödsinn, quittierte die Software den Dienst.

Chat GPT 2024: «Ja, Beinwil am See liegt im Seetal. Das Seetal ist ein Tal, das sich entlang des Hallwilersees erstreckt, und Beinwil am See befindet sich am westlichen Ufer dieses Sees im Kanton Aargau. Das Seetal erstreckt sich durch die Kantone Aargau und Luzern und ist bekannt für seine malerische Landschaft und die Nähe zum Hallwilersee.

Auch hier weist die Software Defizite bei der Aufzählung der Aargauer Gemeinden im Seetal auf. Sie zählt Schongau und Aesch zum Aargau und vergisst Hallwil und Seon. Nach einem entsprechenden Hinweis korrigiert der Dienst die Antwort und liefert eine korrekte Liste.

Immer alles zweimal fragen

Die Zuverlässigkeit der Antworten, die Chat GPT liefert, hat sich von gefühlten 20 Prozent auf 70 Prozent gesteigert. Konnte man den Dienst früher noch belächeln, so dürfte nun durch die vielen korrekten Antworten das Vertrauen bei echten Menschen langsam steigen. So sehr, dass man geneigt ist, bald alles zu glauben, was Chat GPT ausspuckt. Doch Vorsicht ist geboten: Fehler mögen bei der Aufzählung von ein paar Dorfnamen noch verkraftbar sein, doch etwa bei der Frage nach der Zusammensetzung des Gemeinderates Menziken fehlen zwei Namen, die Gemeinde Schöftland wird offenbar von einem «Regierungsstatthalter» präsidiert und die Zusammensetzung des Gemeinderates wird komplett falsch angegeben – Wie schnell ein solcher Fehler auch Schaden anrichten könnte, zeigt dieses Beispiel:

Wer ist Remo Conoci?

Chat GPT: «Schweizer Journalist, der insbesondere durch seine Tätigkeit als Redaktor beim ‹Wynentaler Blatt› bekannt geworden ist. Im Jahr 2023 klagte ein Landwirt gegen ihn wegen Verletzung der Privatsphäre bezüglich einer Berichterstattung.»

Das stimmt nicht.

Chat GPT: «Es scheint, dass ich mich geirrt habe. Es gibt keine bekannten oder dokumentierten Rechtsstreitigkeiten zwischen Remo Conoci und einem Landwirt.»

Fazit: Künstliche Intelligenzen wie Chat GPT stecken weiterhin in Kinderschuhen und man stellt die Fragen lieber zweimal.