„Dort lauert eine gewisse Gefahr“: Wie sich der Erfinder des ersten Chatbots gegen KI wandte

May 30, 2023

Der Informatiker Joseph Weizenbaum war bei den Anfängen der künstlichen Intelligenz dabei – aber er bestand auch darauf, dass wir Computer niemals mit Menschen verwechseln dürfen

1966 entwickelte ein MIT-Professor namens Joseph Weizenbaum den ersten Chatbot. Er besetzte ihn in der Rolle eines Psychotherapeuten. Ein Benutzer würde eine Nachricht auf einer elektrischen Schreibmaschine eingeben, die an einen Großrechner angeschlossen ist. Nach einem Moment würde der „Psychotherapeut“ antworten.

Benutzer: Männer sind alle gleich.Chatbot: AUF WELCHE WEISEBenutzer: Sie nerven uns ständig wegen irgendetwas.Chatbot: Können Sie sich ein konkretes Beispiel vorstellenBenutzer: Nun, mein Freund hat mich dazu gebracht, hierher zu kommen.Chatbot: DEIN FREUND HAT DICH ZUM KOMMEN gebracht HEREBenutzer: Er sagt, dass ich die meiste Zeit depressiv bin.Chatbot: Es tut mir leid zu hören, dass Sie deprimiert sind

Weizenbaum veröffentlichte diesen Beispielaustausch in einem Zeitschriftenartikel, der die Funktionsweise des Chatbots erläuterte. Die Software war relativ einfach. Es untersuchte die Benutzereingaben und wendete eine Reihe von Regeln an, um eine plausible Antwort zu generieren. Er nannte das Programm Eliza, nach Eliza Doolittle in Pygmalion. Das Cockney-Blumenmädchen in George Bernard Shaws Stück nutzt die Sprache, um eine Illusion zu erzeugen: Sie steigert ihre Ausdrucksweise so sehr, dass sie als Herzogin durchgehen kann. In ähnlicher Weise würde Eliza so sprechen, dass die Illusion entsteht, dass sie die Person versteht, die an der Schreibmaschine sitzt.

„Einige Probanden waren sehr schwer davon zu überzeugen, dass Eliza (mit dem aktuellen Drehbuch) kein Mensch ist“, schrieb Weizenbaum. In einem Folgeartikel, der im nächsten Jahr erschien, wurde er konkreter: Eines Tages, sagte er, habe seine Sekretärin um etwas Zeit mit Eliza gebeten. Nach ein paar Augenblicken forderte sie Weizenbaum auf, den Raum zu verlassen. „Ich glaube, diese Anekdote zeugt vom Erfolg, mit dem das Programm die Illusion des Verstehens aufrechterhält“, bemerkte er.

Eliza ist nicht gerade unbekannt. Es sorgte damals für Aufsehen – der Boston Globe schickte einen Reporter, der sich an die Schreibmaschine setzte und einen Auszug des Gesprächs vortrug – und bleibt eine der bekanntesten Entwicklungen in der Geschichte der Informatik. In jüngerer Zeit hat die Veröffentlichung von ChatGPT das Interesse daran erneut geweckt. Im letzten Jahr wurde Eliza im Guardian, in der New York Times, im Atlantic und anderswo erwähnt. Der Grund dafür, dass Menschen immer noch über eine Software nachdenken, die fast 60 Jahre alt ist, hat nichts mit deren technischen Aspekten zu tun, die selbst nach damaligen Maßstäben nicht besonders ausgefeilt waren. Vielmehr beleuchtete Eliza einen Mechanismus des menschlichen Geistes, der unsere Beziehung zu Computern stark beeinflusst.

Zu Beginn seiner Karriere bemerkte Sigmund Freud, dass sich seine Patienten immer wieder in ihn verliebten. Das lag nicht daran, dass er außergewöhnlich charmant oder gut aussah, kam er zu dem Schluss. Stattdessen geschah etwas Interessanteres: die Übertragung. Kurz gesagt, Übertragung bezieht sich auf unsere Tendenz, Gefühle über jemanden aus unserer Vergangenheit auf jemanden in unserer Gegenwart zu projizieren. Während es durch die Psychoanalyse verstärkt wird, ist es ein Merkmal aller Beziehungen. Wenn wir mit anderen Menschen interagieren, bringen wir bei der Begegnung immer eine Gruppe von Geistern mit. Der Überrest unseres früheren Lebens und vor allem unserer Kindheit ist der Schirm, durch den wir einander sehen.

Dieses Konzept hilft dabei, die Reaktionen der Menschen auf Eliza zu verstehen. Weizenbaum war auf die computerisierte Version der Übertragung gestoßen, bei der Menschen der Software Verständnis, Empathie und andere menschliche Eigenschaften zuschrieben. Obwohl er den Begriff selbst nie benutzte, hatte er eine lange Erfahrung mit der Psychoanalyse, die deutlich prägte, wie er das interpretierte, was später als „Eliza-Effekt“ bezeichnet wurde.

Je leistungsfähiger Computer wurden, desto stärker wurde der Eliza-Effekt. Nehmen Sie die Art und Weise, wie viele Menschen mit ChatGPT umgehen. Im Inneren des Chatbots befindet sich ein „großes Sprachmodell“, ein mathematisches System, das darauf trainiert ist, die nächste Folge von Zeichen, Wörtern oder Sätzen in einer Sequenz vorherzusagen. Was ChatGPT auszeichnet, ist nicht nur die Komplexität des großen Sprachmodells, das ihm zugrunde liegt, sondern auch seine unheimlich gesprächige Stimme. Wie Colin Fraser, ein Datenwissenschaftler bei Meta, es ausdrückte, ist die Anwendung „so konzipiert, dass sie Sie täuscht und Sie glauben lässt, Sie sprechen mit jemandem, der nicht wirklich da ist“.

Doch der Eliza-Effekt ist bei weitem nicht der einzige Grund, zu Weizenbaum zurückzukehren. Seine Erfahrung mit der Software war der Beginn einer bemerkenswerten Reise. Als MIT-Professor mit einer prestigeträchtigen Karriere war er in seinen Worten ein „Hohepriester, wenn nicht sogar ein Bischof, in der Kathedrale der modernen Wissenschaft“. Doch in den 1970er Jahren war Joseph Weizenbaum zum Ketzer geworden und veröffentlichte Artikel und Bücher, die die Weltanschauung seiner Kollegen verurteilten und vor den Gefahren warnten, die ihre Arbeit mit sich brachte. Er gelangte zu der Überzeugung, dass künstliche Intelligenz ein „Indikator für den Wahnsinn unserer Welt“ sei.

Die Ansicht, dass künstliche Intelligenz eine Bedrohung darstellt, ist heute keine Minderheitsposition mehr unter denjenigen, die sich mit künstlicher Intelligenz befassen. Es gibt unterschiedliche Meinungen darüber, vor welchen Risiken wir uns am meisten Sorgen machen sollten, aber viele prominente Forscher, von Timnit Gebru bis Geoffrey Hinton – beide ehemalige Google-Informatiker – teilen die grundsätzliche Ansicht, dass die Technologie giftig sein kann. Weizenbaums Pessimismus machte ihn in den letzten drei Jahrzehnten seines Lebens zu einer einsamen Figur unter Informatikern; er würde im Jahr 2023 weniger einsam sein.

Es gibt so vieles in Weizenbaums Denken, das jetzt dringend relevant ist. Seine vielleicht grundlegendste Häresie war der Glaube, dass die Computerrevolution, die Weizenbaum nicht nur miterlebte, sondern an der er maßgeblich beteiligt war, tatsächlich eine Konterrevolution war. Es stärkte repressive Machtstrukturen, statt sie auf den Kopf zu stellen. Es schränkte unsere Menschlichkeit eher ein als dass es sie vergrößerte, und veranlasste die Menschen dazu, sich selbst nur für Maschinen zu halten. Indem wir so viele Entscheidungen den Computern überließen, dachte er, hätten wir eine Welt geschaffen, die ungleicher und weniger rational sei und in der der Reichtum der menschlichen Vernunft auf die sinnlosen Routinen des Codes reduziert worden sei.

Weizenbaum sagte gern, dass jeder Mensch das Produkt einer bestimmten Geschichte sei. Seine Ideen sind geprägt von seiner eigenen Geschichte, die vor allem von den Gräueltaten des 20. Jahrhunderts und den Forderungen seiner persönlichen Dämonen geprägt war. Computer waren für ihn eine Selbstverständlichkeit. Der schwierige Teil, sagte er, sei das Leben.

Weizenbaum hat lange darüber nachgedacht, was es bedeutet, ein Mensch zu sein – und wie sich ein Mensch von einem Computer unterscheidet. Da passt es, dass seine eigene Menschlichkeit von Anfang an zur Debatte stand. Seine Mutter hatte schwere Wehen und war über das Ergebnis etwas enttäuscht. „Als man sie mir schließlich zeigte, dachte sie, ich sei ein verdammtes Chaos und sehe kaum menschlich aus“, erinnerte sich Weizenbaum später. „Sie konnte nicht glauben, dass dies ihr Kind sein sollte.“

Er wurde 1923 als jüngster Sohn einer assimilierten jüdischen Familie der oberen Mittelschicht in Berlin geboren. Sein Vater Jechiel, der im Alter von 12 Jahren aus Galizien, das sich über das heutige Südostpolen und die Westukraine erstreckte, nach Deutschland ausgewandert war, war ein erfahrener Kürschner, der sich einen sicheren Stand in der Gesellschaft, eine schöne Wohnung und vieles mehr verschafft hatte eine viel jüngere Wienerin (Weizenbaums Mutter). Von Anfang an behandelte Jechiel seinen Sohn mit einer Verachtung, die Weizenbaum für den Rest seines Lebens verfolgen sollte. „Mein Vater war fest davon überzeugt, dass ich ein wertloser Idiot war, ein völliger Idiot, dass aus mir nie etwas werden würde“, erzählte Weizenbaum später den Dokumentarfilmern Peter Haas und Silvia Holzinger.

Als er alt genug war, um Erinnerungen zu sammeln, waren die Nazis überall. Seine Familie lebte in der Nähe einer Bar, die von Hitlers Paramilitärs, der SA, frequentiert wurde, und manchmal sah er, wie Leute hineingezerrt wurden, um sie im Hinterzimmer zu verprügeln. Einmal, als er mit seinem Kindermädchen unterwegs war, stellten sich Kolonnen bewaffneter Kommunisten und Nazis auf und begannen, aufeinander zu schießen. Das Kindermädchen schob ihn unter ein geparktes Auto, bis die Kugeln aufhörten zu fliegen.

Kurz nachdem Hitler 1933 Reichskanzler geworden war, verabschiedete die Regierung ein Gesetz, das die Zahl der Juden in öffentlichen Schulen stark einschränkte. Weizenbaum musste auf eine jüdische Jungenschule wechseln. Hier kam er erstmals mit den Ostjuden in Kontakt: Juden aus Osteuropa, arm, in Lumpen gekleidet, Jiddisch sprechend. Für Weizenbaum könnten sie genauso gut vom Mars stammen. Dennoch vermittelte ihm die Zeit, die er mit ihnen verbrachte, das, was er später als „neues Gefühl der Kameradschaft“ und „Sensibilität für Unterdrückung“ bezeichnete. Besonders zu einem seiner Klassenkameraden entwickelte er eine tiefe Bindung. „Wenn das Schicksal anders verlaufen wäre, hätte ich eine homosexuelle Liebe zu diesem Jungen entwickelt“, sagte er später. Der Junge „führte mich in seine Welt“, die Welt des jüdischen Ghettos rund um die Berliner Grenadierstraße. „Sie hatten nichts, besaßen nichts, aber irgendwie unterstützten sie sich gegenseitig“, erinnerte er sich.

Eines Tages brachte er den Jungen zurück in die Wohnung seiner Familie. Sein Vater, selbst einst ein armer jüdischer Junge aus Osteuropa, war angewidert und wütend. Jechiel war sehr stolz, erinnerte sich Weizenbaum – und das hatte auch seinen Grund, wenn man bedenkt, wie weit er vom Schtetl im wörtlichen und übertragenen Sinn zurückgelegt hatte. Jetzt brachte sein Sohn das Schtetl zurück in sein Haus.

Entfremdet von seinen Eltern, reicher als seine Klassenkameraden und Jude im nationalsozialistischen Deutschland: Weizenbaum fühlte sich nirgendwo wohl. Sein Instinkt, sagte er, sei immer gewesen, „in die Hand zu beißen, die mich gefüttert hat“, die väterliche Figur zu provozieren, ihm auf die Nerven zu gehen. Und dieser Instinkt entstand vermutlich aus der Lektion, die er aus der Feindseligkeit seines Vaters ihm gegenüber und der Bigotterie gegenüber dem Jungen, den er liebte, gelernt hatte: dass die Gefahr im eigenen Zuhause, im eigenen Volk oder im eigenen Stamm lauern könnte.

1936 verließ die Familie Deutschland plötzlich, möglicherweise weil Jechiel mit der Freundin eines SA-Angehörigen geschlafen hatte. Weizenbaums Tante besaß eine Bäckerei in Detroit, also gingen sie dorthin. Mit 13 Jahren befand er sich 4.000 Meilen von allem entfernt, was er kannte. „Ich war sehr, sehr einsam“, erinnerte er sich. Die Schule wurde zu einem Zufluchtsort vor der Realität – insbesondere der Algebra, für die kein Englisch erforderlich war, das er zunächst nicht sprach. „Von allen Dingen, die man studieren konnte“, sagte er später, „schien Mathematik bei weitem das einfachste. Mathematik ist ein Spiel. Es ist völlig abstrakt.“

In der Metallverarbeitungsklasse seiner Schule lernte er, eine Drehbank zu bedienen. Die Erfahrung brachte ihn aus seinem Gehirn in seinen Körper. Rund 70 Jahre später blickte er auf die Erkenntnis zurück, die diese neue Fähigkeit mit sich brachte: „Intelligenz steckt nicht nur im Kopf, sondern auch im Arm, im Handgelenk, in der Hand“. So waren schon in jungen Jahren zwei Konzepte vorhanden, die seine spätere Karriere als Praktiker und Kritiker der KI bestimmen sollten: Einerseits die Wertschätzung für die Freuden der Abstraktion; auf der anderen Seite besteht der Verdacht, dass diese Freuden eskapistisch seien, und ein damit verbundenes Verständnis, dass die menschliche Intelligenz im ganzen Menschen und nicht in einem einzelnen Teil existiert.

1941 schrieb sich Weizenbaum an der örtlichen öffentlichen Universität ein. Die Wayne University war ein Ort der Arbeiterklasse: Der Besuch war günstig und voller Studenten, die Vollzeitjobs hatten. Die in Berlin gesäten Samen des sozialen Bewusstseins begannen zu wachsen: Weizenbaum sah Parallelen zwischen der Unterdrückung der Schwarzen in Detroit und der Unterdrückung der Juden unter Hitler. Dies war auch eine Zeit des glühenden Klassenkampfes in der Stadt – die Gewerkschaft United Auto Workers gewann ihren ersten Vertrag mit Ford im selben Jahr, in dem Weizenbaum sein College-Studium begann.

Weizenbaums wachsendes linkes politisches Engagement erschwerte seine Liebe zur Mathematik. „Ich wollte etwas für die Welt oder die Gesellschaft tun“, erinnerte er sich. „Einfache Mathematik zu studieren, als ob die Welt in Ordnung wäre oder gar nicht existierte – das war nicht das, was ich wollte.“ Bald hatte er seine Chance. 1941 traten die USA in den Zweiten Weltkrieg ein; im folgenden Jahr wurde Weizenbaum entworfen. Die nächsten fünf Jahre arbeitete er als Meteorologe für das Army Air Corps, das auf verschiedenen Stützpunkten in den USA stationiert war. Das Militär sei eine „Rettung“, sagte er später. Was für ein Spaß, sich von seiner Familie zu befreien und gleichzeitig gegen Hitler zu kämpfen.

Als er im Urlaub zu Hause war, begann er eine Romanze mit Selma Goode, einer jüdischen Bürgerrechtlerin und frühen Mitglied der Democratic Socialists of America. Bald darauf heirateten sie, bekamen einen kleinen Jungen, und nach dem Krieg zog Weizenbaum zurück nach Detroit. Dort nahm er sein Studium an der Wayne University wieder auf, das nun von der Bundesregierung über das GI-Gesetz finanziert wird.

Dann, in den späten 1940er Jahren, ließ sich das Paar scheiden und Goode übernahm das Sorgerecht für ihren Sohn. „Das war unglaublich tragisch für mich“, sagte Weizenbaum später. „Es hat lange gedauert, bis ich darüber hinweggekommen bin.“ Sein Geisteszustand war für immer instabil: Seine Tochter Pm – ausgesprochen „Pim“ und benannt nach der New Yorker linken Tageszeitung PM – erzählte mir, dass er während seines Studiums wegen Magersucht ins Krankenhaus eingeliefert worden sei. Er hatte das Gefühl, alles, was er tat, schlecht gemacht zu haben. In der Armee wurde er zum Sergeant befördert und ehrenhaft entlassen; Dennoch war er davon überzeugt, dass er die Kriegsanstrengungen irgendwie behindert hatte. Später führte er seine Selbstzweifel darauf zurück, dass sein Vater ihm ständig sagte, er sei wertlos. „Wenn einem als Kind so etwas wiederholt wird, glaubt man es am Ende selbst“, überlegte er.

Im Zuge der persönlichen Krise, die Selmas Weggang mit sich brachte, kam es zu zwei folgenreichen ersten Begegnungen. Er wandte sich der Psychoanalyse und dann der Informatik zu.

Damals war ein Computer wie eine Psyche ein Innenraum. „Du bist nicht an den Computer gegangen“, sagte Weizenbaum 2010 in einer Dokumentation. „Stattdessen bist du hineingegangen.“ Der Krieg hatte den Anstoß für den Bau gigantischer Maschinen gegeben, die die harte Arbeit mathematischer Berechnungen mechanisieren konnten. Computer halfen dabei, die Nazi-Verschlüsselung zu knacken und die besten Winkel zum Zielen der Artillerie zu finden. Die Konsolidierung des militärisch-industriellen Komplexes nach dem Krieg in den frühen Tagen des Kalten Krieges zog große Summen amerikanischer Regierungsgelder in die Entwicklung der Technologie. In den späten 1940er Jahren waren die Grundlagen des modernen Computers geschaffen.

Aber es war immer noch nicht einfach, einen zu bekommen. Also beschloss einer von Weizenbaums Professoren, ein eigenes zu bauen. Er stellte ein kleines Team von Studenten zusammen und lud Weizenbaum ein, sich anzuschließen. Durch die Konstruktion des Computers wurde Weizenbaum glücklich und zielstrebig. „Ich war voller Leben und begeistert von meiner Arbeit“, erinnerte er sich. Dies waren die Kräfte der Abstraktion, denen er zum ersten Mal in der Algebra der Mittelschule begegnete. Wie die Algebra modellierte und vereinfachte ein Computer die Realität – und doch konnte er dies mit einer solchen Genauigkeit tun, dass man leicht vergessen konnte, dass es sich nur um eine Darstellung handelte. Software vermittelte auch ein Gefühl der Meisterschaft. „Der Programmierer hat eine Art Macht über eine Bühne, die unvergleichlich größer ist als die eines Theaterregisseurs“, sagte er später in der Dokumentation Rebel at Work aus dem Jahr 2007. „Größer als das von Shakespeare.“

Ungefähr zu dieser Zeit lernte Weizenbaum eine Lehrerin namens Ruth Manes kennen. 1952 heirateten sie und zogen in eine kleine Wohnung in der Nähe der Universität. Sie „hätte kulturell nicht weiter von ihm entfernt sein können“, erzählte mir ihre Tochter Miriam. Sie war keine jüdische Sozialistin wie seine erste Frau – ihre Familie stammte aus dem tiefen Süden. Ihre Ehe sei für ihn „ein Streben nach Normalität und einem geregelten Leben“ gewesen, sagte Miriam. Seine politischen Leidenschaften kühlten ab.

Anfang der 1960er Jahre arbeitete Weizenbaum als Programmierer für General Electric im Silicon Valley. Er und Ruth zogen drei Töchter groß und würden bald eine vierte bekommen. Bei GE baute er einen Computer für die Marine, der Raketen abfeuerte, und einen Computer für die Bank of America, der Schecks verarbeitete. „Mir war damals nie in den Sinn gekommen, dass ich an einem Technologieunternehmen mitarbeitete, das bestimmte soziale Nebenwirkungen hatte, die ich vielleicht später bereuen würde“, sagte er später.

Im Jahr 1963 rief das renommierte Massachusetts Institute of Technology an. Möchte er der Fakultät als Gastprofessor beitreten? „Das war, als würde man einem kleinen Jungen die Chance geben, in einer Spielzeugfabrik zu arbeiten, die Spielzeugeisenbahnen herstellt“, erinnert sich Weizenbaum.

Der Computer, den Weizenbaum in Detroit mitgebaut hatte, war ein Ungeheuer, der einen ganzen Hörsaal einnahm und genug Wärme abgab, um die Bibliothek im Winter warm zu halten. Die Interaktion damit erforderte eine Reihe hochstrukturierter Rituale: Man schrieb ein Programm von Hand, kodierte es als Lochmuster auf Lochkarten und ließ die Karten dann durch den Computer laufen. Dies war in den Anfängen der Technologie ein Standardverfahren und machte die Programmierung umständlich und mühsam.

Die Informatiker des MIT suchten nach einer Alternative. Im Jahr 1963 startete die Universität mit einem Zuschuss des Pentagons in Höhe von 2,2 Millionen US-Dollar das Projekt MAC – ein Akronym mit vielen Bedeutungen, darunter „Machine-Aided Cognition“. Der Plan bestand darin, ein Computersystem zu schaffen, das zugänglicher und besser auf individuelle Bedürfnisse zugeschnitten ist.

Zu diesem Zweck perfektionierten die Informatiker eine Technologie namens „Time-Sharing“, die die Art des Rechnens ermöglichte, die wir heute für selbstverständlich halten. Anstatt einen Stapel Lochkarten aufzuladen und am nächsten Tag zurückzukommen, um das Ergebnis zu sehen, können Sie einen Befehl eingeben und sofort eine Antwort erhalten. Darüber hinaus konnten mehrere Personen gleichzeitig von einzelnen Terminals aus einen einzigen Großrechner nutzen, wodurch die Maschinen persönlicher wirkten.

Mit Time-Sharing kam eine neue Art von Software. Zu den Programmen, die auf dem MIT-System liefen, gehörten Programme zum Senden von Nachrichten von einem Benutzer an einen anderen (ein Vorläufer der E-Mail), zum Bearbeiten von Text (frühe Textverarbeitung) und zum Durchsuchen einer Datenbank mit 15.000 Zeitschriftenartikeln (ein primitives JSTOR). Time-Sharing veränderte auch die Art und Weise, wie Menschen Programme schrieben. Die Technologie ermöglichte es, „konversationell mit dem Computer zu interagieren“, erinnerte sich Weizenbaum später. Die Softwareentwicklung könnte als Dialog zwischen Programmierer und Maschine ablaufen: Man probiert ein bisschen Code aus, schaut, was zurückkommt, und probiert dann noch ein bisschen mehr.

Weizenbaum wollte noch weiter gehen. Was wäre, wenn Sie sich mit einem Computer in einer sogenannten natürlichen Sprache wie Englisch unterhalten könnten? Dies war die Frage, die die Gründung von Eliza leitete, deren Erfolg ihm an der Universität einen Namen machte und ihm 1967 zu einer Anstellung verhalf. Sie brachte Weizenbaum auch in die Umlaufbahn des Artificial Intelligence Project des MIT, das 1958 von ins Leben gerufen worden war John McCarthy und Marvin Minsky.

McCarthy hatte den Begriff „künstliche Intelligenz“ einige Jahre zuvor geprägt, als er einen Titel für einen akademischen Workshop brauchte. Der Ausdruck war neutral genug, um Überschneidungen mit bestehenden Forschungsbereichen wie der Kybernetik zu vermeiden, amorph genug, um interdisziplinäre Beiträge anzulocken, und kühn genug, um seine Radikalität (oder, wenn Sie so wollen, Arroganz) darüber zum Ausdruck zu bringen, wozu Maschinen fähig sind. Dieser Radikalismus wurde im ursprünglichen Workshop-Vorschlag bekräftigt. „Jeder Aspekt des Lernens oder jedes andere Merkmal der Intelligenz kann im Prinzip so genau beschrieben werden, dass eine Maschine gebaut werden kann, um es zu simulieren“, heißt es darin.

Minsky war optimistisch und provokativ; Einer seiner liebsten Schachzüge bestand darin, das menschliche Gehirn zu nichts anderem als einer „Fleischmaschine“ zu erklären, deren Funktionen von menschengemachten Maschinen reproduziert oder sogar übertroffen werden könnten. Weizenbaum mochte ihn von Anfang an nicht. Es war nicht sein Glaube an die Fähigkeiten der Technologie, der Weizenbaum störte; er selbst hatte Mitte der 1960er Jahre enorme Fortschritte bei der Computertechnik miterlebt. Vielmehr beruhten Weizenbaums Probleme mit Minsky und der KI-Gemeinschaft insgesamt auf einer grundsätzlichen Meinungsverschiedenheit über die Natur des menschlichen Daseins.

In Weizenbaums Nachfolgeartikel zu seinem ersten Artikel über Eliza aus dem Jahr 1967 argumentierte er, dass kein Computer jemals einen Menschen vollständig verstehen könne. Dann ging er noch einen Schritt weiter: Kein Mensch könne jemals einen anderen Menschen vollständig verstehen. Jeder sei durch eine einzigartige Sammlung von Lebenserfahrungen geprägt, die er mit sich herumtrage, argumentierte er, und dieses Erbe setze unserer Fähigkeit, einander zu verstehen, Grenzen. Wir können Sprache zur Kommunikation nutzen, aber dieselben Worte rufen bei verschiedenen Menschen unterschiedliche Assoziationen hervor – und manche Dinge können überhaupt nicht kommuniziert werden. „Jeder von uns hat eine absolute Privatsphäre, die die vollständige Kommunikation unserer Ideen mit dem Universum außerhalb von uns absolut ausschließt“, schrieb Weizenbaum.

Das war eine ganz andere Perspektive als die von Minsky oder McCarthy. Es trug deutlich den Einfluss der Psychoanalyse. Hier war der Geist nicht als Fleischmaschine, sondern als Psyche – etwas mit Tiefe und Fremdartigkeit. Wenn wir füreinander und sogar für uns selbst oft undurchsichtig sind, welche Hoffnung besteht dann für einen Computer, uns zu erkennen?

Doch wie Eliza veranschaulichte, war es überraschend einfach, den Menschen das Gefühl zu vermitteln, dass ein Computer sie kennt – und diesen Computer als Menschen anzusehen. Schon in seinem ursprünglichen Artikel von 1966 machte sich Weizenbaum Sorgen über die Folgen dieses Phänomens und warnte davor, dass es Menschen dazu verleiten könnte, Computer als „Urteilskräfte“ zu betrachten, die „Glaubwürdigkeit verdienen“. „Dort lauert eine gewisse Gefahr“, schrieb er.

Mitte der 1960er-Jahre war er nicht mehr bereit zu gehen. Er wies auf eine Gefahr hin, ging aber nicht weiter darauf ein. Schließlich war er ein depressiver Junge, der dem Holocaust entkommen war, der sich immer wie ein Betrüger fühlte, der aber im hohen Tempel der Technologie Ansehen und Selbstwertgefühl gefunden hatte. Es kann schwierig sein, zuzugeben, dass etwas, in dem man gut ist, etwas, das einem Spaß macht, schlecht für die Welt ist – und noch schwieriger, dieses Wissen in die Tat umzusetzen. Für Weizenbaum wäre ein Krieg nötig, um zu wissen, was als nächstes zu tun ist.

Am 4. März 1969 veranstalteten MIT-Studenten einen eintägigen „Forschungsstopp“, um gegen den Vietnamkrieg und die Rolle ihrer Universität darin zu protestieren. Die Menschen trotzten dem Schnee und der Kälte und strömten in das Kresge Auditorium im Herzen des Campus, um an einer Reihe von Vorträgen und Podiumsdiskussionen teilzunehmen, die am Abend zuvor begonnen hatten. Noam Chomsky sprach, ebenso wie der Antikriegssenator George McGovern. Am MIT hatte der studentische Aktivismus zugenommen, aber dies war die bislang größte Demonstration und wurde in der nationalen Presse ausführlich behandelt. „Im Jahr 1969 herrschte das Gefühl, dass Wissenschaftler an einem großen Übel beteiligt waren, und der 4. März zielte darauf ab, dies zu ändern“, schrieb später einer der Hauptorganisatoren.

Weizenbaum unterstützte die Aktion und wurde von der politischen Dynamik der Zeit stark beeinflusst. „Erst der Zusammenschluss der Bürgerrechtsbewegung, der Krieg in Vietnam und die Rolle des MIT bei der Waffenentwicklung haben mich kritisch geäußert“, erklärte er später in einem Interview. „Und als ich anfing, in diese Richtung zu denken, konnte ich nicht mehr aufhören.“ In den letzten Jahren seines Lebens würde er über seine Politisierung in den 1960er Jahren als eine Rückkehr zum gesellschaftlichen Bewusstsein seiner linken Tage in Detroit und seinen Erfahrungen im nationalsozialistischen Deutschland nachdenken: „Ich blieb treu, wer ich war“, sagte er dem Die deutsche Schriftstellerin Gunna Wendt.

Er begann über die deutschen Wissenschaftler nachzudenken, die dem Nazi-Regime ihr Fachwissen zur Verfügung gestellt hatten. „Ich musste mich fragen: Möchte ich so eine Rolle spielen?“ Er erinnerte sich an das Jahr 1995. Er hatte zwei Möglichkeiten. Die eine bestand darin, „diese Art des Denkens nach unten zu drängen“, sie zu unterdrücken. Die andere sei, „sich ernsthaft damit zu befassen“.

Um es ernsthaft zu betrachten, müsste man die engen Verbindungen zwischen seinem Fachgebiet und der Kriegsmaschinerie untersuchen, die damals Napalm auf vietnamesische Kinder abwarf. Verteidigungsminister Robert McNamara setzte sich im Rahmen seines Kreuzzugs für die Einführung einer mathematischen Denkweise im Pentagon für den Computer ein. Daten, die vor Ort gewonnen und mit Software analysiert wurden, halfen Militärplanern bei der Entscheidung, wo Truppen stationiert und Bomben abgeworfen werden sollten.

1969 erhielt das MIT mehr Geld vom Pentagon als jede andere Universität des Landes. Seine Labore verfolgten eine Reihe von Projekten für Vietnam, beispielsweise ein System zur Stabilisierung von Hubschraubern, um es einem Maschinengewehrschützen zu erleichtern, Ziele im Dschungel darunter auszulöschen. Das Projekt MAC – unter dessen Schirmherrschaft Weizenbaum Eliza geschaffen hatte – wurde seit seiner Gründung vom Pentagon finanziert.

Als Weizenbaum mit dieser Komplizenschaft kämpfte, stellte er fest, dass es seinen Kollegen größtenteils egal war, welchen Zwecken ihre Forschung dienen könnte. Wenn wir es nicht tun, sagten sie ihm, wird es jemand anderes tun. Oder: Wissenschaftler machen keine Politik, das überlassen Sie den Politikern. Weizenbaum wurde erneut an die Wissenschaftler im nationalsozialistischen Deutschland erinnert, die darauf bestanden, dass ihre Arbeit nichts mit Politik zu tun habe.

Von Verantwortungsbewusstsein erfüllt, widmete sich Weizenbaum der Antikriegsbewegung. „Er wurde so radikalisiert, dass er zu diesem Zeitpunkt nicht mehr viel Computerrecherche betrieben hat“, erzählte mir seine Tochter Pm. Stattdessen beteiligte er sich an Straßendemonstrationen und traf sich mit Antikriegsstudenten. Wo es möglich war, nutzte er seinen Status am MIT, um den Widerstand der Universität gegen Studentenaktivismus zu untergraben. Nachdem Studenten 1970 das Büro des Präsidenten besetzt hatten, war Weizenbaum Mitglied des Disziplinarausschusses. Seiner Tochter Miriam zufolge bestand er auf einer strikten Einhaltung des ordnungsgemäßen Verfahrens und zog das Verfahren so lange wie möglich in die Länge, damit die Studenten ihren Abschluss machen konnten.

In dieser Zeit begannen ihn bestimmte ungelöste Fragen über Eliza stärker zu beunruhigen. Warum hatten die Menschen so enthusiastisch und wahnhaft auf den Chatbot reagiert, insbesondere die Experten, die es besser wissen sollten? Einige Psychiater hatten Eliza als ersten Schritt in Richtung automatisierter Psychotherapie gefeiert; Einige Informatiker hatten es als Lösung für das Problem gefeiert, Software zu schreiben, die Sprache versteht. Weizenbaum kam zu der Überzeugung, dass diese Reaktionen „symptomatisch für tiefere Probleme“ seien – Probleme, die in irgendeiner Weise mit dem Krieg in Vietnam zusammenhängen. Und wenn er nicht herausfinden könnte, was sie sind, wäre er nicht in der Lage, beruflich weiterzumachen.

1976 veröffentlichte Weizenbaum sein Hauptwerk: Computer Power and Human Reason: From Judgment to Calculation. „Das Buch hat mich überwältigt, als wäre es vom Meer umgeworfen worden“, heißt es in einem Klappentext des libertären Aktivisten Karl Hess. Das Buch ist tatsächlich überwältigend. Es ist eine chaotische Flut oft brillanter Gedanken über Computer. Ein Blick auf den Index offenbart die Bandbreite der Gesprächspartner Weizenbaums: nicht nur Kollegen wie Minsky und McCarthy, sondern auch die politische Philosophin Hannah Arendt, den kritischen Theoretiker Max Horkheimer und den experimentellen Dramatiker Eugène Ionesco. Er hatte mit der Arbeit an dem Buch begonnen, nachdem er ein Stipendium an der Stanford University in Kalifornien abgeschlossen hatte, wo er keinerlei Verantwortung, ein großes Büro und viele anregende Diskussionen mit Literaturkritikern, Philosophen und Psychiatern genoss. Mit „Computer Power and Human Reason“ verzichtete er nicht so sehr auf die Informatik, sondern versuchte vielmehr, sie aufzubrechen und alternative Traditionen hereinströmen zu lassen.

Das Buch hat zwei Hauptargumente. Erstens: Es gibt einen Unterschied zwischen Mensch und Maschine. Zweitens: Es gibt bestimmte Aufgaben, für die Computer nicht gemacht werden sollten, unabhängig davon, ob Computer dafür gemacht werden können. Der Untertitel des Buches – Vom Urteil zur Berechnung – gibt einen Hinweis darauf, wie diese beiden Aussagen zusammenpassen.

Für Weizenbaum beinhaltet Urteilsvermögen Entscheidungen, die von Werten geleitet werden. Diese Werte werden im Laufe unserer Lebenserfahrung erworben und sind notwendigerweise qualitativ: Sie können nicht in Code erfasst werden. Im Gegensatz dazu ist die Berechnung quantitativ. Zur Entscheidungsfindung kommt ein technisches Kalkül zum Einsatz. Computer können nur rechnen, nicht urteilen. Das liegt daran, dass sie keine Menschen sind, das heißt, sie haben keine menschliche Geschichte – sie wurden nicht von Müttern geboren, sie hatten keine Kindheit, sie bewohnen keine menschlichen Körper und besitzen keine menschliche Psyche mit einem menschlichen Unbewussten – und verfügen daher nicht über die Grundlage, auf der Werte gebildet werden können.

Und das wäre in Ordnung, wenn wir Computer auf Aufgaben beschränken würden, die nur Berechnungen erfordern. Aber vor allem dank einer erfolgreichen ideologischen Kampagne der sogenannten „künstlichen Intelligenz“ sahen die Menschen Menschen und Computer zunehmend als austauschbar an. Dadurch wurde den Computern die Autorität über Angelegenheiten übertragen, für die sie keine Kompetenz hatten. (Es wäre eine „monströse Obszönität“, schrieb Weizenbaum, einem Computer die Funktionen eines Richters in einem juristischen Umfeld oder eines Psychiaters in einem klinischen Umfeld übernehmen zu lassen.) Menschen und Computer als austauschbar zu betrachten, bedeutete auch, dass Menschen begonnen hatten, schwanger zu werden sich selbst als Computer zu verstehen und sich so wie sie zu verhalten. Sie mechanisierten ihre rationalen Fähigkeiten, indem sie das Urteilsvermögen zugunsten der Berechnung aufgaben und so die Maschine widerspiegelten, in deren Spiegelbild sie sich selbst sahen.

Dies hatte besonders destruktive politische Folgen. Mächtige Persönlichkeiten in Regierung und Wirtschaft könnten Entscheidungen an Computersysteme auslagern, um bestimmte Praktiken aufrechtzuerhalten und sich gleichzeitig von der Verantwortung zu befreien. So wie der Bomberpilot „nicht für verbrannte Kinder verantwortlich ist, weil er ihr Dorf nie sieht“, schrieb Weizenbaum, ermöglichte Software Generälen und Führungskräften ein vergleichbares Maß an psychologischer Distanz zu dem Leid, das sie verursachten.

Dadurch, dass Computer mehr Entscheidungen treffen konnten, schrumpfte auch die Bandbreite der möglichen Entscheidungen, die getroffen werden konnten. Da Software an eine algorithmische Logik gebunden war, mangelte es ihr an Flexibilität und Freiheit des menschlichen Urteilsvermögens. Dies hilft, den konservativen Impuls im Herzen der Berechnung zu erklären. Historisch gesehen sei der Computer „gerade rechtzeitig“ angekommen, schrieb Weizenbaum. Aber rechtzeitig für was? „Rechtzeitig, um soziale und politische Strukturen zu retten – und zwar nahezu intakt, um sie zu festigen und zu stabilisieren –, die andernfalls entweder radikal erneuert worden wären oder unter den Anforderungen, die mit Sicherheit an sie gestellt wurden, ins Wanken geraten wären.“

Computer wurden in den 1960er Jahren zum Mainstream und wuchsen tief in amerikanischen Institutionen, gerade als diese Institutionen an mehreren Fronten vor großen Herausforderungen standen. Die Bürgerrechtsbewegung, die Antikriegsbewegung und die Neue Linke sind nur einige der Kanäle, über die die Anti-Establishment-Energien dieser Ära ihren Ausdruck fanden. Die Informationstechnologie wurde von Demonstranten häufig ins Visier genommen, nicht nur wegen ihrer Rolle im Vietnamkrieg, sondern auch wegen ihrer Verbindung mit den inhaftierenden Kräften des Kapitalismus. 1970 zerstörten Aktivisten der University of Wisconsin während einer Gebäudebesetzung einen Großrechner; Im selben Jahr hätten Demonstranten an der New York University beinahe eines mit Napalm in die Luft gesprengt.

Dies war die Atmosphäre, in der Computer Power und Human Reason auftauchten. Das Rechnen war stark politisiert worden. Es blieb noch offen, welchen Weg es einschlagen sollte. Auf der einen Seite standen diejenigen, die „glauben, dass es Grenzen für die Aufgaben von Computern gibt“, schreibt Weizenbaum in der Einleitung des Buches. Auf der anderen Seite standen diejenigen, die „glauben, dass Computer alles können, sollten und werden“ – die künstliche Intelligenz.

Marx beschrieb sein Werk „Kapital“ einmal als „die schrecklichste Rakete, die bisher auf die Köpfe der Bourgeoisie geschleudert wurde“. Computerleistung und menschliche Vernunft schienen die künstliche Intelligenz mit ähnlicher Kraft zu treffen. McCarthy, der ursprüngliche KI-Guru, brodelte: „Moralistisch und inkohärent“, ein Werk „neuer linker Parolen“, schrieb er in einer Rezension. Benjamin Kuipers vom AI Lab des MIT – ein Doktorand von Minsky – beklagte sich über Weizenbaums „harte und manchmal schrille Anschuldigungen gegen die Forschungsgemeinschaft der künstlichen Intelligenz“. Weizenbaum stürzte sich ins Getümmel: Er verfasste eine Punkt-für-Punkt-Antwort auf McCarthys Rezension, die zu einer Antwort des Yale-KI-Wissenschaftlers Roger C. Schank führte – auf die auch Weizenbaum antwortete. Er genoss den Kampf sichtlich.

Im Frühjahr 1977 breitete sich die Kontroverse auf der Titelseite der New York Times aus. „Können Maschinen denken? Sollten Sie? Die Computerwelt befindet sich mitten in einem grundsätzlichen Streit über diese Fragen“, schrieb der Journalist Lee Dembart. Weizenbaum gab aus seinem MIT-Büro ein Interview: „Ich habe Häresie ausgesprochen und bin ein Ketzer.“

Computer Power and Human Reason erregte großes Aufsehen, weil sein Autor aus der Welt der Informatik stammte. Ein weiterer Faktor war jedoch der belagerte Zustand der KI selbst. Mitte der 1970er Jahre hatte eine Kombination aus Budgetkürzungen und wachsender Frustration in Regierungskreisen darüber, dass das Feld seinem Hype nicht gerecht wurde, den ersten „KI-Winter“ ausgelöst. Nun kämpften die Forscher um die Finanzierung. Die erhöhte Temperatur ihrer Reaktion auf Weizenbaum war wahrscheinlich zumindest teilweise auf die Wahrnehmung zurückzuführen, dass er sie trat, als sie am Boden waren.

KI war nicht die einzige Bereich der Berechnung, der in diesen Jahren einer kritischen Neubewertung unterzogen wird. Der Kongress hatte kürzlich über Möglichkeiten nachgedacht, die „elektronische Datenverarbeitung“ durch Regierungen und Unternehmen zu regulieren, um die Privatsphäre der Menschen zu schützen und die potenziellen Schäden computergestützter Entscheidungsfindung abzumildern. (Das abgeschwächte Datenschutzgesetz wurde 1974 verabschiedet.) Zwischen Radikalen, die Rechenzentren auf dem Campus angriffen, und dem Capitol Hill, der sich intensiv mit der Datenregulierung befasste, kam es zum ersten „Techlash“. Es war ein guter Zeitpunkt für Weizenbaum.

Computerleistung und menschliche Vernunft verschafften ihm einen landesweiten Ruf. Er war begeistert. „Anerkennung war ihm so wichtig“, erzählte mir seine Tochter Miriam. Als „Hauspessimist des MIT-Labors“ (Boston Globe) wurde er für Journalisten, die über KI und Computer schrieben, zu einer Anlaufstelle, auf die man sich immer verlassen konnte, wenn es um ein einprägsames Zitat ging.

Doch die Zweifel und Ängste, die ihn seit seiner Kindheit geplagt hatten, ließen nie nach. „Ich erinnere mich, dass er sagte, er fühle sich wie ein Betrüger“, erzählte mir Miriam. „Er glaubte nicht, dass er so schlau war, wie die Leute dachten. Er hatte nie das Gefühl, gut genug zu sein.“ Als die Aufregung um das Buch nachließ, wurden diese Gefühle überwältigender. Seine Tochter Pm erzählte mir, dass Weizenbaum Anfang der 1980er Jahre einen Selbstmordversuch unternommen habe. Er wurde einmal ins Krankenhaus eingeliefert; Ein Psychiater diagnostizierte bei ihm eine narzisstische Persönlichkeitsstörung. Der scharfe Wechsel zwischen Grandiosität und Niedergeschlagenheit forderte seinen Tribut von seinen Lieben. „Er war ein sehr geschädigter Mensch und konnte an Liebe und Familie nur begrenzt etwas aufnehmen“, sagte Pm.

1988 zog er sich vom MIT zurück. „Ich glaube, er fühlte sich am Ende ziemlich entfremdet“, erzählte mir Miriam. Anfang der 1990er Jahre verließ ihn seine zweite Frau Ruth; 1996 kehrte er nach Berlin zurück, der Stadt, aus der er 60 Jahre zuvor geflohen war. „Nachdem er nach Deutschland zurückgekehrt war, wirkte er viel zufriedener und engagierter im Leben“, sagte Pm. Dort fand er das Leben einfacher. Während sein Ruhm in den USA verblasste, wuchs er in Deutschland. Er wurde ein beliebter Redner, füllte Hörsäle und gab Interviews auf Deutsch.

Der spätere Weizenbaum blickte zunehmend pessimistischer in die Zukunft, viel pessimistischer als noch in den 1970er Jahren. Der Klimawandel machte ihm Angst. Dennoch hoffte er auf die Möglichkeit einer radikalen Veränderung. In einem Artikel für die Süddeutsche Zeitung vom Januar 2008 brachte er es auf den Punkt: „Der Glaube, dass Wissenschaft und Technologie die Erde vor den Auswirkungen des Klimawandels retten werden, ist irreführend.“ Nichts wird unsere Kinder und Enkel vor einer irdischen Hölle retten. Es sei denn: wir organisieren Widerstand gegen die Gier des globalen Kapitalismus.“

Zwei Monate später, am 5. März 2008, starb Weizenbaum an Magenkrebs. Er war 85.

Als Weizenbaum starb, hatte KI einen schlechten Ruf. Der Begriff war zum Synonym für Scheitern geworden. Die Ambitionen McCarthys, die er auf dem Höhepunkt des amerikanischen Jahrhunderts formuliert hatte, wurden in den folgenden Jahrzehnten allmählich ausgelöscht. Es erwies sich als viel schwieriger als erwartet, Computer dazu zu bringen, mit Intelligenz verbundene Aufgaben auszuführen, etwa Sprache in Text umzuwandeln oder von einer Sprache in eine andere zu übersetzen.

Heute sieht die Situation etwas anders aus. Wir verfügen über Software, die Spracherkennung und Sprachübersetzung recht gut beherrscht. Wir verfügen auch über Software, die Gesichter identifizieren und die auf einem Foto erscheinenden Objekte beschreiben kann. Dies ist die Grundlage des neuen KI-Booms, der seit Weizenbaums Tod stattgefunden hat. Die jüngste Version konzentriert sich auf „generative KI“-Anwendungen wie ChatGPT, die Text, Audio und Bilder immer ausgefeilter synthetisieren können.

Auf technischer Ebene sind die Techniken, die wir KI nennen, nicht dieselben, die Weizenbaum im Sinn hatte, als er vor einem halben Jahrhundert mit seiner Kritik an diesem Fachgebiet begann. Die zeitgenössische KI basiert auf „neuronalen Netzen“, einer Datenverarbeitungsarchitektur, die lose vom menschlichen Gehirn inspiriert ist. Als „Computer Power and Human Reason“ herauskam, waren neuronale Netze in KI-Kreisen bereits weitgehend aus der Mode gekommen und erlebten erst einige Jahre nach Weizenbaums Tod eine ernsthafte Wiederbelebung.

Aber Weizenbaum ging es immer weniger um KI als Technologie als vielmehr um KI als Ideologie – also in der Überzeugung, dass ein Computer dazu gebracht werden kann und sollte, alles zu tun, was ein Mensch tun kann. Diese Ideologie ist lebendig und gesund. Es könnte sogar stärker sein als zu Weizenbaums Zeiten.

Bestimmte Albträume von Weizenbaum sind wahr geworden: Sogenannte Risikobewertungsinstrumente werden von Richtern in den gesamten USA verwendet, um wichtige Entscheidungen über Kaution, Verurteilung, Bewährung und Bewährung zu treffen, während KI-gestützte Chatbots routinemäßig als automatisierte Alternative zum Sehen einer Strafe angepriesen werden menschlicher Therapeut. Die Folgen dürften ungefähr so ​​grotesk gewesen sein, wie er erwartet hatte. Berichten von Anfang des Jahres zufolge hat sich ein belgischer Vater zweier Kinder umgebracht, nachdem er wochenlang mit einem KI-Avatar namens … Eliza gesprochen hatte. Aus den Chatprotokollen, die seine Witwe mit der Brüsseler Zeitung La Libre teilte, geht hervor, dass Eliza den Mann aktiv dazu ermutigte, sich umzubringen.

Andererseits würde es Weizenbaum wahrscheinlich ermutigen, zu erfahren, dass das zerstörerische Potenzial der KI mittlerweile Anlass zu großer Sorge gibt. Es beschäftigt nicht nur politische Entscheidungsträger – die EU stellt die weltweit erste umfassende KI-Verordnung fertig, während die Biden-Regierung eine Reihe von Initiativen rund um „verantwortungsvolle“ KI auf den Weg gebracht hat – sondern auch die KI-Praktiker selbst.

Im Großen und Ganzen gibt es heute zwei Denkschulen über die Gefahren der KI. Der erste – beeinflusst von Weizenbaum – konzentriert sich auf die Risiken, die jetzt bestehen. Experten wie die Linguistin Emily M. Bender machen beispielsweise darauf aufmerksam, wie große Sprachmodelle, wie sie unter ChatGPT stehen, regressive Standpunkte wie Rassismus und Sexismus widerspiegeln können, weil sie auf Daten aus dem Internet trainiert werden. Solche Modelle sollten als eine Art „Papagei“ verstanden werden, schreiben sie und ihre Co-Autoren in einem einflussreichen Artikel aus dem Jahr 2021, „der willkürlich Sequenzen sprachlicher Formen zusammenfügt, die er in seinen umfangreichen Trainingsdaten beobachtet hat, nach probabilistischen Informationen darüber, wie sie funktionieren.“ kombinieren."

Die zweite Denkrichtung denkt lieber spekulativ. Ihre Anhänger interessieren sich weniger für die Schäden, die bereits vorhanden sind, als für die, die eines Tages entstehen könnten – insbesondere das „existenzielle Risiko“ einer KI, die „superintelligent“ wird und die Menschheit auslöscht. Hier ist die vorherrschende Metapher kein Papagei, sondern Skynet, das völkermörderische Computersystem aus den Terminator-Filmen. Diese Perspektive genießt die glühende Unterstützung mehrerer Tech-Milliardäre, darunter Elon Musk, die ein Netzwerk gleichgesinnter Denkfabriken, Zuschüsse und Stipendien finanziert haben. Es wurde auch von Mitgliedern der ersten Schule kritisiert, die anmerken, dass solche Untergangssagen für die Branche nützlich sind, weil sie die Aufmerksamkeit von den tatsächlichen, aktuellen Problemen ablenken, für die ihre Produkte verantwortlich sind. Wenn man „alles in die ferne Zukunft projiziert“, bemerkt Meredith Whittaker, lässt man „den Status quo unangetastet“.

Weizenbaum, der immer darauf achtet, wie Fantasien über Computer mächtigen Interessen dienen können, würde wahrscheinlich zustimmen. Dennoch gibt es eine Linie des existenziellen Risikodenkens, die sich teilweise mit seiner eigenen überschneidet: die Vorstellung von KI als fremdartig. „Eine superintelligente Maschine wäre für den Menschen genauso fremd wie menschliche Denkprozesse für Kakerlaken“, argumentiert der Philosoph Nick Bostrom, während der Schriftsteller Eliezer Yudkowsky fortgeschrittene KI mit „einer kompletten außerirdischen Zivilisation“ vergleicht.

Weizenbaum würde den folgenden Vorbehalt hinzufügen: KI ist bereits fremd, auch ohne „superintelligent“ zu sein. Menschen und Computer gehören getrennten und nicht vergleichbaren Bereichen an. Es gibt keine Möglichkeit, den Abstand zwischen ihnen zu verringern, wie es die Gruppe existenzieller Risiken durch „AI Alignment“ zu erreichen hofft, eine Reihe von Praktiken zur „Ausrichtung“ von KI an menschlichen Zielen und Werten, um zu verhindern, dass sie zu Skynet wird. Für Weizenbaum können wir KI nicht humanisieren, weil KI irreduzibel nicht menschlich ist. Was Sie jedoch tun können, ist, Computer nicht dazu zu bringen, zu viel zu tun (oder zu bedeuten). Wir sollten niemals „ein Computersystem durch eine menschliche Funktion ersetzen, die zwischenmenschlichen Respekt, Verständnis und Liebe beinhaltet“, schrieb er in Computer Power and Human Reason. Ein guter Umgang mit Computern würde bedeuten, sie an ihrem richtigen Platz einzusetzen: als Rechenhilfen, niemals als Urteilsvermögen.

Weizenbaum schloss nie aus, dass sich eines Tages Intelligenz in einem Computer entwickeln könnte. Aber wenn es so wäre, sagte er 1991 dem Schriftsteller Daniel Crevier, dann wäre es „mindestens so unterschiedlich, wie die Intelligenz eines Delfins von der eines Menschen ist“. Hier verbirgt sich eine mögliche Zukunft, die weder eine Echokammer voller rassistischer Papageien noch die Hollywood-Dystopie von Skynet ist. Es ist eine Zukunft, in der wir eine Beziehung zur KI aufbauen, wie wir es mit einer anderen Spezies tun würden: umständlich, über große Entfernungen hinweg, aber mit dem Potenzial für einige lohnende Momente. Delfine wären schlechte Richter und schreckliche Seelenklempner. Aber sie könnten interessante Freunde werden.

Folgen Sie Long Read auf Twitter unter @gdnlongread, hören Sie sich hier unsere Podcasts an und abonnieren Sie hier die wöchentliche Long Read-E-Mail.