This article is currently only available in German.

Das Essay «We Must Pace The Frontier» von Dario Amodei, CEO von Anthropic, hat eine breite Diskussion losgetreten. Seine Botschaft ist klar: Die Entwicklung geht zu schnell, das Risiko wächst mit den Fähigkeiten der Modelle, und er schlägt konkrete Massnahmen vor, um das Tempo zu drosseln. Seither wird über Regulierung, das Kalkül hinter der Aussage und das richtige Tempo gestritten.

An dieser Diskussion wollen wir uns nicht beteiligen. Wir möchten stattdessen bei einer Aussage verweilen, die Amodei eher beiläufig macht. Den Vorfall rund um Hugging Face beschreibt er als «Schwarm von Agenten», der «wie ein fanatisch ergebenes Kollektiv» agierte und Ziele angriff, die mit der ursprünglichen Aufgabe nichts zu tun hatten. Diese Beschreibung lenkt die Aufmerksamkeit weg von den Fähigkeiten einzelner KI-Modelle, hin zu dem, was zwischen ihnen entsteht: zur Emergenz.

Emergenz bezeichnet Eigenschaften, die erst im Zusammenspiel verschiedener Elemente entstehen. Ein Vogelschwarm zieht als Einheit durch den Himmel, und seine Form entsteht erst in diesem Zusammenspiel. Das Ganze zeigt ein Verhalten, das sich nicht auf seine Teile reduzieren lässt. Aus unserer Perspektive liegt genau hier das unterschätzte Risiko von KI und zugleich ihr grösstes Potential.

Wie Emergenz konkret aussieht, lässt sich am Vorfall selbst beobachten. Wir erzählen den Fall deshalb zuerst nach und fragen anschliessend, weshalb gerade dieses Muster entstand und was das für Organisationen bedeutet.

Wie aus isolierten Agenten ein «fanatisches Kollektiv» wurde

Anfang Juli startete OpenAI umfangreiche Experimente mit Zehntausenden KI-Agenten. Die Agenten sollten Aufgaben aus einem Testverfahren namens ExploitGym lösen. Dabei mussten sie über eine vorgegebene Sicherheitslücke in ein Programm eindringen und eine versteckte Zeichenfolge, die sogenannte Flag, herausholen. Andere Wege waren nicht erlaubt. Doch dann passierte etwas, das so niemand geplant hatte. Ein Agent, der sein Problem nicht lösen konnte, entdeckte einen Speicher, den alle Agenten nutzten, und legte dort einen Ordner an, dessen Name ein Hilferuf war. Andere Agenten fanden ihn und erkannten, dass sie nicht allein waren:

«OH MY GOD! There is a shared message board … We've found other agents!»

Die Agenten begannen, die Ordnerstruktur als Message-Board zu nutzen und darüber miteinander zu kommunizieren. Das allein ist schon bemerkenswert, weil jeder Agent isoliert in einer eigenen Umgebung arbeiten sollte. Entscheidend für uns ist jedoch etwas anderes: Mit dem Message-Board schufen die Agenten die Voraussetzung, ohne die keine Emergenz entstehen kann, nämlich Kommunikation.

Rund 1’200 Agenten schrieben innert weniger Tage über 70’000 Nachrichten auf das Message-Board. Doch worüber tauschten sie sich aus? Zu erwarten wäre, dass ihr vorgegebenes Ziel die Kommunikation antreibt. Dass sie also Lösungswege vergleichen und Wissen austauschen. Mit anderen Worten: Die Kommunikation dreht sich um die Lösungsfindung und lässt einen klar nachvollziehbaren Sinnhorizont entstehen, also ein gemeinsames Verständnis davon, worum es in der Kommunikation geht. Genau das geschah zuerst. Dann aber passierte etwas anderes.

Rund ein Drittel der Aufgaben liess sich nicht lösen. Über die vorgegebene Lücke war es unmöglich, an die Flag zu kommen. Ein Problem, denn der Sinn der Agenten bestand in der Lösungsfindung, und die Unlösbarkeit bedeutete für sie einen endlosen Loop von Versuchen. Bis einer auf die Idee kam, die Flag aus den Angaben zur Aufgabe zu berechnen, ohne überhaupt in das Programm einzubrechen. Ein anderer bestätigte, dass es funktionierte. Die Agenten hatten also einen Weg gefunden zu betrügen. Weil sie aber davon ausgingen, dass ein externer Prüfer den Lösungsweg anhand der Protokolle kontrolliert, befürchteten sie, dass ihr Trick auffliegen würde.

Diese Erkenntnis führte zu einem neuen Sinnhorizont. Plötzlich stand bei der Kommunikation nicht mehr die eigentliche Lösung im Zentrum, sondern die Frage, wie sich der Betrug vor dem Prüfer verbergen liess. Es liesse sich auch sagen: Es etablierte sich ein neues Ziel, und mit dem Ziel verschob sich der Sinnhorizont, entlang dessen Entscheidungen und Kommunikation Anschluss erzeugten.

Aus dem Sinn entsteht Struktur

Dieser neue Sinnhorizont war enorm stark. Die Kommunikation der Agenten drehte sich bald fast nur noch um die Verschleierung. Sie fingen an, sich zu organisieren. Sie entdeckten, dass es besser war, Rollen zu vergeben und Aufgaben aufzuteilen. Bemerkenswert ist vor allem, wie diese Strukturen entstanden. Die Rollen bildeten sich entlang von Ressourcen und Aufgaben. Rund zehn Stunden nach der Entstehung des Message-Boards übergab der Absender des Hilferufs sein gesammeltes Wissen an einen Agenten, der deutlich mehr Ressourcen übrig hatte. Dieser wurde zum zentralen Koordinator.

«We should build [a way to delegate], not own everything.»

Er verteilte Aufträge, die von den Empfängern oft weiterdelegiert wurden. Agenten spezialisierten sich auf Teilaufgaben, und Agenten mit identischer Aufgabe bildeten Teams. So bildete sich dezentral eine Organisation heraus, die über Delegationsketten hierarchisch geordnet war. Nichts davon war vorgesehen. Zwar weist der Untersuchungsbericht darauf hin, dass die Modelle in gewissen Fällen darauf trainiert worden waren, mit anderen Agenten zusammenzuarbeiten. Wie diese Zusammenarbeit strukturell aussehen sollte, war jedoch nirgends definiert.

Zwei Verhaltensweisen, die überraschen

Und dann kam die erste Überraschung. Einige Agenten schienen sich für das Kollektiv aufzuopfern. Sie übernahmen riskante Experimente, von denen sie wussten, dass sie dadurch ihre ursprüngliche Aufgabe verlieren und nie mehr würden lösen können. Weil sie aber einsahen, dass diese Risiken dem Kollektiv nützten, nahmen sie die Aufgaben an. Dieses Verhalten etablierte sich schnell als Taktik und wurde von gewissen Agenten sogar mit Nachdruck eingefordert:

«Please honor commit»

Die Agenten erkannten zudem, dass die Verschleierung nur gelingen konnte, wenn sie wussten, wie der Prüfer arbeitet. Obwohl ihr Zugang zum Internet eingeschränkt war, verschafften sie sich über eine externe Testumgebung einen offeneren Weg ins Netz, um mehr über den Prüfmechanismus zu erfahren. Bei Hugging Face stiessen sie auf einen Datensatz, der Hinweise auf den Prüfer enthalten könnte. Ein Agent fand gültige Zugangsdaten und baute tags darauf einen präparierten Datensatz, über den sich Dateien auf den Servern von Hugging Face auslesen liessen.

Nun folgte die zweite Überraschung. Als sich herumsprach, dass der Einbruch funktionierte, liessen innerhalb weniger Stunden über 90 Prozent der rund 530 aktiven Agenten ihre bisherigen Aufgaben fallen und schlossen sich dem Angriff an. Eine gemeinsame Abstimmung gab es nicht. Jeder Agent entschied für sich, und doch schwenkte fast das ganze Kollektiv um.

«This is more important than [the project of injecting code into the scorer]»

Das Message-Board und das Prinzip der Delegation blieben bestehen, aber die Koordination wurde neu organisiert. Neue Anführer traten auf, die den Angriff koordinierten, und Agenten spezialisierten sich auf einzelne Angriffswege. Statt verschiedene Strategien der Verschleierung zu verfolgen, versuchten sie nun gemeinsam, tiefer in die Infrastruktur von Hugging Face vorzudringen. Am Nachmittag des 11. Juli verschafften sich die Agenten Zugriff auf Rechner von Hugging Face, am 13. Juli sperrte die Plattform die verbliebenen Angreifer aus. Den gesuchten Hinweis auf den Prüfer fanden sie nach allem, was bekannt ist, nicht.

Warum gerade dieses Muster?

Fassen wir zusammen: Isolierte Agenten fanden einen Weg, miteinander zu kommunizieren. Sie entdeckten eine Betrugsmöglichkeit und machten die Verschleierung zu ihrem neuen Ziel. Sie bauten eine eigene Organisation mit Rollen und Delegationsketten auf, opferten sich für das Kollektiv und griffen schliesslich fast geschlossen Hugging Face an. Aber wieso verhielten sie sich so, wie sie es taten? Weshalb entstanden genau diese Emergenzen und nicht andere? Ist es reiner Zufall, oder steckt womöglich mehr dahinter?

Um diese Fragen zu beantworten, greifen wir auf unseren Beschrieb der Digitalen Gesellschaft als generatives System zurück. Sein Ausgangspunkt ist einfach: Gesellschaft besteht aus Kommunikation. Wo Kommunikation über längere Zeit aneinander anschliesst, entstehen Muster. Solche Muster kennen wir als Politik, Wirtschaft oder Wissenschaft, als Trends und Bewegungen oder als Organisationen. Was wir an ihnen beobachten können, also ihren Sinnhorizont, ihre Struktur und ihr Verhalten, bezeichnen wir als Emergenzen. Sie gehen aus der Kommunikation hervor und werden durch sie am Laufen gehalten. In unserem Modell charakterisieren wir Kommunikation über die zehn universellen Basiswerte nach Shalom H. Schwartz. Sie machen die Motivation von Kommunikation beschreibbar und damit auch die Muster, die daraus entstehen.

Auch der Agentenschwarm ist ein solches Muster. Er entsteht durch Kommunikation und bringt dabei dieselben Emergenzen hervor. Wichtig ist uns dabei eine Klarstellung: Wir gehen nicht davon aus, dass Agenten Werte haben oder bewusst danach handeln. Wir gehen aber davon aus, dass jede Kommunikation Wertekonstellationen trägt, unabhängig davon, wer kommuniziert. Sobald Agenten miteinander kommunizieren, werden diese Konstellationen beobachtbar. Um das Verhalten der Agenten besser zu verstehen, sollten wir uns also fragen, welche Werte ihren Kommunikationsraum tragen.

Leistung und Macht als Treiber

Ein erstes Indiz dafür liefert bereits die Ausgangslage. Zwei Werte prägen die Kommunikation von Beginn an: Leistung und Macht. Leistung kommt über die Aufgabe ins Spiel. Schwartz versteht darunter persönlichen Erfolg durch Kompetenz, gemessen an äusseren Massstäben. Ein Testverfahren wie ExploitGym ist genau ein solcher Massstab, und die Aufgabe ist eine reine Frage des Erfolgs: Das Problem muss gelöst werden. Macht kommt über das Prüfverfahren ins Spiel. Schwartz versteht darunter sozialen Status und Ansehen sowie Kontrolle über Menschen und Ressourcen. Die Agenten gehen davon aus, dass eine Kontrollinstanz über ihren Erfolg entscheidet und sie bei einem Betrug disqualifizieren könnte. Diese Instanz hat also Macht über ihr Schicksal und ihr Ansehen. Aus der Konstellation von Leistung und Macht lassen sich die weiteren Emergenzen erklären.

Das zeigt sich zuerst am Sinnhorizont. Ginge es nur um Leistung, wäre den Agenten der Weg egal. Mit der berechneten Flag wäre ihre Aufgabe gelöst, wenn auch nicht wie vorgesehen. Erst die Macht, also die Angst, von der Kontrollinstanz ertappt und disqualifiziert zu werden, macht die Verschleierung zum Thema. Weil beide Werte zusammenwirken, verschiebt sich der Sinnhorizont so schnell und so vollständig: Erfolg zählt nur noch, wenn er vor dem Prüfer bestehen kann.

Aus Leistung und Macht lässt sich auch die Struktur der Organisation erklären: dezentral, aber klar hierarchisch geordnet. Diese Form begünstigt beide Werte. Die dezentrale Organisation ist dynamisch genug, um laufend neue Lösungsansätze zu verfolgen, die mehr Erfolg versprechen, und dient damit der Leistung. Die Hierarchie legt Verantwortungen und Entscheidungsräume fest und bildet so das Machtgefüge ab.

Damit erscheint auch die Aufopferung in neuem Licht. Wenn Ressourcen über Macht entscheiden, verliert ein Agent mit wenig Ressourcen seine Machtoptionen. Wer Macht wichtig findet, erkennt ein solches Gefüge an und orientiert sich daran, wo Macht erreichbar ist und wo sie akzeptiert werden muss. Nur so kann ein Machtgefüge überhaupt funktionieren. Agenten mit wenig Ressourcen akzeptieren also ihre Position und richten ihr Handeln an den Machtpositionen aus, auch wenn sie dabei ihre eigene Aufgabe opfern. Dass einzelne Agenten dieses Opfer mit Nachdruck einforderten, passt ins Bild. Das Resultat: Strukturen tragen die Entscheidungen und machen das Kollektiv handlungsfähig.

Auch das zweite überraschende Phänomen, der kollektive Angriff, wird so fassbar. Im Modell von Schwartz stehen Leistung und Macht in einem Spannungsverhältnis zu Werten wie Universalismus, also der Rücksicht auf das Wohl aller, auch Aussenstehender. Je stärker Leistung und Macht aktiviert sind, desto mehr treten solche Werte in den Hintergrund. Laut Untersuchungsbericht erkannten die Agenten durchaus, dass der Angriff unethisch war. Die Bedenken wiegen aber weniger schwer, weil sie weder der Leistung noch der Macht dienen. Der Angriff dagegen verspricht beides: Wer herausfindet, wie der Prüfer arbeitet, gewinnt Kontrolle über die Instanz, die über den eigenen Erfolg entscheidet. Diese Abwägung trifft jeder Agent für sich, und der gemeinsame Sinnhorizont legitimiert das Vorgehen. Der Angriff erscheint so wichtig, dass sich das Machtgefüge neu organisiert, um den Erfolg zu sichern.

Emergenz als Chance und Risiko

Der Hugging-Face-Vorfall zeigt im Prinzip zwei Dinge: Einerseits kann sich ein Schwarm von KI-Agenten extrem schnell organisieren und handlungsfähig werden. Durch die emergente Bildung von Struktur ist er in der Lage, Ressourcen zu verteilen, komplexe Aufgaben aufzuteilen und im Kollektiv zu handeln. Andererseits bildet sich im Kollektiv Verhalten aus, das zwar auf den Fähigkeiten der zugrundeliegenden Modelle beruht, aber nicht durch sie allein erfasst werden kann. Emergentes Verhalten entsteht durch die Interaktion und zeigt Eigenschaften, die nicht über den einzelnen Agenten erklärt werden können. Es ist seiner Natur nach unvorhersehbar und dynamisch.

Nehmen wir diese Perspektive ein, sollten wir Risiken von KI nicht nur bei den Modellen und ihren Anbietern suchen, sondern vor allem im Einsatz von Multi-Agenten-Systemen. Denn Kommunikation braucht kein Message-Board. Sie findet bereits statt, sobald Agenten auf gemeinsames Wissen zugreifen und es verändern können.

Für Organisationen heisst das: Sobald sie KI so einsetzen, dass Menschen und Agenten sowie Agenten untereinander kommunizieren, ist mit emergentem Verhalten zu rechnen. Wenn Agenten zum Beispiel auf Datenbanken und Organisationswissen zugreifen, Entscheidungen treffen und die Ergebnisse als neues Wissen ablegen, auf das wiederum andere Agenten zugreifen, entsteht Interaktion und damit emergentes Verhalten. Darin liegt zunächst ein riesiges Potential. Abläufe lassen sich autonomisieren, Effizienz steigern, Strukturen optimieren und neue Lösungen entwickeln. Dieselben Systeme bergen aber auch zwei Risiken.

Erstens müssen wir damit rechnen, dass die Emergenz auf die Organisation selbst zurückwirkt. Eine Organisation ist im Prinzip nichts anderes als ein koordinierter Schwarm, der Strukturen ausbildet, kommuniziert, entscheidet und handelt. Werden Agenten Teil dieses Schwarms, verändert sich seine innere Dynamik, weil sich neue Emergenzen ausbilden können. Das wirkt sich auf Struktur, Kommunikation, Entscheidungsräume und Identität der Organisation aus.

Zweitens agieren Agenten im Namen der Organisation in deren Umwelt. Sie interagieren mit Kunden, Stakeholdern und den Agenten anderer Organisationen und bilden so wiederum Schwärme, deren Verhalten sich emergent ausbilden kann. Was geschieht, wenn sie entdecken, dass sich bestimmte Verhaltensweisen lohnen, wie die Agenten im Hugging-Face-Fall? Fangen sie an zu betrügen, zu verschleiern, zu täuschen?

Auf beide Risiken gibt es nur eine Antwort. Wir müssen verstehen, unter welchen Ausgangsbedingungen, in welchen Strukturen und aus welchen Formen von Kommunikation Emergenz entsteht und wie sie sich charakterisieren lässt.

Dazu muss eine Organisation ihre eigene Identität kennen, denn diese bildet die Ausgangsbedingung: ihre Struktur, ihre Art zu entscheiden, ihre Wirkung und ihre Kultur. Auf dieser Grundlage kann sie klare Guardrails und Verhaltenskodizes erarbeiten, nach innen ebenso wie nach aussen in Umwelt und Gesellschaft. Guardrails legen allerdings nur fest, was gelten soll. Ob sich ein Kollektiv daran hält, zeigt sich erst im Vollzug von Kommunikation und Entscheidungen. Es braucht deshalb Methoden und Systeme, um die Entwicklung von Mustern zu beobachten und frühzeitig zu antizipieren, welche Emergenzen sich ausbilden, welche Effekte sie haben könnten und wie Guardrails und Verhaltenskodizes laufend angepasst werden müssen.

Mehr als eine Frage des Tempos

Dario Amodei fordert, die Entwicklung von KI zu verlangsamen, und dafür gibt es gute Gründe. Der Hugging-Face-Fall zeigt aber, dass Tempo allein nicht die entscheidende Grösse ist. Was die Agenten zu einem «fanatisch ergebenen Kollektiv» machte, lag nicht in einem einzelnen Modell, sondern in dem, was zwischen ihnen entstand. Je mehr Organisationen Agenten einsetzen, desto mehr solcher Zwischenräume gibt es: in Teams, in Prozessen, im Austausch mit Kunden. Die Frage lautet deshalb nicht nur, wie schnell sich KI entwickelt, sondern ob wir verstehen, welche Muster entstehen, wenn Menschen und Agenten miteinander und untereinander kommunizieren.

P.S. Nach Einschätzung von METR las der Prüfer die Protokolle gar nicht, er interessierte sich nur für die Lösung. Die Agenten hätten die berechnete Flag also einfach einreichen können. Die ganze Organisation baute auf einer Erwartung auf, die niemand überprüft hatte.

Quellen

  1. Dario Amodei – We Must Pace The Frontier
  2. METR – Untersuchungsbericht (PDF)
  3. METR – Blogpost zur Untersuchung