Anthropic fordert globalen KI-Stopp: Rekursive Selbstverbesserung rückt näher als gedacht
Kurzfassung
Claudes Aufgabenhorizont verdoppelt sich alle vier Monate. Anthropics Ingenieure liefern achtmal mehr Code als vor fünf Jahren. Das Unternehmen kurz vor seinem Milliarden-IPO fordert einen globalen Pause-Mechanismus.
Am 4. Juni veröffentlichte Anthropics Forschungs- und Politikteam ein Papier mit dem Titel “When AI builds itself.” Die zentrale These: KI-Systeme nähern sich einem Schwellenwert, an dem sie autonom ihre eigenen Nachfolgemodelle entwerfen und trainieren könnten. Das bestehende Regulierungsumfeld ist darauf nicht vorbereitet.
Anthropic nennt diesen Prozess rekursive Selbstverbesserung. Gemeint ist eine Entwicklung, bei der KI-Systeme beginnen, ihre eigenen Trainingsprozesse selbstständig zu optimieren, in einer sich selbst verstärkenden Spirale mit zunehmend weniger menschlicher Kontrolle. Die Autoren sind Marina Favaro, Leiterin der internen Forschung bei Anthropic, und Jack Clark, Leiter der Politikabteilung. Ihre Forderung: Führende KI-Labore sollen gemeinsam Verifikationsmechanismen aufbauen, damit koordinierte Verlangsamungen oder Pausen möglich werden, bevor der Schwellenwert erreicht wird.
Die Wachstumskurve in konkreten Zahlen
Anthropic veröffentlichte eine Fähigkeitsprogression für die Claude-Modelle, die die Entwicklung greifbar macht. Claude Opus 3 konnte 2024 selbstständig Aufgaben von etwa vier Minuten Dauer bewältigen. Claude Sonnet 3.7 erreichte 2025 rund 90 Minuten. Das aktuelle Claude Opus 4.6 löst eigenständig komplexe Aufgaben, die zwölf Stunden menschlicher Arbeit entsprechen.
Bei der aktuellen Verdopplungsrate von vier Monaten ist ein Modell, das 2027 mehrtägige Fachprojekte autonom bearbeitet, keine Übertreibung.
Intern liefern Anthropic-Ingenieure inzwischen achtmal so viel Code pro Quartal wie im Durchschnitt der Jahre 2021 bis 2025. Claude-geschriebener Code, der Ende 2025 noch leicht unter menschlichem Niveau lag, hat Anfang 2026 die Parität erreicht.
Das Verifikationsproblem
Favaro und Clark sprechen das Durchsetzungsproblem offen an. Nukleare Rüstungskontrolle funktionierte, weil Atomanlagen physische Spuren hinterlassen. Satelliten können sie überwachen, Inspektoren können vor Ort prüfen. KI-Training hat keine solchen Fingerabdrücke. Rechenkapazität ist weltweit auf private Rechenzentren und gemietete Cloud-Infrastruktur verteilt. Clark formulierte es direkt: “Die Verfolgung dezentraler Rechenressourcen ist weit schwieriger als die Überwachung von Nuklearanlagen.”
Ein glaubwürdiges Verifikationsregime würde einen völlig neuen internationalen Rahmen erfordern, der derzeit nicht existiert.
Anthropics Vorschlag umfasst drei Ebenen: erstens Verifikationsmechanismen zwischen KI-Laboren aufbauen, um Entwicklungsfortschritte nachzuverfolgen; zweitens Politikverantwortliche und Forscher zusammenrufen, um Bedingungen für einen Stopp zu definieren; drittens verpflichtet sich Anthropic, die eigene Frontier-Entwicklung zu pausieren, wenn andere führende Labore dies nachweislich ebenfalls tun.
Kommerzieller Kontext und Sicherheitspositionierung
Der Zeitpunkt der Ankündigung ist auffällig. Drei Tage zuvor hatte Anthropic eine Finanzierungsrunde über 65 Milliarden Dollar bei einer Bewertung von 965 Milliarden Dollar abgeschlossen und einen vertraulichen IPO-Prospekt eingereicht. Der Quartalsumsatz überstieg 10 Milliarden Dollar. Mehr als 1.000 Unternehmenskunden geben inzwischen jährlich mindestens eine Million Dollar für Claude aus.
Ein Unternehmen, das auf einen Börsengang im Billionen-Dollar-Bereich zusteuert und gleichzeitig einen globalen KI-Entwicklungsstopp fordert, sendet widersprüchliche Signale. Rob Enderle vom Enderle Group bezeichnete eine globale Durchsetzung als “praktisch unmöglich” und wertete die Ankündigung als strategische Positionierung.
Anthropics Verpflichtung ist ausdrücklich konditioniert: “Andere machen zuerst, wir folgen.” Diese Struktur hat keinen unmittelbaren kommerziellen Preis. Anthropics Sicherheitspositionierung war bei Unternehmenskunden ein echter Differenziator, und dieses Papier schärft dieses Markenbild, unabhängig davon, ob die Forderung jemals zur Politik wird.
Die eigentliche Frage ist, wann rekursive Selbstverbesserung tatsächlich eintrifft und ob die globale KI-Governance bis dahin vorbereitet sein wird. Beim aktuellen Tempo der Gesetzgebung eher nicht.
Wenn dieser Artikel hilfreich war, abonniere den Newsletter für wöchentliche KI-PM-Einblicke.
Weiterführende Lektüre:
Verwandte Artikel
Anthropic beschuldigt Alibaba des größten Claude-Destillationsangriffs: 28,8 Mio. Anfragen, Senat plant Sanktionen
Anthropic informierte den US-Senat über den bislang größten Destillationsangriff auf Claude: 28,8 Mio. Anfragen über 25.000 Fake-Konten in sechs Wochen, gezielt auf Claudes wertvollste Fähigkeiten. Kosten: wahrscheinlich unter 90.000 Dollar. Extrahierter Wert: um ein Vielfaches höher.
Project Fetch Phase 2: Claude Opus 4.7 programmiert Roboterhund 37-mal schneller, der Ball bleibt liegen
Anthropic Project Fetch Phase 2: Claude Opus 4.7 schrieb autonom Steuercode für einen Roboterhund 37-mal schneller als das beste menschliche Team ohne KI-Unterstützung, mit einem Zehntel der Codezeilen. Der Roboterhund holte den Ball trotzdem nicht. Das Ergebnis ist Meilenstein und ehrliche Grenzmarkierung zugleich.