Deep Dive aus Episode #101

Lukas

Willkommen zum Deep Dive des Podcast einhunderteins, wie ihr wisst, immer wenn es ein Thema verdient tiefer behandelt zu werden, werden wir uns darum kümmern, es euch näher zu bringen, so wie heute. Und wie immer auf Basis des englischsprachigen Newsletter der EU.

Lukas

Herzlich Willkommen, ich bin Dein Gastgeber Lukas Stellt euch folgendes vor: Ein KI-Modell sitzt virtuell vor einem simulierten Firmennetzwerk. Es gibt keinen menschlichen Operator, der Tastaturbefehle eingibt. Niemand drückt auf "Enter". Und doch arbeitet sich dieses Programm völlig autonom durch exakt 32 komplexe Schritte eines Cyberangriffs.

Lukas

Es identifiziert Schwachstellen, generiert die passenden Exploits und dringt tiefer und tiefer in das System ein. Keine Teilautomatisierung. Ein kompletter, autonomer Durchlauf der Unternehmensnetzwerk-Angriffssimulation des UK AI Security Institute.

Lukas

Dieses Modell existiert. Es heißt Claude Mythos Preview -- kurz Mythos -- und es ist das leistungsfähigste Modell, das Anthropic jemals entwickelt hat. Es hat in der zentralen Infrastruktur, die unser Internet bildet, Tausende von Schwachstellen gefunden. TAUSENDE.

Lukas

Diesmal habe ich den vollständigen Artikel von Jimmy Farrell. Der ist EU AI Policy Co-Lead bei Pour Demain. Veröffentlicht in Tech Policy Press. Titel: How the EU and UK Can Learn From Anthropic's Mythos. Auf Deutsch: Was EU und UK aus Anthropics Mythos lernen können.

Lukas

Und das führt uns direkt zum Kernthema unserer heutigen Ausgabe von Layer 8. In der IT-Sicherheit sprechen wir ja oft vom OSI-Modell, den sieben Schichten der Netzwerkarchitektur. Layer 1 ist die Hardware, Layer 7 die Anwendung. Aber der achte Layer -- LAYER 8 -- das ist der Mensch. Die Governance. Wir.

Lukas

Wenn die Technologie der Schichten 1 bis 7 nun fähig ist, sich selbst anzugreifen und Schwachstellen völlig autonom auszunutzen... dann wird Layer 8 nicht nur wichtig. Er wird zu unserer EINZIGEN echten Verteidigungslinie.

Lukas

In der letzten Folge haben wir den ersten Teil dieses Artikels schon behandelt. Heute geht's um den zweiten, tieferen Teil. Aber ich gehe nochmal kurz durch die Argumentationslinie — damit auch Neueinsteiger mitkommen. Und damit wir das Ganze in einem Stück sehen.

Lukas

Mythos ist Anthropics größtes und leistungsfähigstes Modell. Es markiert einen signifikanten Sprung in der Fähigkeit von KI, komplexe Cyber-Angriffe zu automatisieren. Tausende von Schwachstellen in kritischer Internet-Infrastruktur gefunden. Erstes Modell überhaupt, das alle zweiunddreißig Schritte einer professionellen Angriffssimulation autonom durchläuft.

Lukas

Anthropic hat es nicht öffentlich veröffentlicht. Stattdessen Partnerschaft mit ausgewählten US-Tech-Konzernen. Plus: Das Weiße Haus will Zugang — trotz früherer Einstufung Anthropics als Lieferketten-Risiko. (...) Das UK AI Security Institute hat innerhalb von sechs Tagen umfassende Tests veröffentlicht. Zwei Tage später schickt die britische Regierung einen offenen Brief an Wirtschaftsführer. Acht Tage von Modell-Ankündigung bis Behörden-Reaktion. Lichtgeschwindigkeit.

Lukas

Farrells Diagnose: Drei Punkte, auf die sich der Diskurs verständigt hat. Erstens: Großskalige systemische Risiken durch KI sind unmissverständlich angekommen. Zweitens: Sie werden sich wahrscheinlich verschärfen. Drittens: Die EU muss sich entsprechend vorbereiten. Daraus seine Kernthese: Der kombinierte Ansatz von EU und UK kann als Modell dienen.

Lukas

Warum kombiniert? (...) Weil das UK Tempo und Test-Expertise hat. Und die EU regulatorische Durchsetzungsmacht. Das UK kann testen — aber nicht durchsetzen. Die EU kann durchsetzen — aber bisher nicht so schnell testen. Zusammen: öffentliche Aufsicht über Frontier-AI.

Lukas

Wie das UK so schnell sein kann, hatte ich in der vorigen Folge schon ausführlich erklärt. (...) Stichworte zur Erinnerung: Doppeltes Beamtengehalt — verbucht als R&D-Investitionsausgaben. Class Approvals — Sammel-Genehmigungen statt Einzelprüfung. Schnelle, technische, gut bezahlte Talentakquise.

Lukas

Farrells Forderung an die EU: ähnliche administrative Lösungen — plus allgemeine Ressourcen-Aufstockung. Konkret: Vertragspermanenz statt prekärer Jahresverträge mit Sechs-Jahres-Befristung im FG-IV-Contract-Agent-System. Niemand mit Top-Skills und Familie geht freiwillig in so ein Vertragsmodell. Punkt.

Lukas

Und der dritte UK-Vorteil — der hier wichtig wird: Nähe technischen Know-hows zu den höchsten Ebenen politischer Macht. (...) In der EU dagegen — und das ist die unangenehme Wahrheit — bleibt die Position des Lead Scientific Adviser am AI Office seit Ende zweitausendvierundzwanzig unbesetzt. Über ein Jahr. Wahrscheinlich, weil die Verantwortung extrem folgenschwer ist und die Bedingungen nicht attraktiv genug.

Lukas

o, jetzt zum neuen Teil. Den ich euch in der vorigen Folge versprochen habe. Und der hat es in sich. Farrell macht einen wichtigen Schritt. Er sagt: Die aktuellen Experten am AI Office bieten bereits einzigartige Frontier-AI-Expertise. (...) Heißt: Wir haben in Brüssel nicht zwangsläufig schlechtes Personal. Im Gegenteil. Das vorhandene Personal ist gut. Das Problem ist die Verbindung nach oben.

Lukas

Sein Vorschlag — und das ist konkret und machbar. Es könnten direkte Kanäle von diesen Experten zur Kabinett-Ebene etabliert werden. Konkret zur Kabinett-Ebene von Henna Virkkunen, der Exekutiv-Vizepräsidentin. Und zur Präsidentin Ursula von der Leyen. Für Fälle rascher Fähigkeitssprünge wie Mythos.

Lukas

Was heißt das praktisch? (...) Wenn morgen das nächste Mythos auf den Tisch landet — sollte es nicht durch acht Verwaltungsebenen wandern, bis es bei der Präsidentin ankommt. Sondern: Direkter Draht. Vom Experten zur Präsidentin. Innerhalb von Stunden.

Lukas

Und Farrell geht noch weiter. Idealerweise hätten Präsidentin von der Leyen und die Staats- und Regierungschefs der Mitgliedstaaten ihre eigenen KI-Berater. Ähnlich denen des britischen Premierministers Keir Starmer. Mit spezifischer Expertise in der transformativsten Frontier-AI.

Lukas

Das ist eine politisch starke Forderung. Was wir kennen sind Wirtschaftsberater, Außenpolitik-Berater, Klima-Berater. KI-Berater auf Staats- und Regierungschef-Ebene? Eher selten. (...) Aber Farrell hat einen Punkt. Wenn KI die transformativste Technologie unserer Zeit ist — wieso hat ein deutscher Bundeskanzler dann keinen dedizierten KI-Berater, der sein Kabinett auf Augenhöhe mit der Industrie hält? Das ist eine Lücke. Und sie ist vermeidbar.

Lukas

Aber Farrell ist fair. (kurze Pause) Er sagt klar: Der UK-Ansatz hat nicht alles. Er beruht weiterhin vollständig auf dem freiwilligen Wohlwollen der Frontier-AI-Anbieter. Wenn Anthropic kooperiert — gut. Wenn nicht — schlecht. Punkt.

Lukas

Und jetzt spielt er seine strategische Karte aus. (...) Im Gegensatz dazu spiegeln die Entwicklungen rund um Mythos die Voraussicht der EU und die Weitsicht des AI Act wider. Konkret: der Abschnitt zu GPAI-Modellen. Und der begleitende Verhaltenskodex. Die systemischen Risiken, die der AI Act ansprechen wollte, sind nun — Zitat — überdeutlich geworden.

Lukas

Was heißt das? Der AI Act wurde ja oft als „zu vorsichtig", „überreguliert", „zu konservativ" kritisiert. Farrell sagt: Im Gegenteil. Mythos zeigt, dass die Risiken, die der AI Act vorausgesehen hat, real sind. Die Drafter waren nicht überängstlich. Sie waren vorausschauend.

Lukas

Und jetzt das Juristische — und ich gehe da bewusst tief rein. (kurze Pause) Selbst bevor ein Modell wie Mythos offiziell auf dem EU-Markt bereitgestellt wird, bestehen rechtliche Möglichkeiten für das AI Office, eine gewisse Aufsicht zu erlangen. Sofern eine Bereitstellung auf unserem Markt geplant ist.

Lukas

Wie? (...) Der AI Act adressiert systemische Risiken aus Hoch-Impact-Fähigkeiten der fortschrittlichsten Modelle. Und zwar — Zitat aus Erwägungsgrund 110 — „entlang des gesamten Lebenszyklus des Modells". Einschließlich — Zitat — „offensiver Cyber-Fähigkeiten, etwa der Weisen, in denen Schwachstellen-Entdeckung, -Ausnutzung oder operative Nutzung ermöglicht werden können".

Lukas

Erwägungsgrund einhundertzehn. Schreibt's euch auf. Erwägungsgründe sind in der EU-Gesetzgebung die Begründungen zu Artikeln. Sie sagen: Was meint dieser Artikel? Was war die Intention? Und Erwägungsgrund einhundertzehn nennt explizit offensive Cyber-Fähigkeiten als Beispiel für systemische Risiken.

Lukas

Heißt: Wenn Anthropic Mythos auf dem EU-Markt bereitstellen will — der AI Act gilt bereits ab der Pre-Training-Phase. (...) Das ist der entscheidende juristische Hebel. Pre-Training. Heißt: Bevor das Modell überhaupt fertig ist. Bevor es feinjustiert wurde. Bevor es eine Pressemitteilung gibt.

Lukas

Farrells Pointe — und das ist stark: Die EU verfügt damit über einen regulatorischen Handlungsspielraum, den das UK nicht besitzt. Punkt. Das ist die komparative Stärke der EU. Das UK kann nicht in Pre-Training reinregulieren. Die EU kann es. Theoretisch. Wenn sie's macht.

Lukas

Aber Recht allein reicht nicht. (...) Farrell zählt auf, welche institutionellen Werkzeuge die EU angekündigt hat. Und das sind eine ganze Menge. Ich gehe das durch.Lucas: Erstens: Das Wissenschaftliche Gremium. Wir hatten das. Unabhängige Experten, beraten das AI Office. Zweitens: Das Beratungsforum. Wir hatten das auch. Multi-Stakeholder. Zivilgesellschaft, Industrie, Wissenschaft. Übrigens: noch immer nicht eingerichtet. Drittens: Die Frontier AI Initiative. Viertens: Eine Neun-Millionen-Euro-Ausschreibung für Drittanbieter-Modellbewertungen.

Lukas

Neun Millionen Euro. Vergleicht das mal mit dem, was Anthropic an Lobby-Budget hat. Oder mit dem, was das UK AISI an Capex-R&D verbucht. Aber: Es ist ein Anfang. Es ist mehr als nichts. Es ist eine gerichtete Investition.

Lukas

Farrells Empfehlung: Dieses Momentum fortsetzen. (...) Reich aufgestellte Multi-Stakeholder- und technisch versierte externe Foren einrichten. Damit die EU bei den Ressourcen und der Expertise, die dem UK AISI zur Verfügung stehen, aufholt.Lucas: Und jetzt der konkrete operative Vorschlag — der mir besonders gefällt. (kurze Pause) Diese Foren sollten Schnellreaktionssysteme enthalten. Ähnlich denen, die im DSA — also dem Digital Services Act — bereits verwendet werden. Damit Informationen schnell und präzise von der technischen Expertise zu den politischen Entscheidungsträgern fließen.

Lukas

Das ist der Kreis zum vorherigen Punkt. Direkte Kanäle. Schnellreaktionssysteme. Informationsfluss zwischen Experten und Politik. Strukturell. Nicht ad hoc.

Lukas

Und jetzt zur strategischen Diagnose. Die wird politisch. (...) Farrell sagt klar: Der AI Act in seiner aktuellen Form ist ein guter Anfang. Aber. Mythos und seine Vorzeichen auf die KI-Modelle in zwei bis drei Jahren machen den Bedarf an strengeren Regeln und robusten internationalen Standards deutlich.

Lukas

Warum? Lasst mich seine Argumentation zerlegen. (kurze Pause) Anthropics Entscheidung, Mythos nicht öffentlich zu veröffentlichen, ist ein gutes Signal. Aber. Das wahrscheinliche Szenario der nahen Zukunft ist: Konkurrierende Unternehmen werden nicht dieselbe Vorsicht walten lassen.

Lukas

Und das ist nicht Theorie. (...) Erst letzte Woche kündigte OpenAI ein vergleichbar leistungsfähiges Modell an. Den Namen kennt ihr inzwischen: GPT-5.4-Cyber. Und das soll weit weniger restriktiv als Mythos veröffentlicht werden.

Lukas

Lasst das sacken. Anthropic hat Mythos an zwölf US-Tech-Konzerne und das UK AISI gegeben. Mit Project Glasswing zum Patchen. Mit Brüsseler Briefing. Das war die konservative Variante. Und jetzt kommt der Konkurrent mit ähnlichen Fähigkeiten — aber weniger restriktiv. Das offenbart, sagt Farrell, das Ausmaß, in dem die öffentliche Aufsicht über Frontier-AI bisher unzureichend war.

Lukas

Bisher unzureichend. Das ist deutlich. Und es ist richtig.

Lukas

Und jetzt — der für mich brillanteste Vergleich des Artikels. Farrell macht etwas, das ich in der EU-AI-Debatte selten so klar gelesen habe. Er vergleicht KI mit anderen sicherheitskritischen Bereichen.

Lukas

Zitat: Von Pharmazeutika über Flugzeuge, Chemikalien bis hin zu Medizinprodukten — kritische Bereitstellungsentscheidungen werden im EU-Recht üblicherweise nicht privaten Unternehmen überlassen. (...)

Lukas

Lasst das sacken. Niemand würde auf die Idee kommen, dass ein Pharma-Unternehmen selbst entscheidet, ob sein neues Medikament auf den Markt darf. Es gibt Zulassungsverfahren. Bei der EMA. Bei den nationalen Behörden. Mit klinischen Studien. Mit Pre-Market-Authorization. Selbstverständlich.

Lukas

Niemand würde auf die Idee kommen, dass Boeing selbst entscheidet, ob ein neues Flugzeug fliegen darf. Es gibt Luftfahrt-Zulassungen. Strenge. Pre-Market. Selbstverständlich. Niemand würde auf die Idee kommen, dass ein Chemiekonzern selbst entscheidet, ob sein neuer Stoff verkauft werden darf. REACH lässt grüßen. Pre-Market. Selbstverständlich.

Lukas

Bei KI? (...) Anthropic baut Mythos. Anthropic entscheidet, wer es kriegt. Anthropic entscheidet, wie es ausgerollt wird. Anthropic entscheidet, mit wem Project Glasswing zusammenarbeitet. Brüssel kriegt ein Briefing. Höflich. Freiwillig.

Lukas

Farrell zeigt diese Lücke klar. Der AI Act verlangt Pre-Market-Konformitätsbewertung — also Zulassung vor Markteintritt — für KI-Systeme, die in Hochrisiko-Fällen wie Beschäftigung und Strafverfolgung eingesetzt werden. Das ist sehr gut. Aber — und das ist die Pointe — für GPAI-Modelle mit systemischem Risiko gibt es keine Pre-Market-Zulassung. Und genau das wäre die rechtliche Kategorie, unter die Mythos fallen würde.

Lukas

Heißt: Wir haben strengere Vorschriften für eine KI, die in einem HR-Tool entscheidet, ob jemand zum Bewerbungsgespräch eingeladen wird — als für ein KI-Modell, das autonom Cyber-Angriffe gegen kritische Internet-Infrastruktur durchführen kann. (...) Das ist absurd. Und es ist die Lücke, die Farrell schließen will.

Lukas

Sein konkreter Vorschlag. Im Kontext, dass Anthropics eigener CEO Dario Amodei zu Beginn dieses Jahres in Davos eine Verlangsamung des Frontier-AI-Rennens gefordert hat — könnte diese regulatorische Lücke geschlossen werden, indem in zukünftigen Überarbeitungen des AI Act eine Pre-Market-Autorisierung für GPAI-Modelle mit systemischem Risiko eingeführt wird.

Lukas

Pre-Market-Autorisierung für GPAI mit systemischem Risiko. (...) Das wäre eine fundamentale Erweiterung des AI Act. Konkret hieße das: Bevor OpenAI das nächste GPT-Modell oder Anthropic das nächste Claude-Modell oder DeepMind das nächste Gemini-Modell auf dem EU-Markt bereitstellen darf — müssen sie eine Zulassung beantragen. Wie bei Pharma. Wie bei Flugzeugen.

Lukas

Das ist eine radikale Forderung. Aber sie ist logisch. Wenn die Risiken systemischer Art sind — warum dann das Schwächste aller regulatorischen Instrumente, nämlich Nachsicht und freiwillige Selbstverpflichtung? Bei Pharma, Flugzeugen, Chemikalien haben wir längst andere Antworten gefunden. Bei KI noch nicht. Aber Farrell sagt: Es wird Zeit.

Lukas

Sein Schlusswort. (...) Und das ist kraftvoll. Zitat sinngemäß: Die wichtigste Erkenntnis aus Mythos — noch mehr als die unmittelbaren Cybersicherheits-Implikationen — ist, dass systemische Risiken aus Frontier-AI angekommen sind. Und sich fast mit Sicherheit erheblich verschlimmern werden.

Lukas

Was empfiehlt er also? (kurze Pause) Ich zitiere wieder sinngemäß. Während die Ansätze beiderseits des Ärmelkanals unterschiedliche Stärken haben, wird die EU am besten auf diese ungewisse Zukunft vorbereitet sein, indem sie das Bekenntnis zu Ressourcen und administrativer Innovation übernimmt, das das UK verfolgt — und ihr weltweit führendes regulatorisches Werkzeugset entschlossen vorantreibt.

Lukas

Heißt zusammengefasst: UK-Tempo plus EU-Regulierung. Bürokratisch und juristisch. Beides. Schnell und tief. (...) Und der letzte Satz — den ich mag, weil er ohne Schnörkel auskommt — Europas Sicherheit und Souveränität dürfen nicht dem Zufall überlassen werden.

Lukas

Das ist ein politisches Statement. Souveränität ist im aktuellen Brüsseler Diskurs das Wort. Strategische Souveränität. Tech-Souveränität. Industrielle Souveränität. Und Farrell verknüpft das mit Sicherheit. Beides hängt zusammen. Beides hängt an KI. Beides ist gerade in privater Hand. Was bedeutet das alles jetzt konkret? (...) Aufschlüsselung wie immer.

Lukas

Wenn ihr in der EU-Politik unterwegs seid — Kommission, Parlament, Mitgliedstaaten: Lest Farrells Artikel. Komplett. Die Empfehlungen sind klar, handwerklich konkret, politisch machbar. Vor allem die Pre-Market-Autorisierung für GPAI mit systemischem Risiko gehört in jede künftige AI-Act-Revision. Punkt.Lucas: Wenn ihr in einer nationalen Regierung arbeitet: Das KI-Berater-Modell des UK ist nachahmenswert. Schaut euch an, wie Keir Starmer das aufgesetzt hat. Und überlegt, wie das in eurer Kabinetts-Struktur aussehen könnte. Das ist kostengünstige Infrastruktur mit hohem Hebel.

Lukas

Wenn ihr in einer KI-Firma arbeitet — von Start-up bis Frontier-Modell-Bauer: Bereitet euch darauf vor, dass die Pre-Market-Logik kommen könnte. Vielleicht nicht in dieser AI-Act-Revision. Aber in der nächsten. Spätestens in der übernächsten. Wenn die Modelle noch mächtiger werden — und das werden sie — wird politisch keine Wahl mehr bleiben.

Lukas

Wenn ihr in der Wissenschaft oder bei einem Think Tank arbeitet: Farrells Erwägungsgrund-einhundertzehn-Argument ist juristisch sehr brauchbar. Pre-Training fällt rein. Offensive Cyber-Fähigkeiten sind explizit genannt. Damit habt ihr eine Klage- und Argumentationsbasis, falls die nächste Mythos-artige Welle kommt.

Lukas

Und wenn ihr Bürgerinnen und Bürger seid und das alles nur am Rand verfolgt: Versteht den Pharma-Vergleich. Es ist normal, dass kritische Produkte vor dem Markt geprüft werden. Es ist normal, dass private Unternehmen das nicht selbst entscheiden. KI ist gerade die Ausnahme. Und Farrell argumentiert: Das sollte sie nicht bleiben.

Lukas

Mein Fazit zu Farrells Artikel? (kurze Pause) Ich finde ihn strukturell stark. Er macht drei Sachen, die selten zusammenkommen. Erstens, er liefert die politische Diagnose. Risiken sind angekommen. Werden schlimmer. EU muss reagieren. Zweitens, er liefert die operative Antwort. UK-Tempo plus EU-Regulierung. Capex statt Opex. Class Approvals. Permanente Verträge. Direkte Kanäle. KI-Berater auf Staats- und Regierungschef-Ebene. Schnellreaktionssysteme. (...) Drittens, er liefert den strategischen Sprung. Pre-Market-Autorisierung für GPAI mit systemischem Risiko. Genau wie bei Pharma, Flugzeugen, Chemikalien.

Lukas

Diese Kombination — Diagnose, Operative, Strategie — ist genau das, was politische Akteure brauchen. Nicht jammern. Nicht Allgemeinplätze. Sondern: Wo haken wir nach, wie organisieren wir uns, welche nächste Stufe denken wir.

Lukas

Und ich nehme noch was Persönliches mit. Den Verweis auf Dario Amodei in Davos. Wenn der CEO des Unternehmens, das Mythos baut, selbst eine Verlangsamung fordert — und der Konkurrent OpenAI gleichzeitig ein Modell weniger restriktiv veröffentlichen will — dann sehen wir einen Marktversagen. Klassisches Marktversagen. Verantwortliche Akteure werden bestraft, unverantwortliche belohnt. Genau in solchen Situationen ist Regulierung dafür da, die Spielregeln zu setzen. Damit Verantwortung nicht bestraft wird.

Lukas

Pre-Market-Autorisierung wäre genau das. Sie würde Anthropic und Vorsicht belohnen. Und unvorsichtige Veröffentlichung bremsen. (...) Das ist kluge Industriepolitik. Nicht überzogene Regulierung.

Lukas

Wenn euch die Folge was gebracht hat — abonniert den Podcast, lasst eine Bewertung da, leitet's weiter. Vor allem an Leute, die KI-Politik operativ gestalten. Da sitzen wir am Hebel. Quelle: Artikel von Jimmy Farrell in Tech Policy Press. Referenziert im EU AI Act Newsletter Nummer einhunderteins.

Lukas

Ich bin Lukas, das war's für heute. Bleibt neugierig, bleibt kritisch — und denkt mal darüber nach, ob ein KI-Modell wirklich weniger Pre-Market-Aufsicht braucht als ein Flugzeug. Bis zum nächsten Mal.