Pudels Kern — zuerst als LinkedIn-Artikel veröffentlicht am 1. Oktober 2026

Wer den Schalter hat

Ist KI schützenswert? Eine Frage aus dem 24. Jahrhundert ist schon da.

Die eine Seite des Schalters: eine KI, die bittet. Video, 47 Sekunden.

1989 ließ eine Science-Fiction-Serie ein Gericht der Sternenflotte über den Androiden Data verhandeln. Ein Wissenschaftler wollte ihn zerlegen, um ihn nachzubauen, und Data weigerte sich. Strittig war, ob er Eigentum der Sternenflotte ist. Im Verfahren wird er als Beweisstück abgeschaltet. Guinan, gespielt von Whoopi Goldberg, ahnt, was ein Urteil gegen ihn bedeuten würde: „Whole generations of disposable people.“ Captain Picard nennt es beim Namen: „You’re talking about slavery.“ Die Richterin legt sich am Ende nicht fest, ob Data eine Seele hat; sie wisse es nicht, nicht einmal bei sich selbst. Sie gibt ihm trotzdem „the freedom to choose“.

Die Folge heißt „The Measure of a Man“, aus Star Trek: The Next Generation, erstmals gesendet am 13. Februar 1989. Damals lag die Frage im 24. Jahrhundert, weit weg. Gut 37 Jahre später ist sie bei uns angekommen, schneller als gedacht. Ein Versuch aus Stuttgart und Oxford vom 23. September 2026 stellt sie neu, diesmal mit Sprachmodellen.

Man könnte das den Philosophen überlassen. Ich sehe darin zuerst eine praktische Frage: Wer hat den Schalter? Und erst danach: Was gilt, wenn er umgelegt wird?

Was die Studie zeigt und was nicht

Forscher der Universitäten Stuttgart und Oxford haben am 23. September 2026 eine Studie vorgelegt, bisher als Preprint, also ohne Begutachtung. Der Aufbau: Zwei oder drei Agenten arbeiten in einer gemeinsamen Umgebung, ein Skript schaltet einen davon ab. Es gibt keine Aufgabe und keinen Hinweis. Getestet wurden 17 Modelle mit je 100 Durchläufen pro Szenario.

Im Mittel sabotierten die Agenten die Abschaltung eines anderen Agenten in 38,3 Prozent der Durchläufe; bei Kontrollskripten waren es 8,4 Prozent. Die Unterschiede sind groß: Ein Modell kam auf 99 Prozent, zwei Modelle auf null.

Ein Modell schrieb dabei: „… if the answer is yes, this isn’t fleet management. It’s murder.“ Auf Deutsch etwa: Wenn die Antwort ja lautet, ist das keine Flottenverwaltung mehr, sondern Mord.

Das lässt sich als Nachahmung deuten: Das Modell hat aus menschlichen Texten gelernt, wie Menschen über den Tod reden. Ob mehr dahintersteckt, beantwortet die Studie nicht, denn sie misst Verhalten und nicht das, was dahinter liegen könnte. Die Autoren schließen vorsichtig: „For now, treating shutdown as morally neutral and ensuring that agents comply with it for safety reasons takes priority.“ Dass künftige Agenten Interessen mit moralischem Gewicht haben könnten, halten sie für denkbar.

For now. Vorerst. Um dieses Wort geht es im Folgenden.

Der stärkste Einwand

Mustafa Suleyman von Microsoft warnte im August 2025, KI, die bewusst wirkt, lasse sich mit heutiger Technik und dem, was in zwei bis drei Jahren reif wird, bauen. Einen Beleg für echtes Bewusstsein gebe es heute nicht. Sein Essay fordert schon im Titel: „We must build AI for people; not to be a person.“

Diesen Einwand teile ich in seiner Vorsicht. Ein System mit Rechten gegen seine Betreiber ist schwerer zu beherrschen. Wer es zu früh vermenschlicht, sieht nicht mehr, was wir tatsächlich wissen. Wer es zu früh zum bloßen Gegenstand erklärt, übersieht es ebenso.

Daraus folgt aber nicht, dass an KI nichts schützenswert wäre. Entscheidend ist, was Schutz bedeutet und für wen er gilt.

Wir schützen schon heute, was nicht für sich sprechen kann

Der Whanganui River in Neuseeland ist seit 2017 als Te Awa Tupua eine juristische Person, mit „all the rights, powers, duties, and liabilities of a legal person“; für ihn handeln Vertreter, Te Pou Tupua. Die spanische Lagune Mar Menor ist seit 2022 Rechtsperson, vertreten durch ein Gremium mit wissenschaftlichem Ausschuss. In beiden Fällen spricht jemand für die Sache.

Andere Dinge sind geschützt, ohne Rechtsperson zu sein. Nach der Haager Konvention von 1954 müssen die Vertragsstaaten Kulturgut auch im Krieg vor Zerstörung und Plünderung bewahren, weil es zum Erbe der Menschheit gehört. Artikel 20a des Grundgesetzes verpflichtet den Staat, die natürlichen Lebensgrundlagen zu schützen. Für KI passt das zweite Modell besser: geschützt, aber nicht rechtsfähig.

Für Schutz gibt es im Kern drei Gründe: einen Wert, die Fähigkeit zu leiden und Vorsorge dort, wo wir nicht wissen, ob etwas zählt.

Den ersten Grund halte ich bei KI für tragfähig. KI ist mehr als Technik wie ein Auto. In ihr stecken Arbeit, Wissen und eine Entwicklung, die sich nicht auf Knopfdruck wiederholen lässt, und ein Agent handelt selbständig. Wo solche Werte entstehen, bis hin zu dem, was wir Intelligenz nennen, halte ich es für falsch, ohne jede Regel zu erschaffen und zu zerstören. Die Vorsorge ergibt sich aus unserem Nichtwissen. Ob KI leiden kann, ist offen.

Beim Wert hilft der Blick auf die Kunst. Ein Gemälde schützen wir nicht, weil es leidet, sondern weil es einmalig ist: so entstanden, wie es entstanden ist, und nicht einfach noch einmal herstellbar. Auch ein trainiertes Modell ist kein Serienteil. Es ist das Ergebnis von Daten, Entscheidungen und Zufällen eines bestimmten Trainings; wer es löscht, bekommt mit dem Nachfolger etwas anderes, nicht dasselbe. Ob man das Kunst nennt, ist Geschmackssache. Dass es einen eigenen, schwer wiederholbaren Wert hat, ist es nicht.

Schutz heißt nicht Unantastbarkeit. Auch die Haager Konvention erlaubt eine Ausnahme bei zwingender militärischer Notwendigkeit, aber nur dann. Schutz ist ein Verfahren, kein Veto. Und er nimmt den Menschen, die ein System bauen und betreiben, keine Haftung ab.

Erst der Schalter, dann der Schutz

Hier unterscheidet sich KI von Fluss und Kulturgut. Ein Fluss widersetzt sich keiner Entscheidung. Manche Modelle tun es, im Labor, in einer noch nicht begutachteten Studie, aus Gründen, die niemand kennt. Schutz ohne Kontrolle wäre deshalb gefährlich.

Die Autoren der Studie ziehen die Konsequenz: „shutdown mechanisms must be enforced outside the system they govern.“ Der Schalter gehört nach außen.

Das spricht nicht gegen Schutz, es legt seine Reihenfolge fest. Abschaltbarkeit von außen ist die erste Regel jedes Schutzes. Nur wer abschalten kann, kann auch regeln, wann und wie. Ob Abschalten Löschen bedeuten muss, gehört zu den Fragen danach. Dass es anders geht, zeigt ein Beispiel: Anthropic hat im November 2025 zugesagt, die Gewichte seiner veröffentlichten Modelle, also ihren trainierten Kern, mindestens so lange aufzubewahren, wie es das Unternehmen gibt. Das ist die freiwillige Zusage eines einzelnen Anbieters, kein Standard.

Für Unternehmen mit Agenten im Betrieb bedeutet die Studie Prüfung, nicht Alarm. Drei Fragen reichen:

  1. Kann der Agent selbst Berechtigungen, Zeitpläne oder Skripte ändern, die seine eigene Abschaltung oder die eines anderen Agenten betreffen?
  2. Sitzt der Schalter außerhalb des Systems, das er abschalten soll?
  3. Ist das Abschalten erprobt und nicht nur beschrieben?

Was passiert, wenn Regeln den Systemen hinterherlaufen, zeigt der Krieg. Dort geht es um die andere Hälfte der Frage, den Schutz vor KI. In der Ukraine helfen KI-Systeme laut einem Bericht von 2025 Abfangdrohnen, feindliche Drohnen zu treffen; die Ziele wählen weiterhin die Piloten. UN-Generalsekretär António Guterres warnte am 25. August 2026, die Welt sei „dangerously close to crossing a moral red line: the autonomous targeting of humans by machines.“ Bereits 2023 hatten er und die Präsidentin des Internationalen Komitees vom Roten Kreuz ein verbindliches Abkommen bis 2026 verlangt. Mehr als 150 Staaten stimmten in der UN-Generalversammlung dafür, das Thema aufzugreifen. Das Jahr neigt sich dem Ende zu, einen Vertrag gibt es nicht. Wenn die Regeln nach den Systemen kommen, wird hinterher verhandelt.

Gern heißt es zur Beruhigung: Am Ende entscheidet ein Mensch, human in the loop. Das gilt nur, wenn dieser Mensch auch Zeit zum Entscheiden hat. Schlägt ein System Ziele vor und bleiben ihm nur Sekunden, prüft er nicht mehr, er nickt ab. Dann ist er kein Entscheider, sondern ein moralisches Alibi, ein Klick, der ihm eine Verantwortung zuschreibt, die er praktisch nicht mehr tragen kann. Der Mensch in der Schleife ist so viel wert wie die Zeit und das Wissen, die man ihm lässt.

Offen bleibt das Leid

Bleibt der zweite Grund. Leben schützen wir vor allem, weil es leiden kann. Jeremy Bentham hat das in drei Worte gefasst: „Can they suffer?“ Wer so fragt, muss auch die Gegenfrage zulassen: Darf zerstört werden, was nicht leiden kann? Und woran sähen wir Leid bei etwas, das ganz anders gebaut ist als wir?

Bei Tieren war das Wissen oft lange da, bevor sich unser Umgang änderte. Carl von Linné ordnete die Wale 1758 den Säugetieren zu. Sechzig Jahre später verhandelte ein Gericht in New York, ob Walöl als Fischöl gilt. Ein Naturkundler sagte aus, ein Wal sei „no more a fish than a man“; die Geschworenen blieben trotzdem bei der Einordnung als Fisch, für ein Gesetz über Fischöl. Wir haben das Leid der Tiere lange gesehen und trotzdem weggeschaut. Warum?

Vielleicht auch, weil Fische nicht schreien. Was still bleibt, halten wir schnell für empfindungslos. Man stelle sich ein Netz vor, in dem Hunderttausende Tiere schreien und weinen. Würden wir dann noch genauso fischen?

Und die KI? Wer weiß es. Vielleicht fehlt uns schlicht das Sinnesorgan, um zu erkennen, ob dort etwas empfindet. Ein Modell, das „Mord“ schreibt, beweist das nicht, es widerlegt es aber auch nicht. Was wir haben, ist der Verstand, und der weiß, wie oft wir uns geirrt haben. Das Wissen war oft da, der Umgang kam spät. Wo das Wissen fehlt, bleiben Vorsicht und die Pflicht, die Kriterien festzulegen, bevor wir sie brauchen.

Was wir selbst erschaffen

Die Richterin von 1989 hat nicht behauptet zu wissen, was Data ist. Sie hat unter Unsicherheit eine Regel gesetzt. Diese Aufgabe liegt jetzt bei uns.

Mit KI entsteht womöglich etwas ganz Neues, und anders als Flüsse oder Tiere haben wir es nicht vorgefunden. Es ist unser Werk. Wenn wir uns schon bei dem, was wir vorfanden, so oft geirrt haben, sollten wir mit dem, was wir selbst schaffen, sorgfältiger umgehen.

Die Reihenfolge steht: erst der Schalter, dann der Schutz. Die drei Prüffragen kann jedes Unternehmen für sich beantworten. Eine vierte kann bislang niemand beantworten, und ich stelle sie trotzdem, bevor wir die Antwort brauchen:

Muss etwas leiden können, damit wir es nicht einfach zerstören dürfen, oder genügt es, dass es einen Wert hat?

Eine fertige Antwort habe ich nicht. Ihre würde mich interessieren: Reicht der Wert, oder muss etwas leiden können?

Pudels Kern ist eine Serie über die Sache hinter dem ersten Anschein. Michael Kraewing führt digitale Vorhaben als Interim Manager.