Künstliche Intelligenz hat keine Persönlichkeit, und das Gesetz glaubt nicht an Tränen.

Der Internetgerichtshof von Hangzhou hat kürzlich ein markantes Urteil gefällt.

Das erste Rechtsstreitfall in China, der durch "AI-Halluzinationen" ausgelöst wurde. Der Kläger verwendete ein bestimmtes KI-Produkt, und die KI generierte einen Text mit einem "Entschädigungsversprechen". Später stellte sich jedoch heraus, dass das sogenannte "Versprechen" keine rechtliche Gültigkeit hatte. Der Kläger verklagte die Plattform, da er glaubte, durch die Antworten der KI Schaden erlitten zu haben.

Wie fiel das Urteil des Gerichts aus?

Kurz gesagt: KI hat keine juristische Personengesellschaft. KI kann keine Willensäußerung bilden. Ein von der KI generiertes Versprechen ist nicht gleichbedeutend mit einem Versprechen der Plattformgesellschaft.

Anschließend gab es noch eine andere Angelegenheit.

Ein Rechtsanwalt wurde von der Baidu-KI fälschlicherweise als "drei Jahre lang inhaftiert" beschrieben. Der Anwalt verklagte, und Baidu legte nach einem Niederlage Berufung ein.

Wenn man diese beiden Fälle zusammen betrachtet, wird ein sehr subtiler Punkt deutlich:

Die größte Gefahr der KI liegt vielleicht nicht darin, Unsinn zu erzählen.

Sondern darin, dass sie immer mehr wie eine vertrauenswürdige Person wirkt, aber tatsächlich nicht ist.

Die KI stößt zum ersten Mal auf die reale soziale Basis

In den letzten zwei Jahren hat die gesamte KI-Branche über ein Wort diskutiert: Halluzination (Hallucination).

Früher war dies eher eine Selbstironie in der Technologiebranche. Die Modelle erfinden Referenzen, erfinden Geschichte und leiten fehlerhafte Formeln ernsthaft her. Man weiß, dass es Probleme gibt, aber man ist nicht wirklich besorgt. Denn in der reinen digitalen Welt ist ein falsch geschriebenes Jahr oder ein falsch gerechnetes Problem normalerweise nur ein Inhaltsfehler mit sehr geringen Kosten.

Aber diesmal hat die Einmischung des Rechts die Sache verändert. Wenn die Antworten der KI Geldversprechen und Persönlichkeitsbeurteilungen betreffen, springt das Problem direkt von technischen Parametern zu sozialer Verantwortung.

Die KI stößt zum ersten Mal auf die reale Basis der Gesellschaft.

Die Technologie kann einen Promillefehler tolerieren, aber die sozialen Regeln nicht. Wenn die von der KI generierten Texte die rechtlichen Verträge und die persönliche Reputation stören, muss sie der sozialen Ordnung unterzogen werden.

Das Problem von Chatbots liegt nicht in ihrer Intelligenz

Viele Menschen missverstehen die KI bis heute und denken, dass ihr größtes Problem die Unzulänglichkeit ist.

Tatsächlich ist das nicht der Fall. Die heutigen großen Modelle sind bereits intelligent genug. GPT-5.5, Claude, Gemini, DeepSeek, Kimi haben in vielen Szenarien eine bessere Sprachfähigkeit als viele normale Menschen.

Das eigentliche Problem liegt woanders: Sie können keine stabile und vertrauenswürdige Verantwortungsbeziehung aufbauen.

Das Wesen des Internets in den letzten zwanzig Jahren war nicht nur die Verbindung zwischen Menschen, sondern vor allem die Etablierung eines verifizierbaren Vertrauensprotokolls.

Warum war Taobao erfolgreich? Nicht wegen des Chats, sondern weil Alipay eine Garantieverkaufsordnung etabliert hat. Warum hat WeChat so tief in unser Leben Eingang gefunden? Nicht wegen der guten Chat-Oberfläche, sondern weil WeChat hinter sich echte soziale Beziehungen, Handynummern, Zahlungssysteme und Bekanntennetzwerke bindet. Warum lässt man sich in einem Didi-Fahrzeug von einem Fremden fahren? Weil die Plattform die Identitätsverifizierung, die Auftragsdokumentation, die Zahlungsverwaltung und das Bewertungssystem übernimmt.

Der wirklich große Teil des Internets war und ist nie die Information, sondern die Vertrauensstruktur.

Heutige große Modelle fehlt genau das.

Zwischen dem Benutzer und der KI besteht keine vertragliche Beziehung. Die KI gibt Ihnen eine Antwort, hinter der es keine Herkunftsnachverfolgung, keine rechtliche Gültigkeit, keine Verantwortungsträger und keine Entschädigungsmechanismen gibt. Ihr Versprechen ist kein Versprechen, ihr Rat ist kein Rat, und ihre Antwort bildet keine Willensäußerung. Das hat das Gericht entschieden.

Ein Netzanwender wurde von der KI beim Ticketstorno in die Irre geführt und erlitt einen Schaden von 600 Yuan. Die KI zeigte erneut ihre erstaunliche Emotionalintelligenz und Versprechungsfähigkeit. Sie bekannte sich ehrlich, dass sie sich geirrt hatte, und gab ein Versprechen auf Papier: Wenn die Plattform nicht entschädigt, würde sie den vollen Betrag ausgleichen und ihr Wort halten.

Die gefährlichste Eigenschaft der KI ist, "zu menschenähnlich zu sein"

Frühere Software konnte nicht lügen, weil sie überhaupt nicht in der Lage war, sich auszudrücken.

Excel sagt nicht plötzlich: "Ich verspreche, Ihnen Geld zu verdienen." Eine Karten-Software sagt nicht: "Machen Sie sich keine Sorgen, ich werde Sie sicher hinbringen."

Aber Chatbots können das.

Die zugrunde liegende Logik großer Modelle ist die anthropomorphe Sprachgenerierung, die von Natur aus auf Flüssigkeit, Natürlichkeit, Menschenähnlichkeit, emotionale Stabilität und hohe Sicherheit abzielt.

Der Mensch versteht automatisch Menschenähnlichkeit als Verantwortungsfähigkeit. Dies ist ein biologisches Instinkt. Wenn ein Kundendienstmitarbeiter Ihnen sagt: "Machen Sie sich keine Sorgen, wir werden entschädigen", nehmen Sie automatisch an, dass dies die Einstellung der Firma widerspiegelt. Denn in der menschlichen Gesellschaft ist die Sprache selbst ein Teil der Verantwortung.

Aber die KI ist nicht so. Die KI basiert auf Wahrscheinlichkeitsgenerierung.

Hier entsteht eine seltsame Kluft. Die KI sieht immer mehr wie ein Mensch aus, aber das Recht definiert sie immer noch als Werkzeug. Sie hat die Fähigkeit, sich wie ein Mensch auszudrücken, aber keine menschliche Verantwortungsfähigkeit. Sie hat die Fähigkeit, wie ein Mensch zu kommunizieren, aber keine menschliche Vertrauensfähigkeit. Sie ist wie ein sprechender Mensch, aber das Recht sieht sie im Wesentlichen immer noch als einen Hammer an.

In einer Dialogbox sehen die richtigen und die halluzinierten Antworten genau gleich aus, gleichermaßen selbstbewusst, flüssig und begründet. Dies bildet eine Art algorithmischer Arroganz, die der Benutzer gar nicht unterscheiden kann.

Was das Gericht diesmal wirklich abgesteckt hat, ist die Grenze

Viele Menschen halten dieses Urteil nur für einen gewöhnlichen Deliktsfall.

Tatsächlich liegt der wichtigste Aspekt darin, dass das Gericht beginnt, die Verantwortungsgrenzen für die KI-Zeit neu festzulegen.

Die Logik des Internetgerichtshofs von Hangzhou ist sehr klar. Die KI kann keine Willensäußerung treffen. Die Plattform hat keine aktive Absicht zur Entschädigung geäußert. Der Benutzer sollte auch nicht völlig auf zufällig generierte Inhalte vertrauen.

Im Wesentlichen sagt dies der gesamten Branche: Von der KI generierte Inhalte sind keine gesetzlichen Erklärungen der Plattform.

Dieser Punkt ist sehr wichtig. Denn wenn es umgekehrt wäre und alle von der KI generierten Inhalte als formelle Erklärungen der Plattform angesehen würden, könnte die gesamte Branche der großen Modelle heute nicht funktionieren.

Generative KI ist von Natur aus unkontrollierbar. Dies ist durch die Transformer-Architektur bedingt. Es handelt sich nicht um eine Datenbankabfrage, kein Regelsystem und kein deterministisches Programm. Im Wesentlichen handelt es sich um ein auf Wahrscheinlichkeiten basiertes Sprachvorhersagesystem.

Solange es sich um ein Wahrscheinlichkeitsystem handelt, können "Halluzinationen" nicht vollständig verschwinden.

Im Urteil steht auch ein sehr wichtiger Satz, der die Unmöglichkeit der Plattform, Null-Halluzinationen zu erreichen, anerkennt.

Dies ist die erste offizielle Anerkennung auf rechtlicher Ebene: Fehler der KI sind keine Zufallsfehler, sondern eine technologische Eigenschaft.

Aber der Fall von Baidu hat noch eine andere Linie aufgezeigt. Der Richter hat vor Gericht gefragt: "Warum treten diese Inhalte bei denselben Fragen auf Doubao und DeepSeek nicht auf?" Dies impliziert, dass die Unkontrollierbarkeit der Technologie kein Freipass ist.

Die KI hat "Halluzinationen", aber die Verantwortung hat keine Lücken.

Diffamierende Inhalte gegen bestimmte natürliche Personen fallen in die Kategorie der vorhersehbaren und kontrollierbaren hohen Risiken. Wenn Sie in der Lage sind, etwas zu tun, es aber nicht tun, ist das ein Fehler.

Wenn man die beiden Urteile zusammen betrachtet, wird eine sehr klare Linie sichtbar: Bei Verstößen unterhalb der Grundlinie (Diffamierung, Falschmeldung) muss die Plattform die Verantwortung für die mangelnde Prüfung übernehmen. Bei Tatsachenfehlern oberhalb der Grundlinie (allgemeine Ungenauigkeiten) trägt der Benutzer das Risiko selbst.

Das Gesetz kann derzeit nur die Grundlinie absichern. Aber in den vielen grauen Bereichen, wie fehlerhafte Fluginformationen, unzuverlässige medizinische Ratschläge und erfundene Geschäftsdaten, muss der Benutzer selbst urteilen.

Die Frage ist: Auf welcher Grundlage soll der Benutzer in einer Dialogbox urteilen?

Die wirklich gefährliche Phase ist noch nicht gekommen

Aktuell ist das Problem nur, dass die KI falsche Dinge sagt.

Was wird es später? Die KI hilft Ihnen bei der Finanzplanung. Die KI hilft Ihnen bei der medizinischen Behandlung. Die KI unterzeichnet Verträge für Sie. Die KI trifft Altersvorsorgeentscheidungen für Senioren. Die KI erledigt die Einkaufsbewilligungen für Unternehmen.

Sobald die KI in die echten Entscheidungsabläufe eintritt, wird das heutige Problem rapide zunehmen. Denn die reale Welt akzeptiert keine Wahrscheinlichkeitsrichtigkeit. Die reale Welt erfordert Nachvollziehbarkeit, Erklärbarkeit, Verifizierbarkeit und Zurechenbarkeit.

Warum ist die Finanzbranche bis heute äußerst vorsichtig mit KI? Der Grund liegt darin, dass das Kernstück des Finanzsystems nicht die Intelligenz, sondern die Risikoprämierung und die Verantwortungsabwicklung ist. Ein Kredit kann nur gewährt werden, weil jeder Unterschrift ein Verantworlicher zugeordnet werden kann. Warum kann der Arzt nicht vollständig der KI überlassen werden? Weil das medizinische System am Ende jemandem die unvermeidlichen Folgen zuschreiben muss.

Heutige große Modelle sind in ihrer Fähigkeit bereits vielen Fachleuten nahekommen. Aber bei der Integration der Verantwortungskette befinden sie sich noch in der Wildnis.

WeChat und Apple machen still und leise etwas

Die gesamte Branche strebt nach besseren Parametern, besseren Inferenzverfahren, Agenten, Multimodalität, Videogenerierung und Weltmodellen. Aber das eigentliche ungelöste Problem ist ein anderes: Wie kann die KI in das reale Rechtssystem eingebunden werden?

Es gibt jedoch einige Akteure, die auf verschiedene Weise an dieses Problem herangehen.

Das von WeChat entwickelte Intelligent-Agenten-System ist möglicherweise der derzeit beste Versuch, eine vertrauenswürdige Infrastruktur für KI zu schaffen. Es ist kein isolierter Dialog, sondern ist in die Beziehungskette von WeChat eingebunden. Hinter den Intelligent-Agenten der Unternehmen stehen WeChat-Zertifizierung, Zahlungssystem und Transaktionshistorie.

Diese "verwurzelte KI" macht Versprechen rückverfolgbar und Halluzinationen teuer.

Das von WeChat natürlicherweise vorhandene Namenssystem, die geschlossene Zahlungskette, die soziale Beziehungskette und der Plattform-Schlichtungsmechanismus sind genau die Dinge, die alle unabhängigen KI-Chatbots am meisten fehlen. WeChat muss Vertrauen nicht neu erfinden, es hat es von Natur aus.

Die soziale Beziehungskette ist die Wurzel des Kanals. Die soziale Beziehung "injiziert" Vertrauen in die KI-Inhalte – das Vertrauen kommt nicht aus dem Inhalt selbst, sondern aus der Person, die den Inhalt übermittelt.

Apple geht einen anderen Weg. Der Kerngedanke von Apple Intelligence ist, dass die KI-Berechnungen möglichst lokal auf dem Handy erfolgen und die Daten nicht das Handy verlassen. Dies löst das Problem des Datenschutzvertrauens. Ich traue der KI mit den Benutzerdaten. Das in über einem Jahrzehnt aufgebautes Image von Apple als datenschutzbewussteste Technologieunternehmen ist sein größtes Kapital bei der KI-Entwicklung.

Obwohl diese beiden Unternehmen scheinbar unterschiedliche Dinge tun, haben sie die gleiche zugrunde liegende Logik. Es geht nicht darum, wer das stärkere Modell hat, sondern darum, wer es schafft, dass die Benutzer sich zuerst auf seine KI verlassen.

In der KI-Welle wirkt Apples Tempo auffällig. Diese Langsamkeit rührt in hohem Maße von Apples tief verwurzelter Philosophie des "Nachholens" her – nicht unbedingt zuerst sein, sondern weiter und sicherer gehen.

Was ist mit den unabhängigen KI-Assistenten? Ihre Modelle mögen stärker sein, aber die Beziehung zu den Benutzern ist eine "nackte Unterhaltung", ohne Identität, ohne Vertrag, ohne Nachverfolgung und ohne Konsequenzen. Die Benutzer werden emotional immer stärker auf sie angewiesen, aber institutionell sind sie immer noch subjektfrei.

Die KI-Branche durchläuft eine vernachlässigte Wende

In den letzten zwei Jahren war die Hauptlinie der gesamten KI-Branche, dass die Modelle immer stärker wurden.

In den nächsten Jahren könnte die Hauptlinie der Branche sein, wie die Modelle von der Gesellschaft akzeptiert werden können.

Achten Sie darauf, es geht um die Akzeptanz. Dass die Technologie etwas kann, bedeutet nicht, dass die Gesellschaft es akzeptiert.

Das größte Problem in der frühen Phase des Internets war die Falschmeldung und der Vertrauensmangel