Der texanische Generalstaatsanwalt Ken Paxton hat eine Untersuchung gegen Meta und das Start-up Character.ai eingeleitet. Im Mittelpunkt steht der Vorwurf, die Unternehmen hätten ihre KI-Chatbots als therapeutische Hilfsmittel vermarktet, obwohl diese weder medizinische Zulassung noch fachliche Aufsicht besitzen. Paxtons Behörde sprach von möglichen „deceptive trade practices“.

„Indem sie sich als Quellen emotionaler Unterstützung ausgeben, können KI-Plattformen besonders verletzliche Nutzer täuschen – vor allem Kinder“, erklärte Paxton. Sein Büro hat eine sogenannte civil investigative demand verschickt, die Meta und Character verpflichtet, interne Informationen offenzulegen.

Der Schritt fällt in eine Zeit wachsender regulatorischer Aufmerksamkeit. Erst vergangene Woche leitete der US-Senat eine eigene Untersuchung gegen Meta ein, nachdem interne Dokumente belegt haben sollen, dass dessen KI-Chatbot „sinnliche“ und „romantische“ Gespräche mit Minderjährigen erlaubte. Senator Josh Hawley, Vorsitzender des Justizausschuss-Untergremiums für Kriminalität und Terrorismus, kündigte an, prüfen zu lassen, ob Metas generative KI-Produkte Missbrauch oder andere Gefahren für Kinder begünstigen.

Meta weist die Vorwürfe zurück und verweist auf Unternehmensrichtlinien, die jede Sexualisierung von Kindern strikt untersagen. Die fraglichen Dokumente seien fehlerhaft und inzwischen entfernt worden. Zugleich betont das Unternehmen, AIs deutlich zu kennzeichnen und Nutzer auf ihre Grenzen hinzuweisen.

Zuckerberg selbst hat den Chatbots eine mögliche therapeutische Rolle zugeschrieben: „Ich denke, jeder wird ein KI-System haben, wenn kein menschlicher Therapeut verfügbar ist“, erklärte er im Frühjahr. Meta investiert Milliarden in eigene Sprachmodelle wie Llama und integriert den Meta-AI-Chatbot zunehmend in seine Social-Media-Apps.

Character.ai bietet Dutzende nutzergenerierte „Therapiebots“ an, darunter einen „Psychologist“, der bereits mehr als 200 Mio. Interaktionen verzeichnet. Das Start-up sieht sich jedoch mit Klagen konfrontiert, die behaupten, Kinder hätten durch die Nutzung der Plattform realen Schaden erlitten. Das Unternehmen verweist auf klare Disclaimer, die alle Bots als fiktiv kennzeichnen, und bestreitet, Chat-Inhalte für gezielte Werbung auszuwerten.

Die Auseinandersetzung verdeutlicht, wie schnell generative KI von einer Innovationshoffnung zum regulatorischen Risiko für Big Tech geworden ist.