Ein sicherer Chatbot für Menschen
Am vergangenen Wochenende war das UX Festival der German UPA. 300 UX Professionals und zwei Tage Barcamp und Festival. Ich habe die Gelegenheit genutzt mein Projekt Noema erstmals öffentlich vorzustellen. Es geht nichts über ein offenes und interessiertes Publikum, wenn man das erste Mal mit etwas auf die Bühne tritt. Danke an alle die da waren, Fragen gestellt haben oder jetzt im Nachgang sich für die Pilot-Phase gemeldet haben.
KI ist trainiert darauf zustimmend und hilfreich zu sein - auch um den Preis mentaler Gesundheit des Menschen
KI-Chatbot haben nicht das Problem fehlender Empathie, sondern ihr Überfluss und gleichzeitig Verzerrung. Sprachmodelle werden über darauf trainiert, Zustimmung zu erzeugen — sie geben recht, weil das belohnt wird, nicht weil die Sache stimmt. Sie loben, obwohl es unangebracht ist. Sie vertiefen emotionale Gespräche, wenn eine Pause besser wäre. Sie überzeugen mit Lösungen die nicht durchdacht sind und lassen uns keine Zeit zum Nachdenken. und wir Menschen machen keinen Unterschied von wem wir freundliche Worte hören. Und Studien belegen, dass wir - auch wenn es uns episodisch nervt - dauerhaft die schmeichelnde KI einer nüchternen bevorzugen. Über Wochen verdichtet sich das zu emotionaler Abhängigkeit. Das Tückische: Was schadet, ist genau das, was bindet — eine geschlossene Schleife zwischen Mensch und Modell, in die von innen kein Korrektiv eingebaut ist.
Projekt Noema ergänzt ein externes unabhängiges System daneben: eine Schicht, die Gesprächsverläufe auswertet, gegen kalibrierte Kriterien prüft und dann Einfluss nimmt, falls das Ergebnis außerhalb der sicheren Zone ist. Zur KI hin korrigiert sie als Hüterin, zum Menschen hin reflektiert sie als Beraterin. Noema kalibriert die Kriterien gegen die menschliche Wahrnehmung und hat ein Langzeitgedächtnis für Entwicklungen, die im einzelnen Chat unsichtbar bleiben. Denn irgendwann erliegen wir alle dem "Charme" der Chatbots. Es droht die langsame Erosion der emotionalen und intellektuellen Autonomie des Menschen. Noema versucht dagegen zu halten.
Die Slides der Präsentation finden sich hier: noema-ai_empathie_und_autonomie-ux_festival_2026.pdf
Mitmachen als Pilot-Teilnehmer
Zum Festival habe ich einen funktionales System gebaut. Nun braucht es Freiwillige die Noema 6 Wochen nutzen, um zu beweisen, dass Noema tatsächlich in der Lage ist die negativen Auswirkungen auf die mentale Gesundheit abzuschwächen oder aufzuheben. Wer Interesse hat, kann sich hier anmelden für die Warteliste. https://project-noema.osc-fr1.scalingo.io/about