In den letzten Jahren hat die Technologie immense Fortschritte gemacht, insbesondere im Bereich der Künstlichen Intelligenz (KI). Ein bemerkenswerter Aspekt dieser Entwicklungen ist die Fähigkeit, realistische Deepfakes zu erstellen, die sowohl unterhaltsam als auch beunruhigend sind. Dies ist besonders der Fall auf Plattformen wie Civitai, einem Marktplatz, der maßgeschneiderte, AI-generierte Inhalte anbietet. Doch unter der Oberfläche dieser kreativen Freiheit verbirgt sich eine dunkle Realität, die die Grenzen von Ethik und Recht verletzt.
Was ist Civitai?
Civitai ist ein Online-Marktplatz, der es Nutzern ermöglicht, maßgeschneiderte AI-Modelle zu kaufen und zu verkaufen. Gegründet mit finanzieller Unterstützung von Andreessen Horowitz, bietet die Plattform eine Vielzahl von benutzergenerierten Inhalten, die von animierten Videos bis hin zu hochrealistischen Deepfakes reichen. Was die Plattform jedoch besonders kontrovers macht, ist der Fokus auf Inhalte, die oft als pornografisch oder explizit angesehen werden.
Die Forschung hinter den Forderungen
Eine aktuelle Studie von Forschern der Stanford University und der Indiana University hat das Nutzerverhalten auf Civitai untersucht. Die Forschung zeigt, dass zwischen Mitte 2023 und Ende 2024 die Mehrheit der Anfragen, die als “Bounties” bezeichnet werden, animierte Inhalte betraf, jedoch ein erheblicher Anteil auf Deepfakes von realen Personen abzielte – wobei 90% dieser Anfragen Frauen betrafen. Dies wirft Fragen auf über die Motive hinter solchen Anfragen und das, was als akzeptable Nutzung von AI-Technologie angesehen werden kann.
Der Schatten der Deepfakes
Deepfakes, die künstlich erzeugte Mediendateien sind, die echte Menschen imitieren, ebnen den Weg für zahlreiche rechtliche und ethische Probleme. Laut der Studie waren 86% der Deepfake-Anfragen auf Civitai spezifisch auf die Erstellung von LoRAs ausgerichtet, speziellen Anweisungsdateien, die es AI-Modellen ermöglichen, Inhalte zu generieren, für die sie nicht ursprünglich trainiert wurden. Ein entscheidender Punkt ist, dass Nutzer oft nicht nur realistische, sondern explizite Darstellungen dieser Personen anforderten.
Ein alarmierendes Beispiel ist die Anfrage nach einem Deepfake, in dem eine Frau als die Ehefrau des Nutzers dargestellt wurde – ein klarer Verstoß gegen die Privatsphäre und die Zustimmung. Die Echtheit der Bilder und Videos wird zunehmend erodiert, während die Grenze zwischen Realität und Fiktion verschwimmt.
Maßnahmen und Mängel der Plattform
Civitai versichert den Nutzern, dass es Maßnahmen zum Schutz gegen nicht einvernehmliche Inhalte gibt, einschließlich der Möglichkeit für die im Bild dargestellten Personen, Inhalte zu melden und deren Löschung zu verlangen. Dennoch steht die Plattform in der Kritik, dass sie zu wenig tut, um proaktive Moderation durchzuführen, und dass sie es den Nutzern überlässt, die Inhalte zu filtern.
In der Vergangenheit war die Plattform nur gegen sexuell explizite Deepfakes von realen Personen aktiv, hat jedoch im Mai 2025 eine umfassendere Regelung eingeläutet: Jegliche Deepfake-Inhalte wurden verboten. Trotz dieser Maßnahmen ist der Großteil der vor dem Verbot eingereichten Anfragen weiterhin auf der Seite aktiv, was zu einer Lücke in der Regulierung führt.
Monetarisierung durch toxische Praktiken
Die Monetarisierung auf Civitai erfolgt durch eine Online-Währung namens Buzz, die für den Kauf von LoRAs verwendet wird. Nutzer können Buzz mit echtem Geld erwerben, was ein weitere Anreiz zur Erstellung und Verbreitung potenziell schädlicher Inhalte darstellt. Diese Monetarisierungsstrategie, gekoppelt mit der laxen Moderation von Inhalten, schafft eine Umgebung, die nicht nur kreatives, sondern auch ausbeuterisches Potenzial bietet.
Die rechtlichen Herausforderungen
Die rechtlichen Implikationen von Deepfakes sind weitreichend und kompliziert. Während Section 230 des Communications Decency Act den Plattformen umfassende rechtliche Schutzmechanismen bietet, gibt es Grenzen. Unternehmen dürfen keine illegalen Transaktionen auf ihren Websites erleichtern, was bedeutet, dass wenn Civitai wissentlich nicht einvernehmliche Inhalte zulässt, sie rechtlich belangt werden könnten.
Außerdem haben Civitai und andere AI-Firmen zwar Prinzipien zum Schutz gegen die Verbreitung von KI-generiertem Material für Kindesmissbrauch angenommen, jedoch blieb die Frage der Erwachsenen-Deepfakes oft unbeachtet. Laut Experten wie Ryan Calo sind die bestehenden gesetzlichen Rahmenbedingungen unzureichend, um die Nutzer vor rechtlichen und sozialen Konsequenzen zu schützen.
Fazit
Die Nutzung von AI zur Erstellung von Inhalten birgt immense Chancen, geht jedoch auch mit erheblichen Risiken und ethischen Fragestellungen einher. Civitai muss sich intensiver mit der Verantwortung befassen, die mit der Schaffung und Verbreitung von Deepfake-Inhalten verbunden ist. Die Berichterstattung über solche Plattformen wirft grundlegende Fragen zu Konsens, Schutz von Individuen und die notwendige Regulierung in der sich ständig weiterentwickelnden digitalen Landschaft auf. Wie wir als Gesellschaft auf diese Herausforderungen reagieren, wird entscheidend für den Umgang mit Künstlicher Intelligenz in der Zukunft sein.
Quelle: MIT Technology Review
