{ "url": "https://fahrplan.events.ccc.de/congress/2024/fahrplan/talk/MGSXPN/", "id": 460, "guid": "d05bfa58-e6b8-5c35-b271-191e1d09de6a", "date": "2024-12-28T12:00:00+01:00", "start": "12:00", "logo": null, "duration": "00:40", "room": "Saal ZIGZAG", "slug": "38c3-460-gemeinwohlorientierte-forschung-mit-ki-missbrauch-eindmmen-durch-zweckbindung-fr-ki-modelle", "title": "Gemeinwohlorientierte Forschung mit KI: Missbrauch eind\u00e4mmen durch Zweckbindung f\u00fcr KI-Modelle", "subtitle": "", "track": "Science", "type": "Talk", "language": "de", "abstract": "Trainierte KI-Modelle sind m\u00e4chtige Werkzeuge, die in Wissenschaft und Forschung oft f\u00fcr gute Zwecke gebaut werden. Aber wie alle Werkzeuge k\u00f6nnen sie auch zweckentfremdet werden \u2013 in Bereichen, f\u00fcr die sie nicht gedacht waren, in denen sie profitgierigen Interessen dienen und gesellschaftlichen Schaden anrichten. Vor dem Hintergrund des Trends von \"open source\" AI ist die Gefahr der unkontrollierten Zweckentfremdung von KI-Modellen enorm gestiegen. Wir zeigen: Das Risiko einer missbr\u00e4uchlichen Sekund\u00e4rnutzung von f\u00fcr Forschungszwecke trainierten KIs ist aktuell die gr\u00f6\u00dfte regulatorische L\u00fccke, trotz DSGVO und AI-Act. Zugleich erm\u00f6glicht das Zweckentfremden von Modellen die immer weiter wachsende Machtposition von Big Tech. Um das Problem zu bek\u00e4mpfen, muss das Prinzip \"Zweckbindung\" f\u00fcr das Zeitalter der KI geupdated werden.", "description": "Skandale wie die Weitergabe von Forschungsdaten der UK Biobank an Versicherungsunternehmen zeigen ein typisches, aber oft \u00fcbersehenes Risiko im Zusammenhang mit KI: Modelle und Trainingsdaten, die eigentlich dem Gemeinwohl dienen sollten, werden im Schatten der \u00f6ffentlichen Aufmerksamkeit, jedoch ohne geltendes Recht zu verletzen, f\u00fcr diskriminierende, manipulative und profitorientierte Zwecke zweitverwendet. Wer etwa in der medizinischen Forschung ein Modell zur Erkennung von psychischen Krankheiten anhand von Audiodaten (Stimmaufzeichnung) baut, kann dieses Modell auch au\u00dferhalb des medizinischen Kontexts auf beliebige Individuen anwenden \u2013 und zum Beispiel bei Video-Bewerbungsgespr\u00e4chen ein automatisiertes Risiko Scoring damit machen (unsere Beispiele zeigen, dass daran gerade gro\u00dfes Interesse besteht). Der Besitz trainierter KI-Modelle stellt eine enorme Konzentration von Informationsmacht dar \u2013 und mit dieser Macht geht ein Missbrauchspotenzial einher, wenn die Tools z.B. in einen kommerziellen Kontext \u00fcbertragen werden. \r\nZum Schutz unserer Gesellschaft vor Missbrauch KI-basierter Forschung m\u00fcssen wir deshalb die Zirkulation trainierter KI-Modelle und anonymisierter Trainingsdaten unter demokratische Kontrolle stellen. Wir brauchen ein Regulierungskonzept, das offene Forschungszwecke erm\u00f6glicht und gleichzeitig kommerziellen Missbrauch verhindert. Modelle mit allgemeinem Verwendungszweck wie sie die KI-VO legitimiert, sollte es nicht geben. Als L\u00f6sung holen wir das alte, bei der Industrie verhasste und in der Politik fast schon vergessene Datenschutzprinzip der Zweckbindung aus der Mottenkiste und aktualisieren es f\u00fcr die Kontrolle von KI. \r\nUnser Regulierungsvorschlag einer \"Zweckbindung f\u00fcr KI-Modelle\" beruht auf unserer mehrj\u00e4hrigen interdisziplin\u00e4ren Forschung zwischen Ethik, Rechtswissenschaft und Informatik.\r\n\r\nBackground Readings und weitere Infos: https://purposelimitation.ai", "recording_license": "", "do_not_record": false, "persons": [ { "guid": "0acfcce8-4b3a-531a-9868-33fd2dfb0585", "id": 317, "code": "U7VYJQ", "public_name": "Rainer M\u00fchlhoff", "avatar": "https://fahrplan.events.ccc.de/congress/2024/fahrplan/media/avatars/rainer-neu-mod600-cropped2_EzEbuhi.jpg", "biography": "Rainer M\u00fchlhoff, Philosoph und Mathematiker, ist Professor f\u00fcr Ethik der K\u00fcnstlichen Intelligenz an der Universit\u00e4t Osnabr\u00fcck. Er ist au\u00dferdem assoziierter Forscher am Einstein Center Digital Future, Berlin, und am Weizenbaum-Institut f\u00fcr die vernetzte Gesellschaft, Berlin. Er forscht zu Ethik, Datenschutz und kritischer Sozialtheorie in der digitalen Gesellschaft. Mit seinen systemischen Analysen von KI-Kapitalismus und seinen Vorschl\u00e4gen zur Sch\u00e4rfung des Datenschutzes bespielt er zahlreiche au\u00dferwissenschaftliche Transferformate und ist regelm\u00e4\u00dfiger Gast in Politik, Bildungsarbeit und \u00f6ffentlichen Foren. In seiner Forschung analysiert er KI-Systeme als soziotechnische Systeme (\"Human-Aided AI\"), hat den Begriff \"Predictive Privacy\" gepr\u00e4gt und tritt f\u00fcr eine Zweckbindung f\u00fcr KI-Modelle ein. \r\n\r\nIn seinem fr\u00fcheren Leben hat Rainer Mathematik/Physik/Informatik studiert und zu Quantenphysik gearbeitet. Durch ein Zweitstudium in Philosophie und Gender Studies ist er dann in den kritischen Geisteswissenschaften gelandet. Sein interdisziplin\u00e4res Team der Forschungsgruppe Ethics and Critical Theories of AI an der Uni Osnabr\u00fcck bringt Philosophie, Medienwissenschaft und Informatik zusammen, um das Wechselspiel von Technologie, Macht und gesellschaftlicher Ver\u00e4nderung zu untersuchen. [Publikationen]\r\n\r\nRainers Talk auf dem 37C3: KI \u2013 Macht \u2013 Ungleichheit", "answers": [] }, { "guid": "d026f943-2311-57cf-b5d6-77cdc194a3e0", "id": 295, "code": "GN8CRZ", "public_name": "Hannah Ruschemeier", "avatar": null, "biography": "Ich bin Juniorprofessorin f\u00fcr \u00f6ffentliches Recht, Datenschutzrecht und Recht der Digitalisierung. In meiner Forschung befasse ich mich mit der Regulierung datenintensiver Technologien, Datenschutz im Grundrechtskontext, dem \u00fcberbordenden Einsatz von \u00dcberwachungstechnologien durch staatliche Akteure und normativen Dimensionen von Datenmacht und Nachhaltigkeitsfragen der Digitalisierung.\r\nMit dem Porjekt OZUG- offener Zugang zum Grundgesetz setze ich mich f\u00fcr einen freieren Zugang zu rechtswissenschaftlichem Wissen ein.", "answers": [] } ], "links": [], "attachments": [] }