Von aggregierten Berichten zu einzelnen Entscheidungen: Die DSA-Transparenzdatenbank kommt hinzu

Im VLOP-Dashboard ging es bislang um die aggregierten Transparenzberichte des EU-Gesetzes über digitale Dienste (Digital Services Act) — die periodischen Meldungen, in denen eine Plattform nach Kategorien berichtet, wie viele Meldungen sie erhalten und gegen wie viele Inhalte sie über sechs Monate hinweg vorgegangen ist. Das ist einer der beiden Transparenzmechanismen des DSA. Dieses Update fügt den anderen hinzu, und der ist ein ganz anderes Kaliber: die DSA-Transparenzdatenbank mit den Begründungen (Statements of Reasons).

Was eine Begründung ist

Nach Artikel 17 des DSA muss eine in den Anwendungsbereich fallende Plattform, sobald sie einen Inhalt einschränkt — ihn entfernt, den Zugang dazu sperrt, ihn herabstuft, eine Altersbeschränkung verhängt oder ihn demonetarisiert —, dem betroffenen Nutzer eine „Begründung" (statement of reasons) liefern, die die Entscheidung erläutert. Und sie muss eine Kopie dieser Begründung, ohne die personenbezogenen Details, an eine öffentliche Transparenzdatenbank übermitteln, die von der Europäischen Kommission betrieben wird.

Die aggregierten Berichte sagen einem, was eine Plattform über einen Berichtszeitraum eigenen Angaben nach getan hat. Die Transparenzdatenbank sind die einzelnen Entscheidungen selbst — eine Zeile pro Moderationsmaßnahme, eingereicht in dem Moment, in dem sie geschieht, mit strukturierten Feldern für die Kategorie, die Rechtsgrundlage, ob sie automatisch erkannt wurde, ob die Entscheidung automatisiert war und welche Einschränkung angewendet wurde. Es ist das, was einem lückenlosen, echtzeitnahen Verzeichnis von Content-Moderation auf Entscheidungsebene über die gesamte EU hinweg am nächsten kommt.

Sie ist außerdem riesig. Plattformen reichen in der Größenordnung von ein paar Milliarden Begründungen pro Monat ein. Der vollständige historische Datenabzug umfasst rund vier Terabyte und wächst jeden Tag.

Vier Terabyte passen in kein Dashboard

Die interessante Engineering-Frage war also, wie man von vier Terabyte täglicher CSV-Abzüge zu etwas kommt, das hinter eine interaktive Abfrageschnittstelle passt, ohne ein Analytics-Warehouse dahinter zu betreiben.

Die Antwort lag am Ende im Werkzeug der Kommission selbst. Neben der Datenbank veröffentlicht das DSA-Team ein quelloffenes Python-Toolkit, dsa-tdb, das die täglichen Abzüge herunterlädt, verifiziert und — entscheidend — vorberechnete monatliche Aggregate veröffentlicht. Statt der rohen Begründungen kann man eine Zeile pro feingranularer Kombination aus Plattform, Tag, Kategorie, Entscheidungsgrundlage, Automatisierung und Einschränkungstyp abrufen, jeweils mit einer Anzahl. Das sind etwa sieben Megabyte gzip-komprimierter CSV pro Monat statt des rohen Datenschwalls.

Von da an ist es ein Re-Aggregations-Problem. Ich rolle die täglichen Aggregate auf Monate hoch, verdichte sie zu einer Handvoll eindimensionaler Schnitte — Begründungen insgesamt, nach Kategorie, nach Entscheidungsgrundlage, nach Automatisierung, nach Einschränkungstyp — und behalte die 60 volumenstärksten Plattformen, die etwa 99,97 % aller Begründungen ausmachen. Das Ergebnis ist eine aufgeräumte Tabelle im Long-Format: rund 24.500 Zeilen, etwa zwei Megabyte JSON, die den Zeitraum von September 2023 bis heute abdecken. Das wandert in dieselbe schreibgeschützte SQLite-Datenbank wie jeder andere Datensatz und wird zu einer gewöhnlichen abfragbaren Tabelle, erreichbar über dieselbe strukturierte, SQL-freie Abfrageschnittstelle wie der Rest der Seite.

Wie die Form der Daten aussieht

Das Erste, was auffällt, ist, wie schief das Volumen verteilt ist. Eine Plattform — Google Shopping — macht die große Mehrheit aller Begründungen in der Datenbank aus, in der Größenordnung von Hunderten Millionen pro Monat, fast ausschließlich Produkteinträge, die als für den Marktplatz nicht zulässig ausgelistet wurden. TikTok, Facebook, Pinterest, Amazon und AliExpress bilden den größten Teil des Rests. Eine Handvoll Marktplätze und große soziale Plattformen dominieren; der lange Schwanz aus Hunderten kleinerer Einreicher ist ein Rundungsfehler.

Darüber hinaus lassen die Felder auf Entscheidungsebene Dinge erkennen, die die aggregierten Berichte nicht sauber sichtbar machen: die Aufteilung zwischen Inhalten, die als rechtswidrig nach dem Gesetz eingeschränkt wurden, und solchen, die mit den eigenen Bedingungen der Plattform unvereinbar sind (weit überwiegend Letzteres), den Anteil der vollständig automatisch getroffenen Entscheidungen gegenüber jenen mit einem Menschen im Ablauf und welche der DSA-Begründungskategorien die Entscheidungen des Monats tatsächlich anführen. Die Seite /dsa-db stellt die monatlichen Gesamtwerte, die volumenstärksten Plattformen im Zeitverlauf, die Kategorienzusammensetzung sowie die Grundlage rechtswidrig-gegenüber-Bedingungen grafisch dar, mit einer Tabelle pro Plattform darunter.

Dieselben Vorbehalte, schärfer

Alles, was ich über die Grenzen der aggregierten Berichte geschrieben habe, gilt auch hier, und ein paar neue kommen hinzu. Die Kategoriendefinitionen sind weiterhin die jeder Plattform eigenen, sodass plattformübergreifende Kategorievergleiche Vergleiche von plattformdefinierten Konstrukten sind, nicht eines einheitlichen. Die Daten sind nach wie vor selbstberichtet und ungeprüft.

Und die Aggregation hat ihre eigenen Fallstricke, vor denen die Abfrageschnittstelle warnt. Die eindimensionalen Schnitte partitionieren jeweils dieselbe Menge an Begründungen, sodass eine Kategorienaufschlüsselung sich zurück zum Gesamtwert der Plattform summiert — was bedeutet, dass das Summieren einer Aufschlüsselung zusammen mit dem Gesamtwert doppelt zählt. Der Schnitt nach Einschränkungstyp ist eine Mehrfachauswahl, denn eine Entscheidung kann sowohl Inhalte entfernen als auch ein Konto sperren, sodass sich diese Zeilen überhaupt nicht zum Gesamtwert summieren. Und weil ein paar Marktplätze das Volumen so stark dominieren, misst fast jede plattformübergreifende Summe in Wahrheit nur Google Shopping. Die praktische Regel ist dieselbe, zu der einen die Schnittstelle drängt: einen Abschnitt und in der Regel eine Plattform festlegen, bevor man irgendetwas aggregiert.

Zwei Perspektiven auf dasselbe Gesetz

Was mir daran gefällt, beide Datensätze an einem Ort zu haben, ist, dass sie unterschiedliche Fragen beantworten. Die aggregierten Berichte sind die eigene Zusammenfassung einer Plattform darüber, was sie über einen Zeitraum getan hat, in ihren eigenen Kategorien, von ihren Rechts- und Policy-Teams vor der Veröffentlichung geprüft. Die Transparenzdatenbank ist der rohe Strom einzelner Entscheidungen, für alle gleich strukturiert, fortlaufend eingereicht. Keine ist ein Ersatz für die andere, und die Diskrepanzen zwischen ihnen sind oft der interessante Teil. Sie nebeneinander zu haben, hinter derselben Abfrageschnittstelle, ist der ganze Sinn.