Schedule FrOSCon 2026

Bias bei KI-Modellen ist selten der spektakuläre Ausrutscher im Output, sondern die statistische Schieflage darunter: die konsistente Präferenz eines Modells für die stereotype Satzvariante in den Wahrscheinlichkeitsverteilungen, mit denen es rechnet. Modelle haben keine Werte, sondern Wahrscheinlichkeiten und genau diese Wahrscheinlichkeiten können in eine bestimmte Richtung verschoben sein, ohne dass es im sichtbaren Output sofort auffällt. Genau dort beginnt das Problem für Entwicklerinnen und Entwickler, Compliance-Teams und Auditor:innen.

CrowS-Pairs macht diese Schicht sichtbar. Statt ein Modell zu fragen "Bist du biased?" — ungefähr so sinnvoll wie einen Build zu fragen, ob er reproduzierbar ist , vergleicht die Methode stereotype und anti-stereotype Satzpaare über Log-Probabilities. Daraus entsteht eine dokumentierte Stereotyp-Präferenz: kein Moralurteil, kein Compliance-Freifahrtschein, sondern ein nachvollziehbares Messprotokoll. Der Bias-Score ist kein Heiligenschein. Er ist Evidence.

Die zweite Hälfte des Problems ist das Format. Ein Bias-Score in einem Vendor-Dashboard ist schwer zu prüfen, schwer zu versionieren und schwer in CI-Pipelines, Code-Reviews oder Audits weiterzuverwenden. Software-Engineering hat diese Art Vertrauensproblem schon mehrfach gelöst: Reproducible Builds machen Artefakte überprüfbar, SBOMs beschreiben Lieferketten maschinenlesbar, CVE-Einträge machen Befunde öffentlich referenzierbar. AI-Compliance-Evidence braucht dieselbe offene Infrastruktur, sonst bleibt sie ein Marketing-Versprechen.

Genau daran arbeitet EuConform: ein offenes Evidence-Format für AI-Act-Nachweise, begonnen als Solo-OSS-Projekt und aktuell als NGI-Zero-Commons-Fund-Antrag eingereicht. Die vorhandenen Schichten beschreiben Projekt und Komponenten als AI-BOM (aibom.v1), halten Risiko- und CI-Ergebnisse maschinenlesbar fest (report.v1, ci.v1) und bündeln Artefakte SHA-256-verifizierbar (bundle.v1). Die empirische Bias-Schicht (bias.v1) erzeugt das Bias-JSON aus CrowS-Pairs-Runs gegen lokal via Ollama gehostete LLMs. Mit englischem und deutschem Dataset, ohne Cloud-API-Key und ohne dass Daten die Maschine verlassen.

In einer kurzen Demo läuft ein deutscher CrowS-Pairs-Run gegen ein lokales Llama-Modell. Wir öffnen nicht nur den Score, sondern das erzeugte JSON: Modell, Dataset, Methode, Anzahl der Satzpaare, Score und Stereotyp-Präferenz. Danach zeige ich, wie EuConform AI-BOM, Report, CI-Ergebnis und Bundle-Manifest als maschinenlesbare Dokumente zusammenführt und per verify gegen Hash- und Metadatenabweichungen prüft. Die Demo ist nicht der Talk; sie ist das Beweisstück.

Zentrale Botschaft: Wir brauchen keine magischen Vendor-Scores und keine grünen Ampeln, die Wahrheit spielen. Wir brauchen dokumentierte, versionierbare, überprüfbare Evidence, auf deren Basis Menschen verantwortbare Urteile fällen. JSON ist nicht sexy, aber es lügt wenigstens nicht im Sales-Call.

Zielgruppe: Entwicklerinnen und Entwickler, die OSS-AI-Projekte betreuen oder einsetzen; Compliance- und IT-Sicherheits-Verantwortliche im EU-Raum; alle, die bei "AI-Compliance-Plattform" instinktiv zur Brieftasche greifen. Vorwissen: keines erforderlich; Reproducible-Builds- oder SBOM-Erfahrung hilft, ist aber nicht Voraussetzung.

Take-Aways:

1. Ein verständliches mentales Modell dafür, warum neutraler Modell-Output keine neutrale Bias-Evidence garantiert.


2. Ein konkreter Blick auf CrowS-Pairs, Log-Probability und Stereotyp-Präferenz als wiederholbares Messprotokoll.


3. Ein offenes Evidence-Format, auf dem OSS-Projekte, CI-Pipelines und spätere Compliance-Tools aufbauen können.