The Well-Made Analysis

Wie machen wir Datenanalysen so vertrauenswürdig, dass man auf ihrer Grundlage handeln kann? In meiner Forschung entwickle ich Methoden und Software, die solche Auswertungen von Grund auf belastbar machen, ob sie nun von Menschen stammen oder von einem Agenten auf Basis künstlicher Intelligenz (KI), der im Auftrag anderer arbeitet. Damit lässt sich zeigen, wann die Arbeit abgeschlossen ist, wie viel Beweiskraft eines Datensatzes durch wiederholte Nutzung bereits aufgebraucht ist und ob ein Angriff beeinflusst hat, welche Inhalte das System aufgenommen hat. Ich nähere mich diesen Fragen aus zwei Richtungen: über die Metawissenschaft, die untersucht, wie Studien durchgeführt werden, und über angewandte Biostatistik in der globalen Gesundheit, wo Schätzungen, an denen ich mitgewirkt habe, heute in Empfehlungen der Weltgesundheitsorganisation (WHO) und von Gesundheitsbehörden in mehr als 25 Ländern einfließen. Meine Dissertation, The Well-Made Analysis, verbindet die Entwicklung der Methoden mit ihren Anwendungen.

Auf der Seite Publikationen finden Sie die vollständige Liste und Zitationskennzahlen, und die Übersicht Wissenschaft & Politik zeigt, wo die Arbeiten zitiert wurden.

30+
begutachtete Fachartikel
30.000+
Zitationen
25
h-Index
200+
Zitationen in Politikdokumenten

Quellen: Google Scholar, Sage Policy Profiles und CRAN-Downloadstatistiken, Oktober 2026.

Wirkung

Als Mitwirkende der Global Burden of Disease (GBD) Study unter Leitung des Institute for Health Metrics and Evaluation (IHME) erarbeite ich Schätzungen mit, auf die Gesundheitsministerien und internationale Organisationen bei der Planung der Versorgung zurückgreifen.

Ukraine
Akute Schlaganfallversorgung unter Kriegsbedingungen
Die Schätzungen zur Schlaganfalllast, an denen ich als Mitautorin beteiligt war, fließen in die Analyse des WHO-Regionalbüros für Europa zur Lage der Akutversorgung in der Ukraine ein, die das Land mit der Europäischen Union vergleicht und der nationalen Planung und Surveillance als Grundlage dient.
Europäische Union
Politik für Herz-Kreislauf-Gesundheit
Vereinigte Staaten
Adipositas-Prognosen in der öffentlichen Wahrnehmung
Über unsere Vorhersagen zu Übergewicht und Adipositas in den USA bis 2050 berichtete die New York Times; zudem wurden sie in der Gesundheitsplanung einzelner Bundesstaaten zitiert.

Die Übersicht Wissenschaft & Politik nennt weitere Beispiele, jeweils mit Link zum zitierenden Dokument.

Methoden & Metawissenschaft

Wann eine Analyse fertig ist

Die statistische Ausbildung behandelt meist, wie man eine Studie beginnt, und sagt wenig darüber, wie man sie beendet. Gemeinsam mit Brian Caffo, Stephanie Hicks und Roger Peng habe ich Abschlusskriterien entwickelt, die „fertig“ als Aussage behandeln, die man formulieren, prüfen und verteidigen kann; seitdem fasse ich die Frage als Stoppproblem, das weitere Exploration gegen ihre Kosten und das Risiko der Überanpassung abwägt. Diese Sichtweise ist vor allem dann wichtig, wenn ein KI-Agent die Analyse durchführt, denn er kann immer noch eine Spezifikation ausprobieren und hat keinen eingebauten Grund, aufzuhören.

2026
The End is Insight: How to Know When Data Analysis is Done
Columbus, Caffo, Hicks, Peng · als Diskussionsbeitrag angenommen in American Statistical Association (ASA) Discoveries
Erstautorin

Was wiederholte Analysen kosten

Öffentlich zugängliche Datenbestände ziehen heute eine Reanalyse nach der anderen auf sich, vielfach automatisiert, und jede Runde schöpft aus derselben begrenzten Information. Mit Brian Caffo und Martin Lindquist entwickle ich Evidential Yield, die verbleibende Beweiskraft eines Datensatzes: ein Maß dafür, wie viel konfirmatorische Evidenz die Daten nach vielen früheren Studien noch bieten, ergänzt um eine Regel, die anzeigt, wann ein weiterer Durchgang Befunde eher künstlich erzeugt als aufdeckt. Die Grundlage bilden Vibration-of-Effects und Spezifikationsanalyse, die abbilden, wie stark sich ein Ergebnis über die vielen vertretbaren Wege verschiebt, dieselbe Untersuchung durchzuführen; meine Open-Source-Software macht diese Werkzeuge für andere nutzbar, von forkflow bis aws.s3 und den übrigen R-Paketen, die ich geschrieben oder betreut habe und die insgesamt mehr als 50 Millionen Mal heruntergeladen wurden.

2026
Managing Analytic Multiplicity in Epidemiology: Reproducible Multiverse and Vibration of Effects Analyses in R
useR! 2026, die R User Conference, Warschau
Software
Ein R-Paket zum Spezifizieren, Durchführen und Berichten von Vibration-of-Effects- und Spezifikationsanalysen, mit begleitendem Quarto-Buch und Quellcode auf GitHub.
Autorin und Maintainerin
Buch
Open-Access-Buch, Open-Source-Projekt forkflow
Autorin
Software
Ein R-Client für Amazon Simple Storage Service (S3), der im gesamten R-Ökosystem für den Zugriff auf Cloud-Daten genutzt wird
Mitwirkende und ehemalige Maintainerin
in Vorbereitung
How Many Analyses Are Enough? A Stopping Rule and a Selection Measure for Reanalyzed Public Data
Columbus, Caffo, Lindquist
Erstautorin

Handelnde KI-Agenten absichern

Sobald ein Sprachmodell im Web surfen, Werkzeuge aufrufen und Dateien lesen kann, stammt womöglich alles, was es aufnimmt, aus feindlicher Hand, und jeder Schritt von der Wahrnehmung bis zur Handlung wird zum Angriffspunkt. Ich untersuche, wie sich Bedrohungen verändern, wenn KI-Systeme vom Treffen von Vorhersagen zum Ausführen von Handlungen übergehen, darunter Prompt Injection über abgerufene Inhalte und manipulierte Werkzeugausgaben (Tool-Output Poisoning). Mein Framework behandelt jeden Planungsschritt und jeden Werkzeugaufruf als zu überwachendes Ereignis und kalibriert die Alarmschwellen so, dass jeder Detektor in höchstens 5 Prozent der angriffsfreien Sitzungen einen Fehlalarm auslöst. In einer präregistrierten Studie mit 5.580 Agentensitzungen erkannten Detektoren, die Handlungen mit ihren Quellen oder mit den Antworten des betroffenen Systems abgleichen, Angriffe früh, und im Durchsetzungsmodus wurde jedes Abfließen geheimer Daten verhindert. Detektoren, die Text mit dem ursprünglichen Auftrag vergleichen, scheiterten dagegen, und auch dieses Ergebnis lege ich offen. Ich bringe dafür Erfahrung aus einer früheren Laufbahn als Analystin für Informationssicherheit und Spezialistin für Data Governance mit und habe mich im CARE-AI-Programm der US-amerikanischen National Science Foundation (NSF) weitergebildet. Außerdem berate ich Organisationen zu Richtlinien für KI-Sicherheit und habe für O’Reilly Media drei Kapitel über den Schutz von Softwareanwendungen und Computernetzwerken geschrieben.

2025
From Traditional to Agentic AI: Securing Autonomously Acting Language Models Against Emergent Threats
Neural Information Processing Systems Europe (EurIPS) 2025 Workshop on Foundations of Language Model Security, Kopenhagen; zudem vorgestellt auf der Global Conference on AI, Security, and Ethics, Palais des Nations, Genf (2026). Code auf GitHub
Alleinautorin
2025
Securing AI from the Inside Out: Prompt Injection, Data Poisoning, and Other Nightmares
Podiumsdiskussion auf Einladung, BigID DotCon Summit

Anwendungen

Globale Gesundheit und Politik

In der Global Burden of Disease Study, die das Institute for Health Metrics and Evaluation leitet und an der mehr als 16.000 Forschende in mehr als 160 Ländern mitwirken, trage ich zu den Kennzahlen bei, anhand derer Regierungen gesundheitliche Fortschritte vergleichen, Prioritäten setzen und Ressourcen verteilen; diese Schätzungen haben nationale Entscheidungen zur Alkoholbesteuerung, zur Luftqualität und zu Impfprogrammen beeinflusst. Studien, die ich als Mitautorin mit dem Netzwerk veröffentlicht habe, wurden in mehr als 200 Politik- und Leitliniendokumenten zitiert, von der WHO über den Rat der Europäischen Union und die Weltbank bis zur Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD).

Biomedizinische Data Science

Als Mitglied des National COVID Cohort Collaborative (N3C) leite ich eine multimodale Pipeline, die Einzelzell-Transkriptomik, Daten zu Arzneimittel-Perturbationen und elektronische Patientenakten zusammenführt, um bereits verfügbare Medikamente als Kandidaten für eine Umwidmung (Drug Repurposing) bei akuter Nierenschädigung im Zusammenhang mit der Coronavirus-Krankheit 2019 (COVID-19) in eine Rangfolge zu bringen. Als Scholar des Johns Hopkins Center of Excellence in Regulatory Science and Innovation (CERSI), gefördert von der US-Arzneimittelbehörde FDA, untersuche ich, wie sich analytische Variabilität so berichten lässt, dass sie regulatorischen Entscheidungen dient. Zuvor habe ich als wissenschaftliche Hilfskraft in einer von der US-Raumfahrtbehörde NASA geförderten Studie an Analysen der Otolithenfunktion und der sensomotorischen Leistungsfähigkeit bei Raumflugmissionen unterschiedlicher Dauer mitgearbeitet.

2025
Strategies to Address and Report Variability Arising from Multiple Analytic Choices in Biomedical Data Analyses
Yale-Mayo Clinic CERSI Scholar Seminar
in Begutachtung
A Multi-Modal Pipeline for COVID-Associated Acute Kidney Injury Drug Repurposing
Columbus et al. · in Begutachtung bei Nature Biotechnology
Erstautorin

Statistikdidaktik

Die Vermittlung, wie man Evidenz abwägt, bildet im Hörsaal das Gegenstück zu meiner Methodenforschung. Ich entwickle Lehr- und Prüfungsformate für analytisches Urteilsvermögen, die auch dann tragfähig bleiben, wenn Studierende KI-Werkzeuge nutzen; dieser Ansatz wurde von der American Statistical Association mit einem Best Contributed Paper Award im Bereich Statistik- und Data-Science-Ausbildung ausgezeichnet.

2026
When is an Analysis “Done”? Teaching Analytic Judgment and AI-Aware Assessment in Data-Driven Courses
European University Alliance for Global Health Conference on Pedagogical Development, University of Alcalá
2026

Die vollständige Publikationsliste mit Kennzahlen finden Sie auf der Seite Publikationen, alternativ auf Google Scholar.