The Well-Made Analysis
Wie machen wir Datenanalysen so vertrauenswürdig, dass man auf ihrer Grundlage handeln kann? In meiner Forschung entwickle ich Methoden und Software, die solche Auswertungen von Grund auf belastbar machen, ob sie nun von Menschen stammen oder von einem Agenten auf Basis künstlicher Intelligenz (KI), der im Auftrag anderer arbeitet. Damit lässt sich zeigen, wann die Arbeit abgeschlossen ist, wie viel Beweiskraft eines Datensatzes durch wiederholte Nutzung bereits aufgebraucht ist und ob ein Angriff beeinflusst hat, welche Inhalte das System aufgenommen hat. Ich nähere mich diesen Fragen aus zwei Richtungen: über die Metawissenschaft, die untersucht, wie Studien durchgeführt werden, und über angewandte Biostatistik in der globalen Gesundheit, wo Schätzungen, an denen ich mitgewirkt habe, heute in Empfehlungen der Weltgesundheitsorganisation (WHO) und von Gesundheitsbehörden in mehr als 25 Ländern einfließen. Meine Dissertation, The Well-Made Analysis, verbindet die Entwicklung der Methoden mit ihren Anwendungen.
Auf der Seite Publikationen finden Sie die vollständige Liste und Zitationskennzahlen, und die Übersicht Wissenschaft & Politik zeigt, wo die Arbeiten zitiert wurden.
Quellen: Google Scholar, Sage Policy Profiles und CRAN-Downloadstatistiken, Oktober 2026.
Wirkung
Als Mitwirkende der Global Burden of Disease (GBD) Study unter Leitung des Institute for Health Metrics and Evaluation (IHME) erarbeite ich Schätzungen mit, auf die Gesundheitsministerien und internationale Organisationen bei der Planung der Versorgung zurückgreifen.
Die Übersicht Wissenschaft & Politik nennt weitere Beispiele, jeweils mit Link zum zitierenden Dokument.
Methoden & Metawissenschaft
Wann eine Analyse fertig ist
Die statistische Ausbildung behandelt meist, wie man eine Studie beginnt, und sagt wenig darüber, wie man sie beendet. Gemeinsam mit Brian Caffo, Stephanie Hicks und Roger Peng habe ich Abschlusskriterien entwickelt, die „fertig“ als Aussage behandeln, die man formulieren, prüfen und verteidigen kann; seitdem fasse ich die Frage als Stoppproblem, das weitere Exploration gegen ihre Kosten und das Risiko der Überanpassung abwägt. Diese Sichtweise ist vor allem dann wichtig, wenn ein KI-Agent die Analyse durchführt, denn er kann immer noch eine Spezifikation ausprobieren und hat keinen eingebauten Grund, aufzuhören.
Was wiederholte Analysen kosten
Öffentlich zugängliche Datenbestände ziehen heute eine Reanalyse nach der anderen auf sich, vielfach automatisiert, und jede Runde schöpft aus derselben begrenzten Information. Mit Brian Caffo und Martin Lindquist entwickle ich Evidential Yield, die verbleibende Beweiskraft eines Datensatzes: ein Maß dafür, wie viel konfirmatorische Evidenz die Daten nach vielen früheren Studien noch bieten, ergänzt um eine Regel, die anzeigt, wann ein weiterer Durchgang Befunde eher künstlich erzeugt als aufdeckt. Die Grundlage bilden Vibration-of-Effects und Spezifikationsanalyse, die abbilden, wie stark sich ein Ergebnis über die vielen vertretbaren Wege verschiebt, dieselbe Untersuchung durchzuführen; meine Open-Source-Software macht diese Werkzeuge für andere nutzbar, von forkflow bis aws.s3 und den übrigen R-Paketen, die ich geschrieben oder betreut habe und die insgesamt mehr als 50 Millionen Mal heruntergeladen wurden.
Handelnde KI-Agenten absichern
Sobald ein Sprachmodell im Web surfen, Werkzeuge aufrufen und Dateien lesen kann, stammt womöglich alles, was es aufnimmt, aus feindlicher Hand, und jeder Schritt von der Wahrnehmung bis zur Handlung wird zum Angriffspunkt. Ich untersuche, wie sich Bedrohungen verändern, wenn KI-Systeme vom Treffen von Vorhersagen zum Ausführen von Handlungen übergehen, darunter Prompt Injection über abgerufene Inhalte und manipulierte Werkzeugausgaben (Tool-Output Poisoning). Mein Framework behandelt jeden Planungsschritt und jeden Werkzeugaufruf als zu überwachendes Ereignis und kalibriert die Alarmschwellen so, dass jeder Detektor in höchstens 5 Prozent der angriffsfreien Sitzungen einen Fehlalarm auslöst. In einer präregistrierten Studie mit 5.580 Agentensitzungen erkannten Detektoren, die Handlungen mit ihren Quellen oder mit den Antworten des betroffenen Systems abgleichen, Angriffe früh, und im Durchsetzungsmodus wurde jedes Abfließen geheimer Daten verhindert. Detektoren, die Text mit dem ursprünglichen Auftrag vergleichen, scheiterten dagegen, und auch dieses Ergebnis lege ich offen. Ich bringe dafür Erfahrung aus einer früheren Laufbahn als Analystin für Informationssicherheit und Spezialistin für Data Governance mit und habe mich im CARE-AI-Programm der US-amerikanischen National Science Foundation (NSF) weitergebildet. Außerdem berate ich Organisationen zu Richtlinien für KI-Sicherheit und habe für O’Reilly Media drei Kapitel über den Schutz von Softwareanwendungen und Computernetzwerken geschrieben.
Anwendungen
Globale Gesundheit und Politik
In der Global Burden of Disease Study, die das Institute for Health Metrics and Evaluation leitet und an der mehr als 16.000 Forschende in mehr als 160 Ländern mitwirken, trage ich zu den Kennzahlen bei, anhand derer Regierungen gesundheitliche Fortschritte vergleichen, Prioritäten setzen und Ressourcen verteilen; diese Schätzungen haben nationale Entscheidungen zur Alkoholbesteuerung, zur Luftqualität und zu Impfprogrammen beeinflusst. Studien, die ich als Mitautorin mit dem Netzwerk veröffentlicht habe, wurden in mehr als 200 Politik- und Leitliniendokumenten zitiert, von der WHO über den Rat der Europäischen Union und die Weltbank bis zur Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD).
Biomedizinische Data Science
Als Mitglied des National COVID Cohort Collaborative (N3C) leite ich eine multimodale Pipeline, die Einzelzell-Transkriptomik, Daten zu Arzneimittel-Perturbationen und elektronische Patientenakten zusammenführt, um bereits verfügbare Medikamente als Kandidaten für eine Umwidmung (Drug Repurposing) bei akuter Nierenschädigung im Zusammenhang mit der Coronavirus-Krankheit 2019 (COVID-19) in eine Rangfolge zu bringen. Als Scholar des Johns Hopkins Center of Excellence in Regulatory Science and Innovation (CERSI), gefördert von der US-Arzneimittelbehörde FDA, untersuche ich, wie sich analytische Variabilität so berichten lässt, dass sie regulatorischen Entscheidungen dient. Zuvor habe ich als wissenschaftliche Hilfskraft in einer von der US-Raumfahrtbehörde NASA geförderten Studie an Analysen der Otolithenfunktion und der sensomotorischen Leistungsfähigkeit bei Raumflugmissionen unterschiedlicher Dauer mitgearbeitet.
Statistikdidaktik
Die Vermittlung, wie man Evidenz abwägt, bildet im Hörsaal das Gegenstück zu meiner Methodenforschung. Ich entwickle Lehr- und Prüfungsformate für analytisches Urteilsvermögen, die auch dann tragfähig bleiben, wenn Studierende KI-Werkzeuge nutzen; dieser Ansatz wurde von der American Statistical Association mit einem Best Contributed Paper Award im Bereich Statistik- und Data-Science-Ausbildung ausgezeichnet.
Die vollständige Publikationsliste mit Kennzahlen finden Sie auf der Seite Publikationen, alternativ auf Google Scholar.