Die paar T-Tests schaffe ich alleine – Ein weit verbreiteter Irrglaube ?!
Interview mit Dr. Magdalene Ortmann – Ein Gastbeitrag
Vorab ein paar Worte von mir: Ich arbeite sehr eng mit Dr. Magdalene Ortmann zusammen, da sie genau den Part ergänzt, den ich in meinem Coaching nicht gewährleisten kann, nämlich die Durchführung der analytischen Statistik. Ich bin deshalb sehr dankbar jemanden wie Magdalene gefunden zu haben, an die ich meine Coachees für diesen Teil der Arbeit verweisen kann.
Liebe Magdalene, bitte erzähl uns doch zu allererst einmal was du so machst und wie du zur selbstständigen Statistikberatung gekommen bist.
Hallo Desiree! Vorab erst einmal vielen Dank, dass ich mich heute deinen Lesern vorstellen darf, das ist mir eine große Ehre!
Ich arbeite seit ca. 2012 als freiberufliche Statistik- und Publikationsberaterin, bin aber eigentlich von Haus aus Wissenschaftlerin in der neuropsychologischen Hirnforschung. Ich hatte das Glück schon früh im Studium in der Forschung mitarbeiten zu dürfen, zuerst als Tutor, dann als Hiwi, Doktorand, Postdoc und zwischendurch auch mal als Forschungspraktikant in den USA.
Ich habe die Wissenschaft also quasi von der Pike auf gelernt und dazu gehört bei uns Psychologen sehr sehr viel Statistik und Studienmethodik. Mir hat dabei immer das klinische Setting am besten gefallen. Daher habe ich mehr und mehr mit Ärzten aller Abteilungen meiner jeweiligen Unikliniken zusammen gearbeitet und sie insbesondere in allen Fragen zur Studienplanung und Datenauswertung beraten. Irgendwann habe ich das dann tatsächlich lieber gemacht als meinen eigentlichen Job als Wissenschaftlerin, und so habe ich 2016 die Uni verlassen und meine eigene Beratungsagentur für Medizinstatistik gegründet, in der ich hauptberuflich machen kann, was mir am meisten Spaß macht.
Was sind die typischen Anliegen, mit denen deine Kunden zu dir kommen?
Das ist total unterschiedlich. Zu mir kommt eigentlich so ziemlich jeder innerhalb des Medizinbetriebs: Chefärzte, Oberärzte, niedergelassene Fachärzte, Pharmafirmen und ganz viele Medizindoktoranden. Oftmals schicken mir auch forschende Ärzte Ihre Doktoranden, damit ich Ihnen helfe die erhobenen Daten für die Dissertation auszuwerten. Die Betreuer nutzen die Ergebnisse danach dann oft für Ihre eigenen Publikationen.
Ich springe also überall ein, wo jemand Beratung im Bereich Studienplanung, Datenanalyse oder Publikation von medizinischen Studien in Fachzeitschriften benötigt.
Mit Doktoranden arbeite ich dabei meist sehr lange zusammen. Es gibt z.B. sehr viele Medizindoktoranden, die erst nach dem Studium promovieren und sehr wenig Kontakt zu Ihren Betreuern haben. Da ersetze ich dann tatsächlich sehr oft die Doktormutter / den Doktorvater und führe die Promovierenden durch alle Stufen Ihrer Promotion. Aktuell ist z.B. gerade wieder jemand soweit die Dissertation final in den Druck zu geben und das Projekt abzuschließen, das ist dann wirklich ein tolles Gefühl!
Was sind deine Erfahrungen in der Arbeit mit Medizinpromovierenden? Zur Vermeidung welcher Kardinalfehler ist eine Statistikberatung so wichtig?
Generell finde ich die Zusammenarbeit mit Medizinpromovierenden super, weil die Zusammenarbeit wirklich sehr angenehm ist. Was mir sehr leid tut ist, wie groß die Kluft zwischen Anforderungen der Unis bzgl. Studienmethodik und Statistik an die Doktoranden mittlerweile geworden ist und dem, was effektiv gelehrt wird.
Obwohl die Unis versuchen über die neuen Graduiertenschulen bessere Angebote zu machen, steigen parallel dazu aber auch die Anforderungen an die Doktoranden immer weiter an.
Das hängt damit zusammen, dass Daten heutzutage sehr anspruchsvoll ausgewertet und präsentiert werden müssen, damit sie publiziert werden können. In den letzten Jahren sind nämlich auch die Anforderungen an Manuskripte, die in Fachzeitschriften veröffentlich werden sollen, enorm gestiegen, und das reichen die Betreuer dann 1:1 an die Doktoranden weiter.
Früher war es zum Beispiel Gang und Gäbe einfach 5 Millionen T-Tests zu rechnen und dann war die Datenanalyse erledigt. Das geht heute nicht mehr. Heute muss man sich genau überlegen, welches Design der Studie zugrunde liegt und wie Daten beschaffen sind, und darüber wird dann ermittelt, welchen Test man am besten rechnen sollte. Die Devise ist dabei immer, so sparsam wie möglich zu rechnen, bei gleichzeitig höchstem Wissensoutcome.
Es ist z.B. deutlich besser eine an das Studiendesign angepasste ANOVA zu rechnen und nur punktuell und wo absolut nötig, die signifikanten Effekte der ANOVA mit weiteren T-Tests aufzudröseln, als von Beginn an alles gegen jeden zu testen.
Es dabei auch sehr wichtig vorab zu überlegen, was man überhaupt Testen will und vor allem warum. Dazu muss ich aber die Hypothesen und Fragestellungen meiner Dissertation sehr genau kennen. Die kenne ich aber nur, wenn ich vorab die Literatur intensiv studiert habe.
Macht man diese Schritte vorab nicht und testet einfach ins Blaue drauf los, dann hat man gleich zwei Probleme: Man testet zum einen rein explorativ und somit viel zu viel. Diese Art der Datenanalyse führt zu Zufallssignifikanzen, denn je mehr ich teste, desto eher wird schon irgendwas Signifikantes dabei heraus kommen. Der Doktorand hat dann zwar Ergebnisse, das Risiko, dass die sich gegenseitig widersprechen und rein zufällig entstanden sind, ist aber sehr hoch.
Das zweite Problem bei dieser Vorgehensweise ist, dass man sich seinen Weg durch die Datenanalyse und – als Folge- durch die Ergebnisdiskussion stolpert, weil die klare Linie fehlt. Diese Arbeiten wirken dann meist sehr unstrukturiert, weil der Doktorand keinen roten Faden gefunden hat.
Viel besser ist es, sich vor Beginn der Auswertung, möglichst sogar vor Beginn der Datenerhebung schon intensiv mit dem theoretischen Hintergrund der Studie zu beschäftigen. Man muss die Literatur wirklich genau kennen und das Projekt auch mal mit den Betreuern und anderen Doktoranden in einem Forschungskolloquium durchdiskutieren.
Den „roten Faden“ der Dissertation findet man besonders gut, wenn man sich für so ein Meeting eine Präsentation bastelt. Dann beginnt man nämlich automatisch damit eine „Story“ zu bauen, die dann zusammen mit den anderen Teilnehmern diskutiert und in eine Studie übersetzt werden kann.
Tatsächlich ist das ein wesentlicher Teil meiner Arbeit mit den Doktoranden. Wir versuchen sehr oft im Nachhinein den Erzählstrang ihrer Dissertation zu finden. Dazu gehört dann die Forschungsfrage zu identifizieren, die dafür relevanten Variablen im Datensatz zu finden und diese dann gut und sauber auszuwerten. Am Schluss wird dann alles aufgeschrieben, sodass sich einen schöner „Fluss“ von der Einleitung bis zur Diskussion ergibt.
Für mich ist Statistikberatung also keine reine Hilfe bei der Datenauswertung, sondern ein Gesamtkonzept, bei dem es um die Forschungsarbeit an sich geht. Datenauswertung ist an sich natürlich immer wichtig, aber sie ist ja nur ein Teil der Studie und darf niemals isoliert betrachtet werden.
Welche Arten von Beratung bietest du eigentlich an?
Das hängt tatsächlich sehr vom Kunden ab. Für Institute werte ich Datensätze anhand der Forschungsfragen, die mir übermittelt werden aus und verfasse dann auch die entsprechenden Teile in den Publikationen.
Bei Doktoranden hängt das sehr davon ab, was sie sich wünschen und was die Studienordnung erlaubt. Meine Vormittage verbringe ich z.B. sehr oft mit Skypemeetings, bei denen ich den Doktoranden zeige, wie sie Ihre Daten in SPSS analysieren können. Vorab diskutieren wir dann aber erst einmal, worum es in der Promotion geht und welche Fragen wir anhand des Datensatzes überhaupt beantworten können.
Am Schluss zeige ich den Promovierenden dann oft, wie Sie die Ergebnisse verschriftlichen und das Ganze in ein richtig schönes Manuskript verpacken. Eine empirische Dissertation ist ja schließlich so etwas wie ein Gesamtkunstwerk.
Erlaubt die Studienordnung, dass ein Statistiker die Datenanalyse übernimmt, mache ich das auch. Das ist dann besonders für arbeitende Promovierende interessant, weil die einfach keine Zeit haben, sich mit der Datenanalyse zu beschäftigen.
Neben den regelmäßigen Coachings habe ich dann noch einige Klienten, die einfach nur hin und wieder Intensivsitzungen buchen, in denen wir gemeinsam in 90 Minuten spezielle Aspekte Ihrer Arbeit besprechen oder in der ich ihnen nur ein einzelnes statistischen Verfahren erkläre.
Und dann gibt es mittlerweile auch mehr und mehr Lerngruppen , in denen ich dann mehreren Doktoranden zeitgleich beibringe, wie sie sich Schritt für Schritt durch die Datenanalyse durcharbeiten. Das wird dann pro Person sehr günstig und ist gerade für Studenten interessant.
Wie kann man zu dir gelangen und wie lange arbeitest du in der Regel mit deinen Kunden zusammen?
Mich findet man am besten über meine Homepage www.ortmann-statistik.de. Dort kann jeder Interessent, der mehr als eine Kurzberatung braucht ein kostenloses Erstgespräch mit mir ausmachen, in dem wir dann in Ruhe schauen, welches Problem eigentlich gelöst werden muss und wie das gehen könnte.
Seit neuesten habe ich aber auch einen Onlineshop in dem man u.a. direkt Termine für Kurzberatungen buchen kann. Bald werde ich dort auch Onlinetutorials zur Statistischen Auswertung anbieten. Bis dahin gibt es in meinem Blog diverse Artikel zum Thema Promovieren in der Medizin und Medizinstatistik.
Die Dauer der Zusammenarbeit variiert dabei total. Je nach Anliegen kann es sich um einen einmaligen Termin handeln, mit anderen arbeite ich aber auch bis zu 1,5 Jahren zusammen. Je nach Wunsch und Anliegen.
Liebe Magdalene, wenn du meiner Community einen ganz wichtigen Tipp zum Thema Statistik in Promotionen ans Herz legen solltest, welcher wäre das?
Ich glaube, der wichtigste Punkt, den man verstehen muss ist, dass die Statistik kein isolierter Teil der Promotion ist, den man irgendwie abhaken muss. Sie ist vielmehr das Herzstück der Dissertation, in dem alle Fäden zusammen- und wieder auseinander laufen.
Man braucht daher auch gar keine Angst vor der Datenauswertung haben. Sobald meine Klienten eine Idee entwickelt haben, welche Fragen sie eigentlich mit Ihrer Dissertation beantworten wollen, merken Sie ziemlich schnell, dass die Statistik eine Werkzeugkiste ist, mit der sie all ihre Fragen beantworten können und kein Folterinstrument.
Manchmal reicht da schon ein einziger Termin mit jemanden wie mir oder ein Besuch in der Methodenberatung der Uni und schon wirkt alles nicht mehr so bedrohlich, sondern freundlich und nett :0)
Falls ihr also ein Problem bei der Datenauswertung eurer Promotion habt, fragt einfach um Hilfe, das kann sich nur positiv auswirken.
Danke für diesen schönen Gastbeitrag, liebe Magdalene!
