Danke, interessanter Artikel.
Es stellt sich die Frage, ob die Autoren des verlinkten Cicero-Artikels (Quelle) die Studie gelesen haben oder nur das Abstract. Ich empfehle daher, zumindest die (leicht verständliche) Diskussion zu lesen.
Zitat: „Inferences from this analysis deserve careful consideration, including a clear understanding of what this study cannot illuminate. First, none of the models tested can tell the extent to which any government response could have improved COVID-19 outcomes. …Nor can we learn from this study what COVID-19 outcomes would have been like in the absence of these responses.“
Wie immer ist die Lage leider auch in diesem Fall nicht so einfach, wie unsereins das gerne hätte.
Na schau mal an, es geht ja doch etwas wissenschaftlicher.
Ich bin mal so nett und verzichte auf die ganzen absichtlichen Missverständnisse, so wie du es gerne in meinem Lieblingsthread monatelang gemacht hast.
An Indien haben wir gesehen, dass einfach an zwei Zeitpunkten überall Leichenberge zusammen zu karren wahrscheinlich etwas weniger schädlich für die Wirtschaft war wie diese Lockdown und Zwangsmaßnahmen.
Deine Arbeit hättest du aber dann noch leichter verloren, falls du nicht bereit bist dich freiwillig an den Arbeitsplatz zu begeben.
Das Homeoffice hat uns ja sogar gezeigt wie viel wir noch optimieren können!
Da haben die Maßnahmen evtl. langfristig zu mehr Effizienz geführt.
Ich mag zwar Marc Friedrich nur bedingt – ist mir teils zu polemisch und wirkt mir zu eingebildet – dennoch ist dieses Interview mit der freien Journalistin Aya Velázquez, der die RKI-Protokolle durch einen Whistleblowser zugespielt wurde, sehr interessant und ich denke es lohnt sich ihre Arbeit und dessen Schlüsse daraus hier auch weiter zu verfolgen.
Aya erzählt in diesem Interview, dass sie selbst noch garnicht alle Daten auswerten konnte, da sie chronologisch vergeht, und die „verborgenen“ eMails und die Kommentare, die zwischen hochrangigen Polikern und RKI-Leute ausgetauscht wurden, in den Leak zuerst einmal mithilfe eines Datenanalysts in Kontext bringen musste.
Stand dieses Interviews, ging sie chronologisch bisher nur die Daten bis Dezember 2021 durch und resümiert hier schon, dass es ziemlich schnell klar war, dass die Impfung nicht vor Ansteckung schützt. Doch hier wurden dann immer andere Gründe gesucht, weil es nicht in die politischen „Ideologie“ passte. Man hat hier also nicht wirklich wissenschaftlich gearbeitet bzw. man hat die wissenschaftlichen Erkenntnisse nicht ehrlich verarbeitet.
edit:
Hier die erste Analyse von Aya auf velazquez.press
Die Autoren des Cicero Artikels machen den Eindruck, als hätten sie auch schon vor der Studie eine gefestigte Meinung gehabt. Sie verzerren das Ergebnis der Studie, die sie anscheinend nicht verstehen oder absichtlich missverstehen, um ihre Meinung zu untermauern.
Die Studie an sich ist natürlich trotzdem interessant. Leider fehlt mir die Zeit, um diese bis ins Detail nachvollziehen zu können. Dafür bräuchte man einige Tage.
Ich habe sie aber überflogen und den Ansatz und die Methodik denke ich ganz gut verstanden.
Zusammenfassung
Ich habe keinesfalls den Eindruck, dass in der Studie nicht statistisch handwerklich sauber gearbeitet wurde, auch wenn ich das nicht vollständig beurteilen kann. Auch versuchen die Autoren nicht mehr in das Ergebnis hinein zu interpretieren, als es wirklich hergibt (im Gegensatz zu Cicero).
Aber ich kritisiere die Aussagekraft und Sinnhaftigkeit der Studie. Deshalb bin ich mir noch nicht sicher, ob mir persönlich das Ergebnis dieser Studie weiterhilft.
In sum, this comprehensive analysis of government responses and COVID-19 outcomes fails to yield clear inferences about government response impacts.
Das liegt m.E. am Ansatz der Studie und der Qualität und Quantität der verfügbaren Daten, nicht an einer fehlenden Wirksamkeit der Maßnahmen.
Der Ansatz der Studie lautet überspitzt: „Es werden die Ergebnisse einer großen Anzahl an denkbaren Studien untersucht, darunter sehr gute bis absolut nutzlose. Manche dieser Einzelstudien belegen die Wirksamkeit mancher Corona-Maßnahmen, manche das Gegenteil.“
Das ist nicht wirklich überraschend, oder? Es ist m.E. schlauer, eine sinnvolle Studie als Basis heranzuziehen, als ein Mittel aus sinnvollen und sinnlosen.
Weiterhin erhält man als Leser eines Artikels über die Studie evtl. den Eindruck, dieser Multiverse-Ansatz würde viele, tatsächlich durchgeführte Einzelstudien umfassen. Das ist aber keineswegs so. Es wird stattdessen eine Studie modelliert und anschließend die Quellen, Parameter, Wirkungsformel und Wirksamkeitsindikatoren dieser Studie variiert.
Zuletzt ist diese Variation nicht repräsentativ für alle denkbaren Studien zum Thema. Es wären zahlreichen Studien denkbar, die ganz andere Werte auf eine andere Weise untersuchen. Das wird auch von den Autoren erwähnt.
Ein Gegenargument zu meinen Vorwürfen ist, dass man nicht wirklich beurteilen kann, welche Studien am Ende die sinnvollen sind. Schon gar nicht als Laie.
Einige Details
Die betrachtete Studie hat wie gesagt verschiedene Variablen. Jede Kombination dieser Variablen ergibt zusammen eine einzelne „Studie“, die am Ende in das Gesamtergebnis einfließt.
Bei den berücksichtigten möglichen Werten pro Variable, wären insgesamt 147.744 Kombinationen möglich. In den Ergebnissen wurden davon 99.736 berücksichtigt, um eindeutig unsinnige Kombinationen auszuschließen.
Die Variablen sind:
- 19 Maßnahmen
- 9 Quellen bzw. Indikatoren für die Wirksamkeit (Krankheitsfälle, Todesfälle, Neuinfektionen)
- 6 Modelle (Wie wirkt sich Maßnahme auf Indikator aus; z.B. Absolutwert oder Änderung)
- 3 Zeiträume (erste Monate, erstes Jahr, erste zwei Jahre)
- 3 Mittelungszeitspannen (1 Tag, 1 Woche, 1 Monat)
- 2 Verzögerungen zwischen Maßnahme und Indikator (2 oder 4 Wochen)
- 2x2 Berücksichtigung länderspezifischer Parameter ja/nein (Alterstruktur, Anzahl der Landesgrenzen, Mobilität etc.)
- 2 Bezugsgrößen (mir unklar)
Es wird also jeder Einzelwert fast mit jedem kombiniert, obwohl (zumindest mir) einige Variablenwerte und Kombinationen wesentlich sinnvoller erscheinen als andere.
Bei den Wirksamkeitsindikatoren und den Modellen gibt es z.B. Kombinationen, die zur Beurteilung viel zu ungenau und verwaschen, oder einfach ungeeignet sind. Beispielsweise ob sich eine Maßnahme nach 2 Wochen auf die absolute Anzahl an Erkrankungen auswirkt.
Viel interessanter ist doch, ob sich durch die Maßnahme die Ausbreitungsrate verringert. Der Absolutwert kann dann immer noch ansteigen, aber viel schwächer als vorher.
Besser ist es also, den Verlauf der Änderung an Erkrankungen bzw. der Neuinfektionen zu betrachten. Nur ein kleiner Anteil aller Einzelstudien, die am Ende in das Gesamtergebnis einfließen, verwenden diesen Ansatz!
Meines Erachtens würde sich als Indikator der R-Wert (Ausbreitungsrate) optimal eignen, der vom RKI intelligent abgeschätzt wurde. Dieser ist nicht Teil der Multiverse-Studie, würde aber eh im Rauschen untergehen.
Ähnlich bei den Verzögerungen. Wenn man z.B. untersucht, ob sich eine Maßnahme auf die 1. Ableitung von Erkrankungen auswirkt, würde ich keine Verzögerung von 2 oder 4 Wochen, sondern eine direktere Wirkung erwarten (mittlere Inkubationszeit). Eine solche Wirkung wird hier aber nicht modelliert und würde ebenso in den weniger plausiblen Kombinationen untergehen.
Die Mittelungszeitspannen („Aggregation“) sind mir nicht ganz klar. Entweder mittelt sich das im Ergebnis eh raus, oder es muss auf jeden Fall gemittelt werden. Warum dann die Tageswerte?
Die ganzen länderspezifischen Effekte, die in vorherigen Beiträgen dieses Threads erwähnt wurden, werden entweder berücksichtigt, oder komplett vernachlässigt. Was soll es für einen Sinn machen, diese zu vernachlässigen, wenn man sie schon kennt?
Bei einer separaten Untersuchung, ob sich das auswirkt, sieht man lustigerweise keinen großen Unterschied. Solche Sensitivitätsanalysen auf die einzelnen Faktoren wurden auch für die anderen Variablen durchgeführt; mit einem ähnlichen Ergebnis.
Das wird aber sehr wahrscheinlich daher kommen, dass alleine schon die unsinnigen Kombinationen der restlichen Variablen genug Rauschen erzeugen.
Was mit Bezugsgröße („Denominator“) gemeint ist, weiß ich nicht. Aber nur mal als Beispiel: Wenn einer der zwei verwendeten Werte nicht sinnvoll wäre, wäre auch die Hälfte aller 99.736 Kombinationen nicht sinnvoll.
Besser…
… ist es meiner Meinung nach, wenn man die Wirksamkeit einzelner Effekte isoliert untersucht (z.B. Masken, Tests, Impfung), oder logisch erklären kann (z.B. Kontaktbeschränkungen). Siehe vorherige Beiträge.
Das ist Grundlage genug, die Wirksamkeit anzunehmen. Man weiß zwar leider nicht, ob diese durch andere Effekte überdeckt wird. Aber man kann in einer Zeit wie damals, insbesondere in Anbetracht der zeitweise stark exponentiell ansteigenden Fallzahlen, nicht einfach abwarten, ob es irgendwann mal empirische Studien aus anderen Ländern gibt, die dann sowieso nicht einfach übertragen werden können.
Kurz vor dem Überlaufen der Krankenhäuser, bei gleichzeitig stark exponentiellem Anstieg der Neuerkrankungen, ist m.E. auch die Verhältnismäßigkeit gegeben (siehe Bettenbelegung, Maßnahmen und R-Wert Frühling 2020 und Winter 2020/2021).
Ich habe mir die ersten ca. 20 min angesehen, werde mir den Rest aber nicht mehr antun. Wo sind denn diese schockierenden News? Sind diese privaten Aussagen Einzelner zu der Zeit so schlimm?
Außer dass die beiden sich an ihrer vermeintlichen Ich-habs-doch-gewusst-Opferrolle aufgeilen, hat das Video bis dahin doch keinerlei Inhalt. Kommt nachher noch irgendetwas Interessantes? Vielleicht ein gemeinsamer Höhepunkt?
Nein, im Ernst, dann bitte fasse das doch kurz stichpunktartig mit Verweis auf die jeweiligen RKI-Zitate zusammen.
Ja, die Stelle war lustig. Der "Leak im Leak sind die Emails, weil die lagen hinter einem Datei-Format, was man nicht ohne weiteres öffnen konnte". Mein Gott ist das spannend…
Bestimmt hat das RKI absichtlich das meistverwendete Email-Programm in Unternehmen verwendet, damit bei Leaks keiner an die Infos hinter diesen msg-Dateien kommt.
Wo steht das denn? Die behaupten das einfach nur; keinerlei Angaben irgendwo im Video oder woanders…
Dazu mal aus den geleakten Dokumenten:
Deswegen besteht in den ersten 2 Wochen – 2 Monaten nach Impfung sehr guter Schutz vor jeglicher (auch asymptomatischer) Infektion. Mit dem Abfall neutralisierender Antikörper sinkt lokale Immunität wieder, so dass im Anschluss […] der Schutz vor Infektion deutlich geringer ist.
Bis auf Hochrisikogruppen ist man auch noch mindestens einige weitere Monate vor einer schwerem Verlauf geschützt. Das ist zumindest das, was ich bisher überall gelesen habe und wozu ich noch keine belegte gegenteilige Aussage gesehen habe.
Ist das denn gar nichts?
Es gab doch direkt im Anschluss die Empfehlung, sich regelmäßig zu boostern. Zu den Auffrischungsimpfungen schreibt das RKI:
Daten weisen darauf hin, dass auch nach einer Auffrischimpfung die Wirksamkeit gegenüber einer symptomlosen und symptomatischen Infektion über die Zeit abnimmt, während die Wirksamkeit gegenüber einer schweren COVID-19-Erkrankung mindestens 12 Monate anhält. Weitere Auffrischimpfungen führen erneut zu einem verbesserten Schutz.
Dass die Impfung nicht vor Ansteckung schützt ist also in den ersten Monaten einfach falsch.
Wichtiger ist m.E., dass man andere anstecken kann.
Der Typ verdient sein Geld damit, anderen Angst zu machen und wiederum andere schlecht zu machen. Ob das auf Fakten basiert oder nicht, ist dem doch sch…egal.
Vielleicht ist ja was für dich dabei, Steffen: Harvard Academic Positions | Search Jobs
Ich habe mir heute Vormittag einige Stunden lang die Mühe gemacht, das zu lesen und möglichst kurz und anschaulich zusammenzufassen. Und das ist alles, was von dir kommt?
Ehrlich gesagt bin ich da schon ein bisschen enttäuscht. Du hast keine einzige meiner Fragen beantwortet.
Aber evtl. lesen es ja andere und finden es hilfreich.
Ich habe nicht irgendwo was im Internet gelesen, sondern genug Background um das grob nachvollziehen zu können. Noch dazu wo es in dieser Studie nicht um virologische oder epidemiologische Themen geht, sondern nur um eine Art der Auswertung.
Und die Idee dieser Studie ist einfach Müll. Anstatt sich Gedanken zu machen, was Sinn ergibt und das zu untersuchen, nimmt man einfach alle denkbaren Kombinationen und erhält nur Rauschen.
Das ist ja genau der Punkt. Die Studie zeigt, dass es nur Rauschen IST.
Das willst du halt nicht wahrhaben.
EDIT: Und zum Punkt des Aufwandes: Natürlich ist die Suche nach der Nadel im Heuhaufen aufwändiger.
P.P.S.: Und ja, wenn Dein Ziel es ist, ein a priori gewünschtes Ergebnis zu belegen, dann müsstest Du Dir natürlich eine der vielen Studien herauspicken, das hast du vollkommen richtig erkannt.
Ich will niemanden langweilen und einen Monolog führen. Deshalb wird das vorerst der letzte längere Beitrag.
Aber da ich mich freuen würde, wenn vielleicht jemand anderes etwas zum Thema sagen könnte, der sich damit besser auskennt, fasse ich mein Problem mit dem Multiverse-Ansatz an dieser Stelle nochmal zusammen. @Jafar ?
Ich habe keine Erfahrung mit Auswertungen in diesem Kontext. Auch möchte ich natürlich auf keinen Fall abstreiten, dass der Ansatz (in bestimmten Fällen und korrekt angewendet) seine Berechtigung hat; das wäre lächerlich.
Mein Problem erläutere ich nochmal anhand von zwei extrem vereinfachten Beispielen…
Beispiel für sinnvolle Anwendung
Ein Analyst wertet Einkaufs-Daten aus und kommt zu der Erkenntnis, dass 80% aller weiblichen Kunden zwichen 30…40 Jahren, die schon einmal Produkt A und Produkt B gekauft haben, 3…4 Monate später auch Produkt C kaufen.
Grundlage dieser Erkenntnis war eine Auswertung der Datenbank eines riesigen Online-Shops, in welcher viel mehr Features als nur Datum, Alter etc. enthalten waren. Deshalb mussten bei der Auswertung viele Entscheidungen getroffen werden.
Da sich der Analyst nicht sicher ist, ob sein Ergebnis vielleicht nur zufällig aufgrund der Art seiner Auswertung zustandegekommen ist, identifiziert er die wichtigen Entscheidungen:
- Wie wurden Ausreißer oder nicht plausible Daten entfernt?
- Wie wurden Ersatzwerte berechnet?
- Mit welchem Verfahren wurde die Anzahl der Dimensionen reduziert?
- Mit welchen Parametern wurde das Clustering durchgeführt?
- … weitere Entscheidungen …
Nun könnte man, mit genug Rechenleistung, für jeden Punkt zwei oder drei Alternativen definieren und sehen was passiert, wenn man für alle Kombinationen das Ergebnis berechnet. Natürlich muss man hier aufpassen, dass man keine Alternativen definiert, die in dem Fall komplett ungeeignet sind, sonst zerstöre ich die Möglichkeit jeglicher Erkenntnis.
Da die Entscheidungen bei der Auswertung keinen riesigen Einfluss auf das Endergebnis haben sollte, erwartet man zwar eine Streuung der Resulte, aber auch dass man im Mittel zur selben Erkenntnis kommt. Wenn allerdings herauskommt, dass das Ergebnis nur um die Null schwankt, war es einfach nur Glück oder bewusstest Herumprobieren, bis man zum richtigen Ergebnis kommt.
Resultat
Der Multiverse-Ansatz liefert hier also Vertrauen in die Unabhängigkeit des Ergebnisses von der Art der Datenauswertung.
Beispiel für sinnlose Auswertung (alles komplett hypothetisch!)
Man wertet aus, ob die Maßnahme „Maskenpflicht in öffentlichen Räumen“ eine Wirkung bzgl. Covid-Infektionen erzielt.
Analyst A untersucht in vielen Ländern, in denen die Datenlage gut genug ist, ob die Maskenpflicht nach der mittleren Inkubationszeit von 1 Woche eine Korrelation mit der Wachstumsrate der Krankheitsfälle zeigt. Dafür betrachtet er jeweils alle kurzen Zeiträume um den Start einer Maskenpflicht herum und entfernt vorher alle anderen Störeinflüsse auf die gemessene Erkrankungszahl, sofern diese eindeutig bekannt sind. Er kommt zum Ergebnis, dass die Resultate für die einzelnen Länder zwar schwanken, aber die Wirksamkeit eindeutig gezeigt werden kann.
Analyst B untersucht in sehr vielen Ländern, unabhängig von der Qualität der Datenlage, ob die Maskenpflicht nach 2 Wochen eine Korrelation mit der Anzahl der Krankheitsfälle zeigt. Dafür betrachtet er den Zeitraum 2020-01 bis 2021-12 und entfernt ebenfalls Störeinflüsse. Er kommt zum Ergebnis, dass die Resultate für die einzelnen Länder alle stark um einen Mittelwert herum schwanken, der schwach anzeigt, dass die Maßnahme sogar kontraproduktiv war.
Analyst A ärgert sich über diese ungenügende Art der Auswertung. In vielen Ländern sind die Daten schlecht, was sich in der starken Varianz des Ergebnisses von Analyst B widerspiegelt.
Außerdem ist die Tendenz des Ergebnisses nicht komplett verwunderlich. Dem Beschluss einer Maskenpflicht ging in vielen Fällen ein starker Anstieg der Krankheitsfälle voraus. Zwei Wochen danach war der Anstieg oft abgeschwächt, aber die Fallzahl immer noch lange Zeit wesentlich höher als vor der Maßnahme.
Es gibt Streit. Die Öffentlichkeit ist verunsichert.
Analyst C hat die Idee den Streit mittels einer Multiverse-Studie zu beenden, da dieser Ansatz oft verwendet wird den Einfluss von Auswertungs-Parametern auszuschließen.
Er betrachtet dafür die Variablen:
- Dauer zwischen Maßnahme und Wirkung → 2 Werte: 2 Wochen | 4 Wochen
- Indikator für Wirksamkeit → 2 Werte: Fallzahl | Änderungsrate der Fallzahl
- Berücksichtigung von Störeinflüssen → 2 Werte: ja | nein
Die acht möglichen Kombinationen werden nun ausgewertet…
Kombination 1 — 2 Wochen | Fallzahl | ja
→ Ergebnis: Maßnahme kontraproduktiv (vergleiche Analyst B)
Kombination 2 — 4 Wochen | Fallzahl | ja
→ Ergebnis: Kein Effekt => zufälliges Ergebnis
Kombination 3 — 2 Wochen | Änderungsrate der Fallzahl | ja
→ Ergebnis: Maßnahme leicht wirksam (etwas schwächer als bei Analyst A)
Kombination 4 — 4 Wochen | Änderungsrate der Fallzahl | ja
→ Ergebnis: Kein Effekt => zufälliges Ergebnis
Kombinationen 5 bis 8 — … | … | nein
→ Ergebnisse: Kein Effekt => zufälliges Ergebnis (da keine Störeinflüsse entfernt wurden)
Aus allen 8 Kombinationen zusammen erhält Analyst C das mehr oder weniger zufällige Gesamtergebnis, dass die Maskenpflicht ganz leicht kontraproduktiv ist. Die Varianz ist aber so hoch, dass das auch nur eine starke Schwankung der „Einzelstudien“ um die 0 herum sein könnte.
Was sind m.E. die entscheidenden Fehler?
- Es wurde eine Variable berücksichtigt, die nicht variabel sein sollte. Das führt bei zwei möglichen Werten von „Berücksichtigung von Störeinflüssen“ dazu, dass am Ende die Hälfte aller Kombinationen nur ein zufälliges Ergebnis liefert.
- Es wurden Kombinationen von Variablenwerten berücksichtigt, von denen man keine Aussagekraft erwarten kann. Bei jeder Analyse muss man auch etwas Hirnschmalz hineinstecken, um zu einer Erkenntnis zu gelangen.
Resultat
Der Multiverse-Ansatz lässt aufgrund schlechter Variablenwahl eine mögliche Erkenntnis im Rauschen untergehen.
Evtl. verstehe ich in der Studie auch etwas grundlegend falsch. Aber mein Punkt ist denke ich klar geworden und ich freue mich über andere Meinungen.
Ich verstehe das so, dass es in der Studie implizit darum geht, Abhängigkeiten zwischen Variablen zu finden. Dafür werden alle Variablen miteinander kombiniert, eben um Signifikanz festzustellen. Das ist kein Fehler, sondern eine Methode.
Da keine Abhängigkeiten vorhanden sind, sieht man das was wir sehen: Rauschen.
Meine Annahme ist: Gäbe es signifikante Effekte, dann würden sie spätestens bei einer solchen Studie auch sichtbar.
Meine Beobachtung, die ich durch die Studie bestätigt finde: Die Effekte sind so klein, dass sie vernachlässigbar sind.
Nein, die Methode ist (wahrscheinlich, von dem was ich vom Überfliegen her herauslese) einfach ungeeignet.
Siehe mein Beispiel oben mit dem „rituellen Anhusten“.
Wie soll die Nutzbarkeit von Masken nachgewiesen werden, wenn es ein rituelles Anhusten am Abendbrottisch gibt? Eben - gar nicht.
Trotzdem ist die Schlussfolgerung falsch, dass Masken nicht wirksam seien, nur, weil in solch einem Design nicht ersichtlich. Die verwendete Methode ist schlichtweg unangemessen.
Analog würdest Du ja auch nicht die Quantenmechanik leugnen, wenn Du mit Sandkörnern an einem Doppelspalt arbeitest. Gebe es signifikante Effekte, so würde ich diese doch beobachten können? Nein, Sandkörner sind einfach zu makroskopisch für Quanteneffekte.
Und um zu keinen falschen Schlussfolgerungen zu kommen, sollte man ein geeignetes Studiendesign wählen.
Das ist so ein bisschen wie mit Ernährungsstudien. Häufig hast Du im ‚echten‘ Leben so viele Einflüsse und Faktoren, dass Du mit solchen Studiendesign praktisch genauso viel nachher wie vorher weißt… nämlich: „Diese Studie scheitert klare Einflüsse von Ernährungsgewohnheiten auf xx zu zeigen.“
Trotzdem kannst Du isoliert zeigen, dass eine Mangelversorgung an Eisen zu X, Y und Z führt.
Ich behaupte ja nicht, dass eine prinzipiell Maske ungeeignet sei Aerosole zu filtern.
Ich behaupte aber, dass der Effekt von Masken auf die Ausbreitung von Coronaviren eine derart geringe Rolle spielt, dass er nicht messbar ist.
Meinetwegen kann man im Labor einen geringeren Aerosolaustausch nachweisen. Für den Verlauf des realen Infektionsgeschehens spielte das aber eine derart untergeordnete Rolle, dass es nicht messbar war. So auch in der oben verlinkten Studie gezeigt.