COVID-19: Machine Learning, Home Office und andere Maßnahmen

Kein Thema hat uns in den letzten Monaten so beschäftigt wie COVID-19. Viele Maßnahmen und Ausnahmeregelungen wurden beschlossen und umgesetzt. Über die Auswirkungen wird viel diskutiert und es gibt verschiedene Meinungen dazu. Das IT-PS Data Science Team wollte sich selbst eine Meinung bilden und hat sich daher mit den entsprechenden Daten auseinandergesetzt:

COVID-19: Machine Learning, Home Office und andere Maßnahmen 

Home Office und andere Maßnahmen

Mitte März hat die IT-PS (und damit natürlich auch wir, das IT-PS Data Science Team), wie viele andere auch, die Arbeit ins Home Office verlegt: Denn der Verzicht auf die Anreise zum Arbeitsplatz ist eine der Maßnahmen, die von der Regierung gesetzt wurde, in der Hoffnung den Verlauf der COVID-19 Pandemie zu beeinflussen und einen Engpass in der Spitalsversorgung zu vermeiden. Neben Home Office gab und gibt es noch eine Reihe weiterer Maßnahmen, die auch weitaus größere Einschnitte in das Leben vieler Menschen darstellen: Das Schließen der Schulen und Kindergärten, das Schließen von Restaurants, Bars, Geschäften und anderen öffentlichen Einrichtungen, das Verbot von öffentlichen Zusammenkünften in großen Gruppen, sowie viele andere mehr. 

Die Auswirkungen dieser Maßnahmen auf unseren Alltag sind unumstritten, aber über die Wirksamkeit der Maßnahmen, die Ausbreitung der Pandemie zu verlangsamen, wird gerne diskutiert. Das haben wir als Anlass genommen, uns nach Daten umzusehen, die diese Frage beantworten können.  

Datenlage

Maßnahmen

Die Maßnahmen, die Regierungen in verschiedenen Staaten setzten, werden von mehreren Stellen gesammelt. Eine der ersten Initiativen in diesem Zusammenhang setzte das Assessment Capacities Project (ACAPS). Im #COVID19 government measures dataset wurden Maßnahmen aus verschiedenen Quellen gesammelt und standardisiert erfasst. Dies sind Maßnahmen wie 

• Schools closure: Schließung von Schulen und anderen Bildungseinrichtungen  
• Limit public gatherings: Einschränkung von Versammlungen im öffentlichen Raum
• Public services closure: Schließungen von Einrichtungen wie Restaurants, Bars, Geschäften, Friseursalons, Schiliften, etc.  
• Strenghtening the public health system: Beschaffen von Schutzausrüstung und Masken, zusätzliche medizinische Versorgung, Desinfektionsmaßnahmen, etc.  
• Introduction of isolation and quarantine measures: Isolation von Einreisenden, Quarantäne von Erkrankten und deren Kontakten, Quarantäne einzelner Gebiete, etc.  
• Domestic travel restrictions: Einschränkungen des öffentlichen Verkehrs, Reiseeinschränkungen innerhalb eines Landes, etc.  
• Health screenings airports and border: Gesundheitschecks (z.B. Fiebermessen) bei Einreise  
• Visa restrictions: Einschränkungen, Einreisevisum zu erhalten  
• Border closure: Grenzschließungen 

Für jede dieser Maßnahmen wird erfasst, ob sie gezielt für bestimmte Personengruppen oder für die Gesamtbevölkerung eines Landes Anwendung findet. Ebenso wird das Datum des Inkrafttretens der einzelnen Maßnahmen erfasst. 

Fallzahlen

Zudem gibt es die Zahlen zu den bestätigten COVID-19 Fällen, die von der Johns Hopkins University gesammelt werden (die auch für die tägliche Berichterstattung in den Medien verwendet werden). Dieser Datensatz enthält die kumulativen Zahlen an bestätigten COVID-19 Fällen (getrennt nach Tagen und Ländern). 

Methode

Verschiedene Länder haben unterschiedliche Bündel von Maßnahmen eingesetzt. Daher kann man versuchen, aus den Unterschieden in den Verläufen der Epidemie in diesen Ländern Rückschlüsse auf die Wirksamkeit der unterschiedlichen Maßnahmen zu ziehen. Wir wollten wissen, wie wirksam die Maßnahmen sind, und vor allem wie lange es dauert, bis sie ihre Wirksamkeit entfaltet haben.

Das leidige Thema der Datenqualität und deren Herausforderungen

Wie in so vielen anderen Projekten auch lässt die Datenqualität natürlich zu wünschen übrig: Verschiedene Länder testen nach unterschiedlichen Strategien, die Testergebnisse werden verspätet und geclustert gemeldet (z.B. weniger Fälle an Sonntagen, mehr Fälle zu Wochenbeginn in Europa), und die Definition von COVID-19 Fällen hat sich in einigen Ländern über die Zeit verändert (z.B. China). Dazu kommt, dass die Maßnahmen nicht unabhängig voneinander sind und dass sie in einzelnen Ländern oft zum gleichen Zeitpunkt in Kraft gesetzt werden. 

Mit ein paar Kniffen haben wir einige dieser Einschränkungen in den Griff bekommen (oder zumindest die Auswirkungen abgeschwächt). Andere Einschränkungen bleiben bestehen und müssen bei der Interpretation der Ergebnisse berücksichtigt werden.

Wachstumsrate

Einer dieser Kniffe ist, dass wir in unserer Analyse die relativen Zuwächse an bestätigten COVID-19 Fällen innerhalb jedes Landes betrachten (Wachstumsrate), und diese glätten, um Schwankungen im Reporting über den Wochenverlauf auszugleichen. Wenn die Zunahme an neuen Fällen in der Anfangsphase einer infektiösen Krankheit wie COVID-19 einem exponentiellen Verlauf folgt (wie viele Studien nahelegen), dann ist die Wachstumsrate konstant, solange sich die Krankheit ungehindert verbreiten kann.  

Machine Learning und Ergebnisvisualisierung

Wenn durch das Setzen von Maßnahmen die Wachstumsrate verringert werden kann, dann kann ein Machine Learning Modell lernen, wie die Maßnahmen mit der Verringerung der Wachstumsrate in Zusammenhang stehen. Durch eine geschickte Datenaufbereitung und die Verwendung eines nicht-linearen Modells (nämlich einer Random Forest Regression) kann das Modell auch lernen, wie lange es dauert, bis die Maßnahmen nach ihrer Implementierung beginnen, Wirkung zu zeigen. 

Das Ziel des Machine Learning Modells ist in diesem Fall nicht die Vorhersage von zukünftigen Ereignissen (wie etwa dem weiteren Verlauf der Pandemie). Vielmehr geht es darum zu lernen, wie die Maßnahmen wirken. Bei dem verwendeten Machine Learning Modell handelt es sich um ein Black Box Modell. Daher braucht es zusätzliche Methoden, um interpretieren zu können, was das Modell gelernt hat. Wir verwenden eine relativ neue Methode, die einige Vorteile gegenüber ihren Vorgängern bringt, nämlich sogenannte Accumulated Local Effect (ALE) Plots, die eine grafische Interpretationsmöglichkeit liefern. 

Diese Plots zeigen, wie eine Maßnahme sich auf die vom Modell vorhergesagte COVID-19 Wachstumsrate auswirkt (bzw. in der Vergangenheit ausgewirkt hat). Genauer gesagt zeigen sie, was das Modell über die Wirkung der Maßnahmen gelernt hat. 

Ergebnisse und Ausblick

Die durchschnittliche tägliche Wachstumsrate über alle 95 Länder in unserem Datensatz lag bei 1.164 (95% Konfidenzintervall: [1.1236, 1.2051]), solange keine Maßnahmen in Kraft waren. Das entspricht einer Steigerung von täglich 16.4% in den kumulierten Fallzahlen. 

Die Wirkung der Maßnahmen kann man an den ALE Plots ablesen, hier die (dem Modell nach) wichtigsten Maßnahmen: 

Die Plots zeigen, wie sich die vorhergesagte Wachstumsrate verändert. Dargestellt ist der Zeitraum 14 Tage vor bis 40 Tage nach der Einführung. Die Einführung der Maßnahme ist durch die strichlierte Linie gekennzeichnet. Die Wirkung der Maßnahmen scheint etwa 7 bis 10 Tage nach der Implementierung eingesetzt zu haben. Die Schließung von Schulen scheint etwas früher mit einer Senkung der Wachstumsrate einhergegangen zu sein als die Einschränkung von öffentlichen Versammlungen und die Schließung von Lokalen und Geschäften. Es handelt sich hierbei jedoch um eine Beobachtungsstudie, d.h. es ist keine kausale Interpretation möglich -- es handelt sich lediglich um korrelative Zusammenhänge. Das Ergebnis muss also vorsichtig formuliert werden und erlaubt allein keinen Rückschluss auf die zugrundeliegenden Mechanismen. Etwa "Im betrachteten Datensatz gehen Schulschließungen stärker mit einer Senkung der Wachstumsrate einher, als die anderen betrachteten Maßnahmen" aber nicht "Schulschließungen führen zu einer Abflachung der Epidemiekurve". 

Ebenso kann nicht ausgeschlossen werden, dass es konfundierende Faktoren (Störfaktoren) gibt, die die Ergebnisse beeinflussen. Dies könnten beispielsweise systematische Verzerrungen in den Daten sein, die sich auf die Schätzungen der Effektivität der Maßnahmen auswirken.  

Derzeit setzen wir uns damit auseinander, die Auswirkungen dieser Einschränkungen und Datenverzerrung zu beleuchten und somit die Ergebnisse robuster zu machen. Von Updates werden wir natürlich berichten!