Analyse und Prognose von Feinstaubdaten auf Basis von crowd-based Sensornetzen mit KI Verfahren

Abstract

Meine Masterarbeit „Analyse und Prognose von Feinstaubdaten auf Basis von crowd-based Sensornetzen mit KI Verfahren“ könnte ich ohne die Server des FTZ nicht umsetzen. Die Daten stammen hauptsächlich von dem Projekt Sensor.community, welche die Infrastruktur für low-cost-Sensorstationen zur Verfügung stellen. Dabei werden in erster Linie Feinstaubdaten erfasst, aber auch ergänzende Umweltparameter, wie Lufttemperatur und relative Luftfeuchtigkeit. Der Datensatz mit den rohen Feinstaubdaten enthält fast 4 Milliarden Zeilen und benötigt nahe 150 GB Speicher. Die ergänzenden Umweltparameter benötigen nochmal einen ähnlich hohen Speicherbedarf. Um die Daten nutzen zu können, müssen sie zunächst vorverarbeitet werden. Dabei ist zum einen das Resampling (Vereinheitlichung der Datenfrequenz) und zum anderen die Ausreißerentfernung ein aufwendiger Prozess. Die reine Datenbeschaffung, Vorverarbeitung und Datenzusammenführung hat bereits über 11 Tage auf der A100 benötigt.