Authors:	Röder, Lenard Lukas
Title:	Advanced analysis techniques and deep learning for atmospheric measurements
Online publication date:	14-Mar-2024
Year of first publication:	2024
Language:	english
Abstract:	This work explores a wide range of data analysis and signal processing methods for different possible applications in atmospheric measurements. While these methods and applications span a wide area of disciplines, the evaluation of applicability and limitations and the results of this evaluation show many similarities. In the first study, a new framework for the temporal characterization of airborne atmospheric measurement instruments is provided. Allan-Werle-plots are applied to quantify dominant noise structures present in the time series. Their effects on the drift correction capabilities and measurement uncertainty estimation can be evaluated via simulation. This framework is applied to test flights of an airborne field campaign and reveals an appropriate interval between calibration measurements of 30 minutes. During ground operation, the drift correction is able to reduce the measurement uncertainty from 1.1% to 0.2 %. Additional short-term disturbances during airborne operation increase the measurement uncertainty to 1.5 %. In the second study, the applicability and limitations of several noise reduction methods are tested for different background characteristics. The increase in signal-noiseratio and the added bias strongly depend on the background structure. Individual regions of applicability show almost no overlap for the different noise reduction methods. In the third study, a fast and versatile Bayesian method called sequential Monte Carlo filter is explored for several applications in atmospheric field experiments. This algorithm combines information provided via the measurements with prior information from the dominant chemical reactions. Under most conditions the method shows potential for precision enhancement, data coverage increase and extrapolation. Limitations are observed that can be analyzed via the entropy measure and improvements are achieved via the extension by an additional activity parameter. In the final study, state-of-the-art neural network architectures and appropriate data representations are used to reduce the effect of interference fringes in absorption spectroscopy. Using the neural network models as an alternative to linear fitting yields a large bias which renders the model approach not applicable. On the task of background interpolation the neural network approach shows robust de-noising behavior and is shown to be transferable to a different absorption spectrometer setup. Application of the interpolation to the test set lowers the detection limit by 52%. This work highlights the importance of in-depth analysis of the effects and limitations of advanced data analysis techniques to prevent biases and data artifacts and to determine the expected data quality improvements. An elaboration of the limitations is particularly important for deep learning applications. All presented studies show great potential for further applications in atmospheric measurements. In dieser Doktorarbeit wird eine breite Palette von Datenanalyse- und Signalverarbeitungsmethoden für verschiedene mögliche Anwendungen für atmosphärische Messungen untersucht. Während diese Methoden und Anwendungsfälle verschiedene Disziplinen umfassen, lassen sich viele Gemeinsamkeiten in der Analyse von Anwendbarkeit und Limitierungen sowie den Ergebnissen dieser Analyse aufzeigen. Ein neues Verfahren für die zeitliche Charakterisierung von flugzeuggetragenen atmosphärischen Messungen wird in der ersten Studie definiert. Mithilfe von Allan-Varianz Graphen werden dominante Hintergrundstrukturen der Zeitreihe quantifiziert. In Simulationen können die Effekte dieser Strukturen auf die Driftkorrektur und Schätzung der Messunsicherheit erforscht werden. Das neue Verfahren wurde auf Daten von Testflügen einer Flugmesskampagne angewandt und bestätigte ein ausreichendes Intervall von Kalibrierungen von 30 Minuten. Während des Bodenbetriebs konnte durch die Driftkorrektur die Messunsicherheit von 1.1% auf 0.2% gesenkt werden. Zusätzliche kurzweilige Störungen während des Flugbetriebs erhöhten die Messunsicherheit auf 1.5 %. In einer zweiten Studie wurden die Anwendbarkeit und die Limitierungen verschiedener Methoden zur Rauschunterdrückung für unterschiedliche Hintergrundstrukturen getestet. Die Verbesserung des Signal-Rausch-Verhältnisses und das Bias zeigen dabei eine starke Abhängigkeit von der Hintergrundstruktur. Bereiche der Anwendbarkeit für die individuellen Methoden zeigen kaum Überlappungen. Der sequentielle Monte Carlo Filter, eine schnelle und vielseitige Methode aus der Bayes’schen Statistik, wird in einer dritten Studie für mehrere Anwendungen in atmosphärischen Feldmessungen untersucht. Der Algorithmus vereint Informationen aus den Messungen mit bekannten chemischen Reaktionen. In den meisten Fällen zeigt diese Methode großes Potential für die Verbesserung von Präzision, Datenabdeckung und Extrapolation. Mithilfe der Entropie können Limitierungen der Methode untersucht werden und die Einführung eines zusätzlichen Parameters führt zu verbesserter Robustheit. In der letzten Studie werden Architekturen von neuronalen Netzwerken auf dem neuesten Stand der Technik und entsprechende Repräsentierung von Daten verwendet, um die Effekte von Etalon Interferenzen auf Absorptionsspektren zu verringern. Als Alternative für lineare Regression wird wegen eines hohen Bias keine gute Anwendbarkeit erzielt. Als Alternative zur linearen Interpolation von Hintergrundspektren zeigen die neuronalen Netzwerke robuste Ergebnisse zur Rauschunterdrückung. Mit geringem Trainingsaufwand können diese Netzwerke auch auf ein anderes Spektrometer angewandt werden. Im Test-Datensatz wurde das Detektionslimit um 52% gesenkt. Die Resultate dieser Doktorarbeit heben hervor, wie wichtig eine detaillierte Analyse der Effekte und Limitierungen von Datenanalysemethoden ist, um Artefakte und Verzerrungen zu verhindern und die Verbesserungen der Datenqualität abzuschätzen. Die Analyse der Limitierungen ist besonders wichtig in Anwendungen von tiefen neuronalen Netzwerken. Alle Studien zeigen darüber hinaus großes Potential für zukünftige Anwendungen in atmosphärischen Messungen.
DDC:	004 Informatik 004 Data processing 500 Naturwissenschaften 500 Natural sciences and mathematics 530 Physik 530 Physics 540 Chemie 540 Chemistry and allied sciences
Institution:	Johannes Gutenberg-Universität Mainz
Department:	MaxPlanck GraduateCenter
Place:	Mainz
ROR:	https://ror.org/023b0x485
DOI:	http://doi.org/10.25358/openscience-10143
URN:	urn:nbn:de:hebis:77-openscience-1ee075f2-3a5d-43e8-bc25-c10461bef9a31
Version:	Original work
Publication type:	Dissertation
License:	In Copyright
Information on rights of use:	http://rightsstatements.org/vocab/InC/1.0/
Extent:	x, 110 Seiten ; Illustrationen, Diagramme
Appears in collections:	JGU-Publikationen