ThermoNet: deep neural network thermogram analysis of human calves during physical exercise

Abstract

Applied infrared thermography allows practitioners and researchers to evaluate human thermoregulation and gain physiological insights based on pattern recognition of non-invasive acquired thermograms. Current research in sports science and medicine already utilizes thermography in several areas, including injury detection and prevention, disease detection and monitoring, as well as understanding the metabolism and physiology of individuals under external physical load or stress. Studies are limited by manual image selection and analysis or the application of specialized hand-crafted algorithms to detect regions of interest. Thermal features are extracted and analyzed from a few thermogram samples. This dissertation proposes the end-to-end acquisition and segmentation pipeline "ThermoNet" to acquire radiometrically calibrated thermograms, segment regions of interest, automatically extract thermal features, and fuse them with additional external sensor data such as heart rate or breath analysis. An entire experiment, measured with a high-speed, high-resolution thermographic camera, is now fully analyzable, instead of being examined only on cherry-picked samples. Contrary to common practice, radiometric calibration is performed in each thermogram using a custom two-point calibration device. Regions of interest include body part extraction, i.e. left and right calf, and vascular-related patterns: superficial vein and perforator patterns. The patterns are additionally analyzed among their individual instances, allowing for further differentiation in explaining thermoregulatory processes. Two specialized deep neural networks semantically segment the thermograms. Therefore, this thesis explores the development of these networks, including the construction of appropriate manually annotated datasets. The work focuses on the backside of runners on a treadmill to evaluate their calves. Other regions of interest are not yet included. To mitigate the lack of initial datasets for these regions, a method for bootstrapping an annotated dataset based on a stereo system with a thermal camera and a visual + depth camera is presented. Application of the system results in automatically annotated datasets that provide a starting point for new segmentation models and reduce the need for large manually annotated datasets. The processing pipeline "ThermoNet" allows analysts to apply further investigation to the time series of an entire experiment. Several studies revealed relationships between skin temperature radiation and other physiological attributes. Thus, the work integrates into several areas of sports science and medicine.

Die Infrarot-Thermografie ermöglicht es Forschern, die Thermoregulation des Menschen zu untersuchen und physiologische Erkenntnisse durch Mustererkennung in nicht-invasiv aufgenommenen Thermogrammen zu gewinnen. In der aktuellen Forschung in der Sportwissenschaft und der Medizin wird die Thermografie bereits in einigen Bereichen eingesetzt, dies schließt die Erkennung und Prävention von Verletzungen und Krankheiten, das Verständnis des Stoffwechsels und der Physiologie von Menschen unter äußerer körperlicher Belastung oder Stress ein. Die manuelle Auswahl und Analyse von Thermogrammen oder die Verwendung spezialisierter Algorithmen zur Erkennung interessanter Regionen schränken die derzeitigen Studien ein. Nur aus wenigen Thermogrammen werden thermische Kennzahlen extrahiert und analysiert. In dieser Dissertation wird zunächst die durchgängige Erfassungs- und Segmentierungspipeline „ThermoNet“ vorgestellt, um radiometrisch kalibrierte Thermogramme zu erfassen, interessante Regionen zu segmentieren, thermische Kennzahlen zu extrahieren und diese mit zusätzlichen externen Sensorendaten wie der Herzfrequenz oder einer Atemanalyse zu kombinieren. Ein komplettes Experiment, das mit einer hochauflösenden Thermografiekamera aufgenommen wurde, kann vollständig analysiert werden, anstatt nur Stichproben zu nehmen. Im Gegensatz zur üblichen Praxis erfolgt die Kalibrierung in jedem Thermogramm durch eine Zwei-Punkt-Kalibrierung. Der Fokus liegt auf der Extraktion der linken und rechten Wade und der automatischen Erkennung von Venen- und Perforationsmustern der Blutgefäßstrukturen, die zur differenzierten Erklärung thermoregulatorischer Prozesse zusätzlich instanzbasiert analysiert werden. Zwei tiefe neuronale Netze segmentieren die Thermogramme. Daher wird in dieser Arbeit die Entwicklung dieser Netze untersucht, einschließlich der Erstellung geeigneter manuell annotierter Datensätze. Die Arbeit konzentriert sich auf die Rückseiten der Waden von Läufern auf einem Laufband. Es gibt keine annotierten Thermogramme für weitere Körperteile. Um diesen Mangel zu beheben, wird eine Methode zum Bootstrapping eines annotierten Datensatzes vorgestellt, die auf einem Stereosystem mit einer Wärmebildkamera, einer visuellen Kamera und Tiefenkamera basiert. Die Anwendung des Systems liefert automatisch annotierte Datensätze für das Training neuer Segmentierungsmodelle und reduziert den manuellen Annotationsaufwand. „ThermoNet“ ermöglicht es Analysten, weitere Untersuchungen auf die Zeitreihen eines gesamten Experiments anzuwenden. In mehreren Studien wurden Zusammenhänge zwischen der Hauttemperaturstrahlung und anderen physiologischen Merkmalen gefunden. Die Arbeiten können daher in verschiedene Bereiche der Sportwissenschaft und Medizin integriert werden.