Deep Learning for Case-Based Reasoning through Prototypes: A Neural Network that Explains Its Predictions

Deep neural networks are widely used for classification. These deep models often suffer from a lack of interpretability -- they are particularly difficult to understand because of their non-linear nature. As a result, neural networks are often treated as "black box" models, and in the past, have been trained purely to optimize the accuracy of predictions. In this work, we create a novel network architecture for deep learning that naturally explains its own reasoning for each prediction. This architecture contains an autoencoder and a special prototype layer, where each unit of that layer stores a weight vector that resembles an encoded training input. The encoder of the autoencoder allows us to do comparisons within the latent space, while the decoder allows us to visualize the learned prototypes. The training objective has four terms: an accuracy term, a term that encourages every prototype to be similar to at least one encoded input, a term that encourages every encoded input to be close to at least one prototype, and a term that encourages faithful reconstruction by the autoencoder. The distances computed in the prototype layer are used as part of the classification process. Since the prototypes are learned during training, the learned network naturally comes with explanations for each prediction, and the explanations are loyal to what the network actually computes.Comment: The first two authors contributed equally, 8 pages, accepted in AAAI 201

Projected Spatiotemporal Dynamics of Drought under Global Warming in Central Asia

Drought, one of the most common natural disasters that have the greatest impact on human social life, has been extremely challenging to accurately assess and predict. With global warming, it has become more important to make accurate drought predictions and assessments. In this study, based on climate model data provided by the Inter-Sectoral Impact Model Intercomparison Project (ISIMIP), we used the Palmer Drought Severity Index (PDSI) to analyze and project drought characteristics and their trends under two global warming scenarios—1.5 °C and 2.0 °C—in Central Asia. The results showed a marked decline in the PDSI in Central Asia under the influence of global warming, indicating that the drought situation in Central Asia would further worsen under both warming scenarios. Under the 1.5 °C warming scenario, the PDSI in Central Asia decreased first and then increased, and the change time was around 2080, while the PDSI values showed a continuous decline after 2025 in the 2.0 °C warming scenario. Under the two warming scenarios, the spatial characteristics of dry and wet areas in Central Asia are projected to change significantly in the future. In the 1.5 °C warming scenario, the frequency of drought and the proportion of arid areas in Central Asia were significantly higher than those under the 2.0 °C warming scenario. Using the Thornthwaite (TH) formula to calculate the PDSI produced an overestimation of drought, and the Penman–Monteith (PM) formula is therefore recommended to calculate the index

Interdecadal changes on the seasonal prediction of the western North Pacific summer climate around the late 1970s and early 1990s

Identifying predictability and the corresponding sources for the western North Pacific (WNP) summer climate in the case of non-stationary teleconnections during recent decades benefits for further improvements of long-range prediction on the WNP and East Asian summers. In the past few decades, pronounced increases on the summer sea surface temperature (SST) and associated interannual variability are observed over the tropical Indian Ocean and eastern Pacific around the late 1970s and over the Maritime Continent and western–central Pacific around the early 1990s. These increases are associated with significant enhancements of the interannual variability for the lower-tropospheric wind over the WNP. In this study, we further assess interdecadal changes on the seasonal prediction of the WNP summer anomalies, using May-start retrospective forecasts from the ENSEMBLES multi-model project in the period 1960–2005. It is found that prediction of the WNP summer anomalies exhibits an interdecadal shift with higher prediction skills since the late 1970s, particularly after the early 1990s. Improvements of the prediction skills for SSTs after the late 1970s are mainly found around tropical Indian Ocean and the WNP. The better prediction of the WNP after the late 1970s may arise mainly from the improvement of the SST prediction around the tropical eastern Indian Ocean. The close teleconnections between the tropical eastern Indian Ocean and WNP summer variability work both in the model predictions and observations. After the early 1990s, on the other hand, the improvements are detected mainly around the South China Sea and Philippines for the lower-tropospheric zonal wind and precipitation anomalies, associating with a better description of the SST anomalies around the Maritime Continent. A dipole SST pattern over the Maritime Continent and the central equatorial Pacific Ocean is closely related to the WNP summer anomalies after the early 1990s. This teleconnection mode is quite predictable, which is realistically reproduced by the models, presenting more predictable signals to the WNP summer climate after the early 1990s

Urban Aerosol Distribution Prediction System Using Heterogeneous and Uncertain Data Sources

Aerosole sind winzige feste oder flüssige Partikel, die in der Atmosphäre suspendiert sind. In städtischen Gebieten sind hohe Aerosolkonzentrationen eng mit Atemwegserkrankungen, Herz-Kreislauf-Problemen und einem allgemeinen Rückgang der öffentlichen Gesundheit verbunden. Angesichts ihrer erheblichen Auswirkungen ist die Entwicklung eines hochauflösenden Vorhersagesystems für die städtische Aerosolverteilung entscheidend, um umweltpolitische Entscheidungen zu unterstützen, die öffentliche Gesundheit zu schützen und die Stadtplanung zu optimieren. Die Beobachtung der Aerosolverteilung basiert auf zwei Hauptansätzen: Fernerkundung und in-situ Sensornetzwerke. Während Fernerkundungstechniken eine großflächige Abdeckung ermöglichen, weisen sie erhebliche Einschränkungen auf, wie z. B. eine unzureichende räumliche Auflösung, lange Wiederholungsintervalle und eine Anfälligkeit für Hindernis. Diese Einschränkungen machen die Fernerkundung für die Echtzeit- und hochauflösende Überwachung städtischer Aerosole ungeeignet. Infolgedessen bleiben in-situ Sensornetzwerke, die direkte und kontinuierliche Messungen liefern, die primäre Methode zur Beobachtung der städtischen Aerosolverteilung. Trotz ihrer Vorteile stehen jedoch auch in-situ Sensornetzwerke vor Herausforderungen, darunter eine ungleichmäßige räumliche Abdeckung, Probleme mit der Datenzuverlässigkeit und Wartungsaufwand. Das Herzstück eines Vorhersagesystems für die städtische Aerosolverteilung liegt in spatiotemporalen Datenanalysemodellen, die grob in physikgetriebene und datengetriebene Ansätze unterteilt werden können. Physikgetriebene Modelle basieren auf etablierten atmosphärischen Transportgleichungen und chemischen Reaktionsmechanismen, was sie interpretierbar und theoretisch robust macht. Allerdings erfordern sie oft rechenaufwendige Berechnungen während der Inferenz, und ihre Genauigkeit in hochauflösenden Vorhersagen hängt stark von umfassenden und hochpräzisen Eingabedaten ab, darunter Landnutzung, Verkehrsemissionen und verschiedene meteorologische Parameter. Aufgrund technischer, finanzieller und administrativer Einschränkungen liefern in-situ Sensornetzwerke jedoch oft nicht die erforderliche Datenqualität und -abdeckung, was dazu führt, dass physikgetriebene Modelle entweder nicht funktionieren oder unzuverlässige Ergebnisse liefern. Angesichts dieser Einschränkungen gewinnen datengetriebene Ansätze zunehmend an Bedeutung. Im Gegensatz zu physikgetriebenen Modellen extrahieren datengetriebene Methoden statistische Muster aus vorhandenen Beobachtungen und sind dadurch anpassungsfähiger an unvollständige und ungenaue Datensätze. Trotz ihrer besseren Anpassungsfähigkeit stehen datengetriebene Methoden zur Vorhersage der städtischen Aerosolverteilung weiterhin vor erheblichen Herausforderungen. Die Hauptprobleme resultieren aus der Heterogenität und dem Rauschen in den Daten der in-situ Sensornetzwerke. Weitere Faktoren, wie unausgewogene Merkmals- und Labelverteilungen sowie unvollständige Muster, erschweren die Aufgabe zusätzlich. Diese Dissertation untersucht verschiedene Ansätze zur Bewältigung dieser Herausforderungen, indem sie unvollständige Daten nutzt, um ein effektiveres spatiotemporales Analysemodell zur Vorhersage der städtischen Aerosolverteilung zu entwickeln. Wir untersuchen Datenaugmentierungsstrategien, um die Herausforderungen defekter und begrenzter Daten zu bewältigen. Allerdings sind Datenaugmentierungsmethoden für die städtische Aerosolverteilung aufgrund der Komplexität der Umweltdynamik stark eingeschränkt. Daher untersuchen wir die Verwendung von Computational Fluid Dynamics (CFD)-Simulationen zur Generierung synthetischer Daten. Obwohl CFD-Simulationen zuverlässige synthetische Aerosolverteilungsdaten liefern können, sind ihre Rechenkosten extrem hoch, was sie für die Unterstützung großflächiger Datensätze, die für maschinelle Lernmodelle erforderlich sind, unpraktikabel macht. Um dieses Problem zu lösen, haben wir ein Graph Neural Network (GNN)-basiertes CFD-Surrogatmodell entwickelt, das die Datengenerierung erheblich beschleunigt. Im Bereich der spatiotemporalen Modellierung verwenden wir eine "Divide-and-Conquer"-Strategie, um zeitliche und räumliche Korrelationen getrennt zu analysieren, Fehlzuweisungen zu reduzieren und die Vorhersagegenauigkeit zu verbessern. Zur Modellierung zeitlicher Korrelationen entwickeln wir ein Neural Kernel Network (NKN)-basiertes Gaussian Process Regression (GPR)-Modell. Dieses Modell nutzt GPR, um langfristige zeitliche Abhängigkeiten zu erfassen und Unsicherheiten zu quantifizieren, während der NKN-Kernel das Problem der manuellen Definition geeigneter Kernelfunktionen für komplexe Systeme überwindet. Zur Modellierung räumlicher Korrelationen schlagen wir drei spezialisierte Module vor, die unterschiedliche Herausforderungen bewältigen. Das Context Encoder Spatial Interpolation (CESI)-Modell wurde entwickelt, um heterogene Sensordaten durch effektives Mining spärlicher Eingaben zu verarbeiten. Das Information Segmentation Spatial Interpolation (ISSI)-Modell nutzt selbstüberwachtes Lernen, um Unsicherheiten zu verringern, die aus nicht beobachteter Latent Context Information in Sensornetzwerken entstehen. Schließlich adressiert das Feature Deviation Embedding Graph Spatial Interpolation (FDE-GSI)-Modell Merkmalsungleichgewichte, indem es Feature Deviation Embedding und einen adaptiven Informations-Engpass-Mechanismus implementiert. Unsere vorgeschlagenen Modelle werden anhand mehrerer realer Datensätze evaluiert, wobei sie ihre Genauigkeit, Robustheit und Anpassungsfähigkeit unter Beweis stellen. Im Gegensatz zu bestehenden Modellen, die starke Leistungsfluktuationen über verschiedene Datensätze hinweg zeigen, erreichen unsere Modelle durchgängig State-of-the-Art-Leistungen. Diese Stabilität unterstreicht die Wirksamkeit unserer Designentscheidungen und ihr Potenzial für praktische Anwendungen. Zusammenfassend befasst sich diese Dissertation mit der Herausforderung, die hochauflösende städtische Aerosolverteilung mithilfe heterogener und unsicherer Datenquellen vorherzusagen. Durch eine systematische Analyse der Einschränkungen bestehender Beobachtungsmethoden und Vorhersagemodelle schlagen wir eine Reihe von Innovationen vor, darunter CFD-basierte Datenaugmentierung, GNN-basierte CFD-Surrogatmodellierung und spezialisierte spatiotemporale Analysemodelle. Unsere Modelle bewältigen zentrale Herausforderungen wie Datenheterogenität, Unsicherheit und Merkmalsungleichgewicht und erreichen State-of-the-Art-Leistungen auf mehreren realen Datensätzen. Diese Arbeit leistet einen bedeutenden Beitrag zur städtischen Umweltmodellierung und bietet skalierbare und robuste Lösungen zur Aerosolverteilungsvorhersage in komplexen städtischen Umgebungen

Mother’s Way

Mother’s way is my 2D graduate thesis film. The production phase of this film was between September 2018 to August 2019. This is a film about the sincere feelings between mother and son. The protagonist of this film is an old man who has been estranged from his family for decades. He decides to visit his mother after getting the news that she is seriously ill. During his journey, his misunderstandings between them are eradicated through his mother\u27s diary. Mother’s way is mainly made using the 2D animation software TVPaint. At different stages of production, Adobe Photoshop, Adobe After Effects, Adobe Premiere and Pro Tools were also used. The final output format is 1080P HD with a high-quality stereophonic track. In this thesis paper, I will describe more details behind the scenes in the chronological order of the whole production phase

Research on Spillover Effect of Paid Search Advertising Channels

With the diversification of paid search advertising channels, e-commerce enterprises are paying more and more attention on how to evaluate the effectiveness of different paid search advertising channels correctly and accurately to choose the optimal advertising channel or channels. We develop a multivariate time series model to investigate the spillover effect of paid search advertising channels based on the ad click-through rate and conversion rate, and calibrate the model using an e-commerce site\u27s web log data. We determine the long-term equilibrium relationship between each channel\u27s advertisement clicks through the co-integration test and evaluate the effect of short-term fluctuations in the interaction between each channel advertisement clicks through the vector error correction model. Based on the empirical results, this paper puts forward suggestions on the advertising strategy of this e-commerce website