Apprendimento Automatico di Rappresentazioni Latenti su Grafi applicato a Reti di Transazioni Finanziarie ​

Financial Transaction Networks are directed, temporal heterogeneous graphs representing payments between bank accounts. They are among the most important sources of data for banks to study customer behavior and deploy efficient, neural Anti-Money Laundering systems. Moreover, being transaction networks a very scarce type of data (due to privacy and business interests), their Synthetic Generation is also worth exploring. Therefore, we aim to give the following contributions: a self-contained explanation of related background concepts, and some key technical steps towards the development of a representation learning framework for directed temporal graphs. On this note, we will discuss the issues related to transaction network's directionality and temporality separately. Regarding directionality, we will tackle Directed Link Prediction as an early approach to deep directed graph generation. An acceptable model for Directed Link Prediction should not only predict the existence of an edge between two nodes, but also its direction and potential bidirectionality. Most recently proposed models for Directed Link Prediction are only tested in scenarios where most negative edges are not the reverses of the positives, and the fraction of bidirectional edges is very low. In such cases, we prove that even a model structurally incapable of predicting the edges' directions nor classifying them as bidirectional or unidirectional would perform deceivingly well. The very few previous papers that recognize this issue fail to produce models capable of simultaneously predicting an existing edge's direction, classify it as bidirectional or not, and predicting its unconditional existence. We argue that this happens when the four combinations of positive/negative unidirectional/bidirectional edges do not contribute equally to the training loss. Therefore, we propose a novel training technique that, by mapping Directed Link Prediction to a four-classes classification task, allows models to better embed (bi-)directionality while still retaining (and even improving) general-purpose directed link prediction capabilities in the settings models are usually tested against. The framework applies to all directed link prediction models. We show our framework's ability to properly address Directed Link Prediction in dedicated experiments. Regarding temporality, existing techniques develop composite architectures that deal with temporal graphs directly, known as Temporal Graph Neural Networks. Inspired by a few early works, we explored the inverse approach, where static representations of dynamic graphs that preserve the temporal information are computed, to be later embedded using a Graph Neural Network. To the best of our knowledge, this is the first work that proposes to systematically extend this framework to all dynamic graph-related tasks. We test this approach in a temporal node classification task and demonstrate its superiority with respect to Temporal Graph Neural Networks. We argue that the novel training technique for Directed Link Prediction together with the Static Representations-based framework for dynamic networks constitute necessary technical steps in the direction of a Temporal Graph Representation Learning model for Transaction Networks, to address, for example, the aforementioned Anti-Money Laundering and Synthetic Data Generation needs.

Le reti di transazioni finanziarie sono grafi eterogenei temporali diretti che rappresentano i pagamenti tra conti bancari. Sono tra le fonti di dati più importanti per le banche al fine di studiare il comportamento dei clienti e implementare sistemi di antiriciclaggio. Inoltre, essendo le reti di transazioni affette da interessi di privacy e commerciali, è opportuno esplorare anche la loro generazione sintetica. Forniremo i seguenti contributi: una spiegazione dei concetti di background correlati e alcune tecniche chiave verso lo sviluppo di un framework di apprendimento automatico adatto a reti di transazioni. Discuteremo separatamente le questioni relative alla direzionalità e alla temporalità. Per quanto riguarda la direzionalità, affronteremo la Directed Link Prediction come un primo approccio alla generazione di grafi diretti. Un modello accettabile per Directed Link Prediction non deve solo prevedere l'esistenza degli archi, ma anche la loro direzione e la potenziale bidirezionalità. La maggior parte dei recenti modelli per Directed Link Prediction sono stati testati solo in scenari in cui la maggioranza degli archi negativi non sono i reverse di quelli positivi e la frazione di archi bidirezionali è molto bassa. In questi casi, vedremo che anche un modello strutturalmente incapace di prevedere la direzione degli archi e di classificarli come bidirezionali o unidirezionali avrebbe buone performance. I pochi lavori precedenti che riconoscono questo problema non riescono a produrre modelli in grado di prevedere simultaneamente la direzione di un arco esistente, di classificarlo come bidirezionale o meno e di prevederne l'esistenza incondizionata. Sosteniamo che ciò accade poichè le quattro combinazioni di archi unidirezionali/bidirezionali positivi/negativi non contribuiscono in egual misura alla training loss. Pertanto, proponiamo una nuova tecnica di training che, mappando la Directed Link Prediction ad un task di classificazione in quattro classi, consente ai modelli di incorporare meglio la (bi-)direzionalità, pur mantenendo (e persino migliorando) le capacità di predizione degli archi diretti nei settings con cui i modelli vengono solitamente testati. Il framework si applica a tutti i modelli di Directed Link Prediction. Dimostreremo la performance di questa tecnica in esperimenti dedicati. Per quanto riguarda la temporalità, le tecniche esistenti sviluppano architetture composite che trattano direttamente i grafi temporali, note come Temporal Graph Neural Networks. Ispirandoci ad alcuni lavori preliminari, abbiamo esplorato l'approccio inverso, in cui viene prima calcolata una rappresentazione statica del network dinamico tale da conservare l'informazione temporale, in modo da successivamente applicarvi una Graph Neural Network standard. Questo è il primo lavoro che propone di estendere sistematicamente tale approccio a tutti i tasks su grafi dinamici. Testeremo questo framework in un task di Temporal Node Classification e dimostriamo la sua superiorità rispetto alle Temporal Graph Neural Networks. Argomenteremo che la nuova tecnica di training per Directed Link Prediction, insieme al framework basato sulle rappresentazioni statiche di reti dinamiche, costituiscano passi essenziali nella direzione di un framework di apprendimento automatico adatto a reti di transazioni, per rispondere, ad esempio, alle esigenze di antiriciclaggio e di generazione di dati sintetici sopra menzionate.