Novel Graph Representations for Improved Transformer-Based Graph Learning

Graphenlernen ist ein Teilgebiet des maschinellen Lernens, das sich auf das Lernen und Extrahieren von Informationen aus Graphdaten konzentriert. In unserer Arbeit konzentrieren wir uns auf Graphen von Molekülen und untersuchen, wie die Struktur dieser Graphen kodiert werden kann. Die Kodierungen unterstützen dann verschiedene Aufgaben in Machine Learning, wie beispielsweise die Klassifizierung von Molekülfunktionen oder die Vorhersage ihrer Wasserlöslichkeit.In den letzten Jahren hat die Transformer-Architektur im Bereich der Verarbeitung natürlicher Sprache große Erfolge erzielt und wurde auch für das Graphenlernen angepasst, wo sie auch eine sehr hohe Leistung erreicht hat. Graphen erfassen Informationen jedoch ganz anders als Textdaten. Das bringt die Herausforderung, wie der Graph kodiert werden muss, damit die Transformer-Architektur ihn lernen kann. Ein besonders wichtiges Konzept des Graphenlernens mit Transformer-basierten Architekturen ist die Positionskodierung von Graphen. Die Positionskodierung eines Graphen ist eine Matrixdarstellung der Graphenstruktur, die in den Transformer integriert wird. Es hat sich gezeigt, dass die Qualität dieser Kodierung einen direkten Einfluss auf die Leistung der Modelle hat. Daher eröffnet die Untersuchung und Verbesserung der Graphenkodierungen die Möglichkeit, das Lernen auf Graphen mit Transformer-Architekturen insgesamt zu verbessern.In unserer Arbeit untersuchen wir zwei Methoden zur Kodierung von Graphstrukturen und integrieren diese Graphkodierungen in den Transformer, um das Lernen zu verbessern. Im Vergleich zu den derzeit verwendeten Methoden untersucht diese Arbeit einen neuen Weg zur Kodierung von Graphstrukturen auf der Grundlage der Faktorisierung der Graph-Adjazenzmatrixen. Die neuartige Kodierung bietet eine Verbesserung gegenüber dem Lernen ohne Positionskodierung und erreicht vergleichbare Ergebnisse zu den besten Methoden auf einem von den drei untersuchten Datensätzen. Damit zeigt sie einen vielversprechenden neuen Weg für die Berechnung von Graphkodierungen für das Graphenlernen mit Transformer-basierten Architekturen auf.