近期必讀的12篇KDD 2019【圖神經網路（GNN）】相關論文

最近有一些關於層次學習圖表示的工作類似於傳統卷積神經網路（CNN）中的pooling步驟。

然而，在匯聚過程中，區域性結構資訊在很大程度上仍然被忽略。

本文介紹了一種基於圖的 ... 【導讀】最近，資料探勘領域國際最高級別會議KDD2019於2019年8月4日-8日在美國阿拉斯加州安克雷奇市舉行。

今年的KDD包括兩個track：ResearchTrack和AppliedDataSciencetrack。

據瞭解，ResearchTrack共收到約1200篇投稿，其中約110篇接收為oral論文，60篇接收為poster論文，接收率僅為14%。

專知小編髮現關於圖神經網路的相關論文在今年的KDD上非常多，所以今天小編專門整理最新12篇圖神經網路（GNN）相關論文——聚類-GCN、條件隨機場-GCN、Degree-GNN、GCN-MF、GCN-Pooling、GRN、異構GNN、強化學習-GNN、對抗攻擊-GCN。

1.Cluster-GCN:AnEfficientAlgorithmforTrainingDeepandLargeGraphConvolutionalNetworks 作者：Wei-LinChiang;XuanqingLiu;SiSi;YangLi;SamyBengio;Cho-JuiHsieh; 摘要：圖卷積網路(GCN)已成功地應用於許多基於圖的應用中;然而，訓練一個大規模的GCN仍然是具有挑戰性的。

現有的基於SGD的演算法要麼計算成本高，且隨著GCN層數的增加呈指數級增長，要麼需要很大的空間來儲存整個圖以及在記憶體中嵌入每個節點。

本文利用圖的聚類結構，提出了一種新的適合於基於SGD的訓練的GCN演算法Cluster-GCN。

Cluster-GCN的工作原理如下:在每一步中，它對與圖聚類演算法標識的密集子圖相關聯的節點塊進行取樣，並限制在該子圖中進行鄰域搜尋。

這種簡單而有效的策略能夠顯著提高記憶體和計算效率，同時能夠達到與以前演算法相當的測試精度。

為了測試演算法的可擴充套件性，我們建立了一個新的Amazon2M資料集，包含200萬個節點和6100萬條邊，比之前最大的公共可用資料集(Reddit)大5倍以上。

對於在此資料集上訓練3層GCN,Cluster-GCN比之前最先進的VR-GCN(1523秒vs.1961秒)更快，並且使用更少的記憶體(2.2GBvs.11.2GB)。

此外，對於該資料集的4層GCN的訓練，我們的演算法可以在36分鐘左右完成，而現有的GCN訓練演算法都因為記憶體不足而無法訓練。

此外，Cluster-GCN允許我們在不需要太多時間和記憶體開銷的情況下訓練更深層的GCN，從而提高了預測精度——使用5層Cluster-GCN，我們在PPI資料集上實現了最先進的測試結果，F1score為99.36，而之前最好的結果是98.71。

網址： https://www.kdd.org/kdd2019/accepted-papers/view/cluster-gcn-an-efficient-algorithm-for-training-deep-and-large-graph-convol 2.ConditionalRandomFieldEnhancedGraphConvolutionalNeuralNetworks 作者：HongchangGao;JianPei;HengHuang; 摘要：圖卷積神經網路近年來受到越來越多的關注。

與標準卷積神經網路不同，圖卷積神經網路對圖資料進行卷積運算。

與一般資料相比，圖資料具有不同節點間的相似性資訊。

因此，在圖卷積神經網路的隱層中儲存這種相似性資訊是非常重要的。

然而，現有的工作沒有做到這一點。

另一方面，為了保持相似關係，對隱藏層的增強是一個挑戰。

為了解決這一問題，我們提出了一種新的CRF層用於圖卷積神經網路，以使得相似節點具有相似的隱藏特徵。

這樣，可以顯式地儲存相似性資訊。

此外，我們提出的CRF層易於計算和最佳化。

因此，它可以很容易地插入到現有的圖卷積神經網路中，提高其效能。

最後，大量的實驗結果驗證了我們提出的CRF層的有效性。

網址： https://www.kdd.org/kdd2019/accepted-papers/view/conditional-random-field-enhanced-graph-convolutional-neural-networks 3.DEMO-Net:Degree-specificGraphNeuralNetworksforNodeandGraphClassification 作者：JunWu;JingruiHe;JiejunXu; 摘要：圖資料廣泛存在於許多具有高影響力的應用中。

受網格結構資料深度學習成功的啟發，研究者提出了一種學習強大的節點級或圖級表示的圖神經網路模型。

然而，現有的圖神經網路大多存在以下侷限性：(1)對圖卷積的seed-oriented、degree-aware、order-free等特性的分析比較有限;(2)在區分結構感知節點鄰域時，沒有將節點的degree-specific圖結構顯式表示為圖卷積;(3)圖級pooling機制的理論解釋尚不明確。

為了解決這些問題，我們提出了一種基於Weisfeiler-Lehman圖同構測試的通用degree-specific圖神經網路DEMO-Net。

為了顯式地捕獲與節點屬性整合的圖的拓撲結構，我們認為圖卷積應該具有三個屬性：seed-oriented,degree-aware和order-free。

為此，我們提出了多工圖卷積，其中每個任務表示具有specificdegreevalue的節點的節點表示學習，從而保持了degree-specific的圖結構。

特別地，我們設計了兩種多工學習方法：degree-specific權重法和圖卷積的雜湊函式法。

此外，我們還提出了一種新的圖級pooling/readout方案，用於學習圖形表示，可證明位於degree-specific的Hilbertkernel空間中。

在多個節點和圖分類基準資料集上的實驗結果表明，我們提出的DEMO-Net相對於最先進的圖神經網路模型的有效性和高效性。

網址： https://www.kdd.org/kdd2019/accepted-papers/view/demo-net-degree-specific-graph-neural-networks-for-node-and-graph-classific 4.GCN-MF:Disease-GeneAssociationIdentificationByGraphConvolutionalNetworksandMatrixFactorization 作者：PengHan;PengYang;PeilinZhao;ShuoShang;YongLiu;JiayuZhou;XinGao;PanosKalnis; 摘要：發現疾病基因關聯是一項基礎性和關鍵性的生物醫學任務，它有助於生物學家和醫生髮現症候的致病機制。

基於網路的半監督學習(NSSL)是這些研究中常用的一種方法，它利用各種臨床生物標誌物來測量基因和疾病表型之間的相似性，來解決這個類平衡的大規模資料問題。

然而，大多數現有的NSSL方法都是基於線性模型的，存在兩個主要限制:1)它們隱式地考慮每個候選物件的區域性結構表示;2)他們無法捕捉疾病和基因之間的非線性聯絡。

本文將圖卷積網路(GCN)和矩陣因子分解相結合，提出了一種新的疾病基因關聯任務框架GCN-MF。

在GCN的幫助下，我們可以捕獲非線性相互作用，並利用測量到的相似性。

此外，我們定義了一個邊際控制損失函式，以減少稀疏性的影響。

實驗結果表明，所提出的深度學習演算法在大多數指標上都優於其他最先進的方法。

網址： https://www.kdd.org/kdd2019/accepted-papers/view/cluster-gcn-an-efficient-algorithm-for-training-deep-and-large-graph-convol 5.EstimatingNodeImportanceinKnowledgeGraphsUsingGraphNeuralNetworks 作者：NamyongPark;AndreyKan;XinLunaDong;TongZhao;ChristosFaloutsos; 摘要：如何估計知識圖譜(KG)中節點的重要性?KG是一個多關係圖，它被證明對於許多工(包括問題回答和語義搜尋)都很有價值。

在本文中，我們提出了GENI，一種解決KG中節點重要性估計問題的方法，該方法支援商品推薦和資源分配等多種下游應用。

雖然已經有了一些方法來解決一般圖的這個問題，但是它們沒有充分利用KG中可用的資訊，或者缺乏建模實體與其重要性之間複雜關係所需的靈活性。

為了解決這些限制，我們探索了有監督的機器學習演算法。

特別是，基於圖神經網路（GNN）的最新進展，我們開發了GENI，這是一種基於GNN的方法，旨在應對預測KG中節點重要性所涉及的獨特挑戰。

我們的方法透過predicate-aware注意力機制和靈活的中心性調整來執行重要性分數的聚合，而不是聚合節點嵌入。

在我們對GENI和現有方法的評估中，GENI在預測具有不同特徵的真實KG中節點重要性方面比現有方法高出5-17%。

網址： https://www.kdd.org/kdd2019/accepted-papers/view/estimating-node-importance-in-knowledge-graphs-using-graph-neural-networks 6.GraphConvolutionalNetworkswithEigenPooling 作者：YaoMa;SuhangWang;CharuAggarwal;JiliangTang; 摘要：圖神經網路將深度神經網路模型推廣到圖結構資料中，近年來受到越來越多的關注。

它們通常透過轉換、傳播和聚合節點特徵來學習節點表示，並被證明可以提高許多與圖相關的任務的效能，如節點分類和連結預測。

將圖神經網路應用於圖分類任務，需要從節點表示生成圖表示的方法。

一種常見的方法是全域性組合節點表示。

然而，豐富的結構資訊被忽略了。

因此，在圖表示學習過程中，需要一個層次的pooling過程來保持圖的結構。

最近有一些關於層次學習圖表示的工作類似於傳統卷積神經網路（CNN）中的pooling步驟。

然而，在匯聚過程中，區域性結構資訊在很大程度上仍然被忽略。

本文介紹了一種基於圖的傅立葉變換的pooling操作EigenPooling，它可以利用pooling過程中的節點特徵和區域性結構。

然後基於pooling運算元設計pooling層，並與傳統的GCN卷積層進一步結合，形成一個用於圖分類的圖神經網路框架EigenGCN。

從區域性和全域性的角度對EigenGCN進行了理論分析。

圖分類任務在6個常用benchmark上的實驗結果表明了該框架的有效性。

網址： https://www.kdd.org/kdd2019/accepted-papers/view/graph-convolutional-networks-with-eigenpooling 7.GraphRecurrentNetworkswithAttributedRandomWalks 作者：XiaoHuang;QingquanSong;YueningLi;XiaHu; 摘要：隨機遊走被廣泛應用於從網路嵌入到標籤傳播的各種網路分析任務中。

它可以捕獲並將幾何結構轉換為結構化序列，同時解決了稀疏性和維數的災難性問題。

雖然對純網路上的隨機遊走進行了深入的研究，但在實際系統中，節點往往不是純頂點，而是具有不同的特徵，並由與之相關的豐富資料集來描述。

這些節點屬性包含豐富的資訊，這些資訊通常是網路的補充，併為基於隨機遊走的分析帶來了機會。

然而，目前還不清楚如何為attributed網路開發隨機遊走來實現有效的聯合資訊提取。

節點屬性使得節點之間的互動更加複雜，拓撲結構也更加異構。

為了彌補這一不足，我們研究了在attributed網路上進行聯合隨機遊動，並利用它們來提高深度節點表示學習。

提出的框架GraphRNA由兩個主要元件組成，即，一種協作遊走機制—AttriWalk，以及一種為隨機遊走量身定製的深度嵌入體系結構，稱為圖遞迴網路(graphrecurrentnetworks，GRN)。

AttriWalk將節點屬性看作是一個二分網路，並利用它來促進節點間的離散化，減少節點間向高中心匯聚的趨勢。

AttriWalk使我們能夠將突出的深度網路嵌入模型-圖卷積網路推向一個更有效的架構——GRN。

GRN賦予節點表示以與原始attributed網路中的節點互動相同的方式進行互動。

在真實資料集上的實驗結果表明，與目前最先進的嵌入演算法相比，GraphRNA演算法很有效。

網址： https://www.kdd.org/kdd2019/accepted-papers/view/graph-recurrent-networks-with-attributed-random-walks 8.HetGNN:HeterogeneousGraphNeuralNetwork 作者：ChuxuZhang;DongjinSong;ChaoHuang;AnanthramSwami;NiteshV.Chawla; 摘要：異構圖表示學習的目的是為每個節點尋求一個有意義的向量表示，以便於後續應用，如連結預測、個性化推薦、節點分類等。

然而，該任務具有挑戰性，不僅因為需要合併異構由多種型別的節點和邊組成的結構（圖）資訊，但也需要考慮與每個節點相關聯的異構屬性或內容（例如，文字或影象）。

儘管在同構(或異構)圖嵌入、屬性圖嵌入以及圖神經網路等方面都做了大量的工作，但很少有圖神經網路能夠有效地聯合考慮圖的異構結構(圖)資訊以及各節點的異構內容資訊。

為此，我們提出了一種異構圖神經網路模型HetGNN。

具體來說，我們首先引入一個具有重啟策略的隨機遊走，為每個節點抽取一個固定大小的強相關異構鄰居，並根據節點型別對它們進行分組。

接下來，我們設計了一個包含兩個模組的神經網路結構來聚合這些取樣的相鄰節點的特徵資訊。

第一個模組對異構內容的“深度”特性互動進行編碼，併為每個節點生成內容嵌入。

第二個模組聚合不同鄰近組(型別)的內容(屬性)嵌入，並透過考慮不同組的影響來進一步組合它們，以獲得最終的節點嵌入。

最後，我們利用圖contextloss和一個mini-batch梯度下降過程以端到端方式訓練模型。

在多個數據集上的大量實驗表明，HetGNN在各種圖挖掘任務（比如鏈路預測、推薦、節點分類聚類、歸納節點分類聚類）中都能超越最先進的baseline。

網址： https://www.kdd.org/kdd2019/accepted-papers/view/hetgnn-heterogeneous-graph-neural-network 9.LearningDynamicContextGraphsforPredictingSocialEvents 作者：SonggaojunDeng;HuzefaRangwala;YueNing; 摘要：以建模上下文資訊為目標的事件預測是自動分析生成和資源分配等應用程式的一項重要任務。

為感興趣的事件捕獲上下文資訊可以幫助分析人員理解與該事件相關的因素。

然而，由於以下幾個因素，在事件預測中獲取上下文資訊是具有挑戰性的:(i)上下文結構和形成的不確定性，(ii)高維特徵，以及(iii)特徵隨時間的適應性。

最近，圖表示學習在交通預測、社會影響預測和視覺化問題回答系統等應用中取得了成功。

在本文中，我們研究了社會事件建模中的圖表示，以識別事件上下文的動態屬性作為socialindicators。

受圖神經網路的啟發，我們提出了一種新的圖卷積網路來預測未來的事件(例如，國內動亂運動)。

我們從歷史/以前的事件文件中提取和學習圖表示。

該模型利用隱藏的單詞圖特徵預測未來事件的發生，並將動態圖序列識別為事件上下文。

在多個真實資料集上的實驗結果表明，該方法與各種先進的社會事件預測方法相比具有較強的競爭力。

網址： https://www.kdd.org/kdd2019/accepted-papers/view/learning-dynamic-context-graphs-for-predicting-social-events 10.AutomatingFeatureSubspaceExplorationviaMulti-AgentReinforcementLearning 作者：KunpengLiu;YanjieFu;PengfeiWang;LeWu;RuiBo;XiaolinLi; 摘要：特徵選擇是機器學習的預處理步驟，它試圖為後續的預測任務選擇最相關的特徵。

有效的特徵選擇可以降低維數，提高預測精度，提高結果的可理解性。

從子集空間中尋找最優特徵子集是一個非常具有挑戰性的問題，因為子集空間可能非常大。

在已有研究的基礎上，增強學習為搜尋策略的全域性化提供了新的視角。

針對特徵選擇問題，提出了一種多智慧體增強學習框架。

具體來說，我們首先用一個增強學習框架來重新制定特徵選擇，將每個特徵視為一個智慧體。

然後，透過三種方法得到環境狀態，即為了使演算法更好地理解學習過程，本文采用了統計描述、自動編碼器和圖卷積網路(GCN)。

我們展示瞭如何以一種基於圖的方式學習狀態表示，這種方法不僅可以處理邊的變化，還可以處理節點逐步變化的情況。

此外，我們還研究瞭如何透過更合理的獎勵方案來改善不同特徵之間的協調。

該方法具有全域性搜尋特徵子集的能力，並且由於增強學習的性質，可以很容易地適應實時情況(實時特徵選擇)。

此外，我們還提出了一種有效的加速多智慧體強化學習收斂的策略。

最後，大量的實驗結果表明，該方法比傳統方法有顯著的改進。

網址： https://www.kdd.org/kdd2019/accepted-papers/view/automating-feature-subspace-exploration-via-multi-agent-reinforcement-learn 11.RobustGraphConvolutionalNetworksAgainstAdversarialAttacks 作者：DingyuanZhu;ZiweiZhang;PengCui;WenwuZhu; 摘要：圖卷積網路(GCNs)是一種新興的基於圖的神經網路模型，在節點分類任務中取得了最先進的效能。

然而，近年來的研究表明，GCN容易受到惡意攻擊，即在圖結構和節點屬性上的小擾動，這給GCN網路在實際應用中帶來了很大的挑戰。

如何提高GCN的魯棒性仍然是一個關鍵的開放性問題。

為了解決這一問題，我們提出了RobustGCN(RGCN)，這是一種新的模型，它“加強”了GCN的對抗攻擊能力。

具體來說，我們的方法不是將節點表示為向量，而是採用高斯分佈作為每個卷積層中節點的隱藏表示。

這樣，當圖受到攻擊時，我們的模型可以自動吸收高斯分佈方差變化的不利影響。

此外，為了彌補對抗性攻擊在GCN中的傳播，我們提出了一種基於方差的注意力機制，即在執行卷積時根據節點鄰域的方差分配不同的權值。

大量的實驗結果表明，我們提出的方法可以有效地提高GCN的魯棒性。

在三個基準圖上，與最先進的GCN方法相比，我們的RGCN在各種對抗攻擊策略下的節點分類精度有了顯著提高。

網址： https://www.kdd.org/kdd2019/accepted-papers/view/robust-graph-convolutional-networks-against-adversarial-attacks 12.StabilityandGeneralizationofGraphConvolutionalNeuralNetworks 作者：SaurabhVerma;Zhi-LiZhang; 摘要：圖卷積神經網路(GCNNs)是受卷積神經網路在一維和二維資料上的啟發而發展起來的一種用於各種圖資料學習任務的神經網路，在實際資料集上表現出了良好的效能。

儘管GCNN模型取得了一定的成功，但是對於GCNN模型的泛化性質等理論探索卻十分缺乏。

本文透過分析單層GCNN模型的穩定性，推匯出其在半監督圖學習環境下的泛化保證，為深入理解GCNN模型邁出了第一步。

特別地，我們證明了GCNN模型的演算法穩定性依賴於其圖卷積濾波器的最大絕對特徵值。

此外，為了確保提供強泛化保證所需的均勻穩定性，最大絕對特徵值必須與圖的大小無關。

我們的結果為設計新的和改進的具有演算法穩定性的圖卷積濾波器提供了新的見解。

我們對各種真實世界圖資料集的泛華差距和穩定性進行了評價，實證結果確實支援了我們的理論發現。

據我們所知，我們是第一個在半監督設定下研究圖學習的穩定性邊界，並推匯出GCNN模型的泛化邊界。

網址： https://www.kdd.org/kdd2019/accepted-papers/view/stability-and-generalization-of-graph-convolutional-neural-networks 請關注專知公眾號（點選上方藍色專知關注） 後臺回覆“KDD2019GNN”就可以獲取《12篇論文》的下載連結~ -END– 專·知 專知，專業可信的人工智慧知識分發，讓認知協作更快更好！歡迎登入www.zhuanzhi.ai，註冊登入專知，獲取更多AI知識資料！ 歡迎微信掃一掃加入專知人工智慧知識星球群，獲取最新AI專業乾貨知識教程影片資料和與專家交流諮詢！ 請加專知小助手微信（掃一掃如下二維碼新增），加入專知人工智慧主題群，諮詢技術商務合作~ 專知《深度學習:演算法到實戰》課程全部完成！560+位同學在學習，現在報名，限時優惠！網易雲課堂人工智慧暢銷榜首位！ 點選“閱讀原文”，瞭解報名專知《深度學習:演算法到實戰》課程 相關文章 搜尋： Copyright©2022|Poweredbysa123.cc