Graph Neural Networks for Natural Language Processing: A Survey
Głębokie uczenie stało się dominującym podejściem w rozwiązywaniu różnych zadań w przetwarzaniu języka naturalnego (NLP). Chociaż dane tekstowe są zwykle reprezentowane jako sekwencja tokenów, istnieje wiele różnych problemów NLP, które można najlepiej wyrazić za pomocą struktury grafu. W rezultacie, istnieje gwałtowny wzrost zainteresowania rozwojem nowych technik głębokiego uczenia na grafach dla dużej liczby zadań NLP.
W niniejszej monografii autorzy przedstawiają kompleksowy przegląd grafowych sieci neuronowych (GNN) dla przetwarzania języka naturalnego. Proponują nową taksonomię GNN dla NLP, która systematycznie organizuje istniejące badania GNN dla NLP wzdłuż trzech osi: konstrukcji grafów, uczenia się reprezentacji grafów i modeli kodera-dekodera opartych na grafach. W dalszej kolejności przedstawiają dużą liczbę aplikacji NLP, które wykorzystują moc GNN i podsumowują odpowiednie zestawy danych porównawczych, metryki oceny i kody open source. Na koniec omawiają różne nierozwiązane wyzwania związane z pełnym wykorzystaniem GNN w NLP, a także przyszłe kierunki badań.
Jest to pierwszy kompleksowy przegląd grafowych sieci neuronowych do przetwarzania języka naturalnego. Zapewnia on studentom i badaczom zwięzłe i przystępne źródło informacji, które pozwala szybko zapoznać się z ważnym obszarem badań nad uczeniem maszynowym.