- Независимый от языка нейросимволический семантический анализ для понимания формы (arXiv)
Автор: Бхану Пракаш Вутхароджа, Лижен Цюй, Фатеме Шири.
Аннотация: Недавние работы по пониманию форм в основном используют мультимодальные преобразователи или крупномасштабные предварительно обученные языковые модели. Эти модели нуждаются в достаточном количестве данных для предварительного обучения. Напротив, люди обычно могут определить пары ключ-значение из формы, только взглянув на макеты, даже если они не понимают используемый язык. Ранее не проводилось исследований, чтобы выяснить, насколько полезна информация о макете сама по себе для понимания формы. Следовательно, мы предлагаем уникальный метод анализа графа отношения объектов для отсканированных форм, называемый LAGNN, независимая от языка модель графовой нейронной сети. Наша модель анализирует форму в графе отношений слов, чтобы совместно идентифицировать сущности и отношения и уменьшить временную сложность вывода. Затем этот граф преобразуется детерминированными правилами в полносвязный граф объект-связь. Наша модель просто учитывает относительное расстояние между ограничивающими рамками из информации о макете, чтобы облегчить перенос между языками. Для дальнейшего повышения производительности LAGNN и достижения изоморфизма между графами отношения объектов и графами отношений слов мы используем вывод на основе целочисленного линейного программирования (ILP). Код общедоступен по адресу https://github.com/Bhanu068/LAGNN.
2. Лень — это добродетель, когда дело доходит до композиционности в нейронно-семантическом анализе (arXiv)
Автор: Максвелл Крауз, Паван Капанипати, Субхаджит Чаудхури, Тахира Насим, Рамон Астудильо, Ачилль Фокоуэ, Тим Клингер.
Аннотация: Почти все нейронные семантические парсеры общего назначения генерируют логические формы строго авторегрессивным способом сверху вниз. Хотя такие системы достигли впечатляющих результатов в различных наборах данных и областях, недавние работы поставили под сомнение, ограничены ли они в конечном счете в своей способности композиционно обобщать. В этой работе мы подходим к семантическому разбору буквально с противоположной стороны; то есть мы вводим метод генерации нейронного семантического разбора, который строит логические формы снизу вверх, начиная с листьев логической формы. Система, которую мы представляем, ленива в том смысле, что она постепенно создает набор потенциальных семантических анализов, но только расширяет и обрабатывает наиболее перспективные анализы-кандидаты на каждом этапе генерации. Такая экономная схема расширения позволяет системе поддерживать произвольно большой набор гипотез синтаксического анализа, которые никогда не реализуются, и, таким образом, требует минимальных вычислительных затрат. Мы оцениваем наш подход к композиционному обобщению; в частности, на сложном наборе данных CFQ и трех наборах данных Text-to-SQL, где мы показываем, что наш новый метод семантического анализа «снизу вверх» превосходит семантические анализаторы общего назначения, а также конкурирует с сопоставимыми нейронными анализаторами, которые были разработаны для каждой задачи.
