1.MENLI: надежные метрики оценки на основе естественного языка(arXiv)
Автор:Янран Чен, Штеффен Эгер
Аннотация:Недавно предложенные метрики оценки на основе BERT хорошо работают на стандартных тестах оценки, но уязвимы для атак злоумышленников, например, связанных с ошибками фактической достоверности. Мы утверждаем, что это проистекает (частично) из того факта, что они являются моделями семантического сходства. Напротив, мы разрабатываем метрики оценки на основе вывода на естественном языке (NLI), которые мы считаем более подходящим моделированием. Мы разрабатываем структуру состязательной атаки на основе предпочтений и показываем, что наши метрики на основе NLI гораздо более устойчивы к атакам, чем последние метрики на основе BERT. В стандартных тестах наши метрики на основе NLI превосходят существующие метрики суммирования, но уступают метрикам SOTA MT. Однако, когда мы комбинируем существующие метрики с нашими метриками NLI, мы получаем как более высокую устойчивость к состязаниям (от +20% до +30%), так и более качественные показатели по сравнению со стандартными эталонными тестами (от +5% до +25%).
2. Многоуровневая контролируемая контрастная структура обучения для малоресурсного естественного языка (arXiv)
Автор:Шуан Ли, Сюмин Ху, Ли Линь, Айвэй Лю, Лицзе Вэнь, Филип С. Ю
Аннотация. Вывод естественного языка (NLI) становится все более важной задачей в понимании естественного языка, которая требует установления связи между парами предложений (предпосылкой и гипотезой). В последнее время все большее внимание привлекает вывод естественного языка с низким уровнем ресурсов из-за значительной экономии затрат на ручное аннотирование и лучшего соответствия реальным сценариям. В существующих работах не удается охарактеризовать дискриминационные представления между различными классами с ограниченными обучающими данными, что может привести к ошибкам в прогнозировании меток. Здесь мы предлагаем многоуровневую контролируемую структуру контрастного обучения под названием MultiSCL для вывода естественного языка с низким уровнем ресурсов. MultiSCL использует цель сравнительного обучения на уровне предложений и на уровне пар, чтобы различать разные классы пар предложений, объединяя те, которые принадлежат к одному классу, и отталкивая те, которые принадлежат к разным классам. MultiSCL использует модуль увеличения данных, который создает различные представления для входных выборок, чтобы лучше изучить скрытое представление. Представление на парном уровне получается из модуля перекрестного внимания. Мы проводим обширные эксперименты с двумя общедоступными наборами данных NLI в условиях ограниченных ресурсов, и точность MultiSCL превышает точность других моделей в среднем на 3,1%. Более того, наш метод превосходит предыдущий современный метод в междоменных задачах классификации текста.
3. Генерация логических выводов на естественном языке с помощью нескольких снимков с помощью PDD: подсказка и динамическая демонстрация (arXiv)
Автор:Кайцзянь Ли, Шаньсан Гун, Кенни К. Чжу
Аннотация:задача генерации выводов на естественном языке состоит в том, чтобы сгенерировать текстовую гипотезу с учетом текстовой предпосылки и логической связи между ними. Эта задача может быть использована на практике для увеличения данных и генерации управляемого текста. В этой статье мы предлагаем языковые модели с быстрой и динамической демонстрацией (LM-PDD), чтобы решить эту проблему в условиях нескольких выстрелов. Наша структура превосходит стандартные точно настроенные модели с низким ресурсом, достигая в среднем 8% абсолютного улучшения наборов данных SNLI и MNLI, а результаты по 13 задачам классификации естественного языка также показывают, что наш метод динамической демонстрации имеет хорошую обобщаемость.
