文献紹介：GLGE: A New General Language Generation Evaluation Benchmark (part1)

 題名：GLGE: A New General Language Generation Evaluation Benchmark

著者：Dayiheng Liu, et. al.,

リンク先：https://arxiv.org/abs/2011.11928

 Abstract
GLUEやsuperGLUEのようなマルチタスク基準によって自然言語処理における前処理や転移学習の偉大な進歩がもたらされた。これらの基準はほぼ、NLG(自然言語生成 Natural Language Generation)を考慮することなく、NLU (自然言語理解 Natural Language Understanding)に焦点を合わせている。この論文では、我々は、8言語の生成という仕事を通じてNLGモデルの生成能力の評価をするためのGLGE(一般言語生成評価 General Language Generation Evaluation)という新しいマルチタスク基準を説明する。それぞれの仕事に対して、我々は仕事の難易度（GLGE-Easy, GLGE-Medium, GLGE-Hard）に関して3つのサブタスクを設計し続けた。これにより広範囲にわたってモデル性能を比較するための24のサブタスクがもたらされた。NLGモデルにおける事前学習や転移学習の研究を促すために、GLGEを公表し、MASS、BART、Prophet-Netを含んだ強力な基準線とともにリーダーボードを作った。