Natural Questions (NQ): 包含真实用户提交给Google搜索的问题及注释者从Wikipedia中找到的相关内容...

简介：
Natural Questions数据集是由谷歌构建的包含真实用户向搜索引擎提问及其相关维基百科答案配对的语料库，用于挑战性的机器理解任务。 自然问题（NQ）包含发布给Google搜索的真实用户提问以及Wikipedia中的对应答案。该数据集专为训练及评估自动问答系统设计。它包括307,372个培训示例，7,830个开发示例和7,842个测试样本。研究显示，在长答案选择任务上人类表现的上限是87% F1分数，而在短答案选择任务上的上限则是76%。为了在隐藏的测试集上运行您的系统，您需要将包含系统的Docker镜像上传至指定位置，并遵循提供的指导来构建该镜像。 每个NQ数据样本都包含了整个Wikipedia页面的呈现HTML以及文本标记化表示。本节将继续定义完整的NQ数据格式；然而，大多数用户只需关注已提取出的文字版本即可。