# UL2

## 概述

T5 模型由 Yi Tay、Mostafa Dehghani、Vinh Q. Tran、Xavier Garcia、Dara Bahri、Tal Schuster、Huaixiu Steven Zheng、Neil Houlsby 和 Donald Metzler 在 [Unifying Language Learning Paradigms](https://huggingface.co/papers/2205.05131) 中提出。

该论文的摘要如下：

*现有的预训练模型通常针对特定类别的问题。迄今为止，关于正确的架构和预训练设置应该是什么，似乎仍未达成共识。本文提出了一个统一的框架，用于预训练在各类数据集和设置下均普遍有效的模型。我们首先将架构原型与预训练目标解耦——这两个概念通常被混为一谈。接下来，我们提出了自然语言处理中自监督的广义统一视角，并展示了不同的预训练目标如何相互转化，以及在不同目标之间进行插值为何有效。随后，我们提出了混合去噪器（Mixture-of-Denoisers, MoD），这是一种将多种预训练范式结合在一起的预训练目标。此外，我们引入了模式切换的概念，其中下游微调与特定的预训练方案相关联。我们进行了大量的消融实验来比较多种预训练目标，发现我们的方法通过在多种多样化设置中超越 T5 和/或 GPT 类模型，推动了帕累托前沿。最后，通过将模型扩展至 200 亿参数，我们在 50 个成熟的有监督 NLP 任务上取得了 SOTA 性能，这些任务涵盖语言生成（包含自动和人工评估）、语言理解、文本分类、问答、常识推理、长文本推理、结构化知识接地和信息检索。我们的模型在上下文学习中还取得了强劲的结果，在零样本 SuperGLUE 上超越了 1750 亿参数的 GPT-3，并将 T5-XXL 在单样本摘要任务上的性能提高了三倍。*

该模型由 [DanielHesslow](https://huggingface.co/Seledorn) 贡献。原始代码可在[此处](https://github.com/google-research/google-research/tree/master/ul2)找到。

## 使用技巧

- UL2 是一种编码器-解码器模型，在多种去噪函数的混合数据上进行预训练，并在一系列下游任务上进行微调。
- UL2 与 [T5v1.1](t5v1.1) 具有相同的架构，但使用 Gated-SiLU 激活函数而非 Gated-GELU。
- 作者发布了该架构的检查点，可在[此处](https://huggingface.co/google/ul2)查看。

由于 UL2 与 T5v1.1 具有相同的架构，请参阅 [T5 的文档页面](t5) 以获取 API 参考、技巧、代码示例和笔记本。