IA3

IA3 是您需要尽可能小的适配器规模时的绝佳选择——它使用学习向量而非低秩矩阵，因此是现有方法中参数效率最高的方法之一。如果您的首要目标是极小的磁盘/内存占用和快速训练，IA3 是一个强有力的候选方案。

通过抑制和放大内部激活的适配器，即IA3，是一种向自注意力和编码器-解码器注意力层的键与值，以及逐位置前馈网络的中间激活添加三个学习向量以进行重新缩放的方法。

该论文的摘要如下：

少样本上下文学习（ICL）通过提供少量训练示例作为输入的一部分，使预训练语言模型无需任何基于梯度的训练即可执行此前未见过的任务。由于每次进行预测时都需要处理所有训练示例，ICL 会带来巨大的计算、内存和存储开销。参数高效微调（PEFT）（例如适配器模块、提示微调、稀疏更新方法等）提供了一种替代范式，即训练一小部分参数以使模型能够执行新任务。在本文中，我们严格比较了少样本 ICL 和 PEFT，并证明后者不仅具有更高的准确率，而且计算成本大幅降低。在此过程中，我们提出了一种名为 (IA)^3 的新 PEFT 方法，它通过学习的向量对激活值进行缩放，在仅引入相对少量新参数的情况下实现了更强的性能。我们还提出了一种基于 T0 模型的简单方案，称为 T-Few，可以应用于新任务而无需针对特定任务的微调或修改。我们通过在 RAFT 基准上应用 T-Few 来验证其在完全未见过的任务上的有效性，首次实现了超越人类的表现，并比当前最先进的方法高出 6% 的绝对值。我们实验中使用的全部代码均已公开

To make fine-tuning more efficient, IA3 (Infused Adapter by Inhibiting and Amplifying Inner Activations) rescales inner activations with learned vectors. These learned vectors are injected in the attention and feedforward modules in a typical transformer-based architecture. These learned vectors are the only trainable parameters during fine-tuning, and thus the original weights remain frozen. Dealing with learned vectors (as opposed to learned low-rank updates to a weight matrix like LoRA) keeps the number of trainable parameters much smaller.

与 LoRA 类似，IA3 也具有许多相同的优势：

• IA3 通过大幅减少可训练参数的数量，使微调更加高效。（对于 T0，IA3 模型仅包含约 0.01% 的可训练参数，而即使是 LoRA 也超过 0.1%）
• 原始预训练权重保持冻结，这意味着您可以基于这些权重构建多个轻量级且可移植的 IA3 模型，用于各种下游任务。
• 使用 IA3 微调的模型性能与完全微调的模型性能相当。
• IA3 不会增加任何推理延迟，因为适配器权重可以与基础模型合并。

原则上，IA3 可以应用于神经网络中权重矩阵的任意子集，以减少可训练参数的数量。遵循作者的实现方式，IA3 权重被添加到 Transformer 模型的 key、value 和 feedforward 层中。具体而言，对于 transformer 模型，IA3 权重被添加到每个 transformer block 中 key 层和 value 层的输出，以及第二个 feedforward 层的输入。

给定用于注入 IA3 参数的目标层，可以根据权重矩阵的大小确定可训练参数的数量。

用法

对于自回归模型，目标为 k_proj、v_proj 和 down_proj——这些是作者发现最有效的层。设置 feedforward_modules=["down_proj"]，以便 IA3 知道哪些模块是前馈层，从而应用正确的缩放。

对于序列分类任务，可以按照以下方式为 Llama 模型初始化 IA3 配置：

from peft import IA3Config, TaskType, get_peft_model
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("HuggingFaceTB/SmolLM-135M")
peft_config = IA3Config(
    task_type=TaskType.CAUSAL_LM,
    target_modules=["k_proj", "v_proj", "down_proj"],
    feedforward_modules=["down_proj"],
)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

何时使用 IA3 与 LoRA

IA3 在需要尽可能小的适配器以应对存储受限的部署场景，或希望以更少的可训练参数实现快速收敛时尤为有效。如果您需要更广泛的 LoRA 变体生态系统（如 DoRA、QLoRA 等），或希望采用经过最广泛测试且拥有大量社区支持的方法，则 LoRA 可能更为合适。

基准测试概览

API

IA3Config

IA3Model

>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import IA3Config, get_peft_model

>>> config = IA3Config(
...     peft_type="IA3",
...     task_type="SEQ_2_SEQ_LM",
...     target_modules=["k", "v", "w0"],
...     feedforward_modules=["w0"],
... )

>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> ia3_model = get_peft_model(model, config)