# PEANuT: Adaptação Eficiente de Parâmetros com Ajustadores Neurais Conscientes de Pesos [PEANuT](https://arxiv.org/abs/2410.01870) é uma técnica de ajuste fino eficiente em parâmetros que introduz tweakers neurais conscientes de pesos para gerar atualizações de adaptadores a partir dos próprios pesos pré-treinados congelados. Em vez de aprender uma atualização linear de baixo posto puramente, como no LoRA, o PEANuT condiciona a transformação do adaptador no peso base, o que torna a regra de atualização mais expressiva, mantendo o número de parâmetros treináveis pequeno. PEANuT usa uma projeção de entrada `A`, uma projeção de saída `B` e pares opcionais de codificador/decodificador residuais intermediários com ativações não lineares. Isso permite modelar padrões de atualização mais complexos do que adaptadores lineares agnósticos de peso, mantendo-se ainda assim dentro do contexto de PEFT. O PEANuT atualmente apresenta as seguintes limitações: Vantagens: - Expressividade teórica superior em comparação com atualizações de baixo posto lineares. - Desempenho melhor que o do LoRA em uma variedade de tarefas sob orçamentos semelhantes. - Funciona bem em regimes de parâmetros muito baixos, por exemplo, em torno de `0.2M` parâmetros treináveis. Desvantagens: - Uso de memória maior que o do LoRA, pois `ΔW` é explicitamente construído antes de ser aplicado. - Treinamento e inferência mais lentos do que com LoRA, e camadas intermediárias mais profundas aumentam ainda mais a sobrecarga. - A não linearidade pode exigir um ajuste mais cuidadoso dos hiperparâmetros, especialmente a taxa de aprendizado e as configurações de otimização relacionadas. Se esses compromissos não se adequarem ao seu caso de uso, considere outros métodos de PEFT, como LoRA. O resumo do artigo é: > O ajuste fino de grandes modelos de fundação pré-treinados frequentemente resulta em excelente desempenho em tarefas downstream, mas é proibitivamente caro ao atualizar todos os parâmetros. Métodos de ajuste fino eficiente em parâmetros (PEFT), como LoRA, mitigam isso ao introduzir módulos de atualização leves, mas geralmente dependem de aproximações lineares agnósticas a pesos, limitando sua expressividade. Neste trabalho, propomos o PEANuT, um novo framework de PEFT que introduz tweakers neurais conscientes de pesos, módulos neurais compactos que geram atualizações adaptadas à tarefa condicionadas aos pesos pré-treinados congelados. O PEANuT oferece uma maneira flexível e eficiente de capturar padrões de atualização complexos sem o ajuste completo do modelo. Mostramos teoricamente que o PEANuT alcança expressividade equivalente ou superior à de métodos lineares de PEFT existentes, com parâmetros comparáveis ou menores. Experimentos extensivos em quatro benchmarks com mais de vinte conjuntos de dados demonstram que o PEANuT supera consistentemente baselines fortes em tarefas de NLP e visão, mantendo baixo sobrecarga computacional. ## Visão geral do benchmark