Llama-Adapter

Llama-Adapter — это метод PEFT, специально разработанный для превращения Llama в модель, следующую инструкциям. Модель Llama замораживается, и обучается только набор адаптационных промптов, добавляемых в начало входных токенов инструкции. Поскольку случайно инициализированные модули, вставляемые в модель, могут привести к потере части её существующих знаний, Llama-Adapter использует внимание с нулевой инициализацией и нулевым гейтингом, чтобы постепенно добавлять инструктивные промпты в модель.

Аннотация из статьи:

Мы представляем LLaMA-Adapter — лёгкий метод адаптации для эффективной дообучения LLaMA в модель, следующую инструкциям. Используя 52K демонстраций self-instruct, LLaMA-Adapter добавляет лишь 1,2M обучаемых параметров к замороженной модели LLaMA 7B, а дообучение занимает менее часа на 8 GPU A100. Конкретно, мы используем набор обучаемых адаптационных промптов, которые добавляются к входным токенам текста на более высоких слоях трансформера. Затем предлагается механизм внимания с нулевой инициализацией и нулевым гейтингом, который адаптивно внедряет новые инструктивные сигналы в LLaMA, при этом эффективно сохраняя её предобученные знания. Благодаря эффективному обучению LLaMA-Adapter генерирует ответы высокого качества, сопоставимые с Alpaca, полностью дообученным на 7B параметрах. Кроме того, наш подход можно просто расширить на мультимодальный вход, например, изображения, для LLaMA с условием по изображению, что обеспечивает превосходную способность к рассуждениям на ScienceQA. Наш код доступен по адресу https://github.com/ZrrSkywalker/LLaMA-Adapter.

Обзор бенчмарков

API

AdaptionPromptConfig

AdaptionPromptModel