Сокращение разрыва между адаптацией с низким рангом и ортогональной адаптацией с помощью адаптации через отражения Хаусхолдера (HRA)

HRA предлагает новый взгляд, связывающий LoRA и OFT, что позволяет использовать преимущества обеих стратегий, применяя Householder reflections для сокращения числа параметров и вычислительных затрат при одновременном штрафе за потерю знаний, полученных на этапе предварительного обучения. Метод стабильно обеспечивает более высокую производительность при меньшем количестве обучаемых параметров и превосходит передовые адаптеры на различных моделях, включая большие языковые модели (LLM) и условные генераторы изображений.

HRA строит цепочку из r обучаемых отражений Хаусхолдера (HR). Поскольку матрица отражения Хаусхолдера является ортогональной, а произведение ортогональных матриц также ортогонально, HRA удовлетворяет теоретическому гарантированному условию Orthogonal Finetuning (OFT). При этом HRA можно рассматривать как адаптер для дообучения с низким рангом. Чем выше r, тем больше обучаемых параметров, что приводит к большей ёмкости модели и лучшему качеству. Кроме того, благодаря цепной структуре ортогональность плоскостей HR влияет на ёмкость и регуляризацию HRA. Для достижения баланса между ёмкостью модели и регуляризацией к функции потерь добавляется регуляризатор ортогональности плоскостей HR. Вес$\lambda$ позволяет контролировать силу регуляризатора.

Аннотация из статьи:

Хотя низкоранговые и ортогональные методы адаптации следуют различным техническим путям, оба они позволяют эффективно адаптировать модели крупномасштабного предобучения под конкретные задачи или области на основе небольшого набора обучаемых параметров. В данной работе мы устраняем разрыв между этими двумя подходами, предлагая простой, но эффективный метод адаптации на основе отражений Хаусхолдера. Для данной предобученной модели наш метод выполняет дообучение её слоёв, умножая каждую замороженную матрицу весов на ортогональную матрицу, построенную цепочкой обучаемых отражений Хаусхолдера (HR). Это ортогональное дообучение на основе HR эквивалентно адаптивной низкоранговой адаптации. Кроме того, мы показываем, что ортогональность плоскостей отражения, соответствующих HR, влияет на ёмкость и регуляризацию модели. Этот анализ побуждает нас регуляризовать ортогональность HR, что приводит к различным реализациям предложенного метода адаптации на основе отражений Хаусхолдера (HRA). По сравнению с методами, демонстрирующими наилучшие результаты, HRA обеспечивает превосходное качество при меньшем количестве обучаемых параметров при адаптации больших языковых моделей и условных генераторов изображений. Код доступен в peft и HRA.

API

HRAConfig

HRAModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import HRAModel, HRAConfig

>>> config_te = HRAConfig(
...     r=8,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     init_weights=True,
... )
>>> config_unet = HRAConfig(
...     r=8,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = HRAModel(model.text_encoder, config_te, "default")
>>> model.unet = HRAModel(model.unet, config_unet, "default")