PEFT documentation

Тюнеры

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Тюнеры

Тюнер (или адаптер) — это модуль, который можно подключить к torch.nn.Module. BaseTuner — базовый класс для других тюнеров, предоставляющий общие методы и атрибуты для подготовки конфигурации адаптера и замены целевого модуля модулем адаптера. BaseTunerLayer — базовый класс для слоёв адаптеров. Он предлагает методы и атрибуты для управления адаптерами, например, для их активации и деактивации.

BaseTuner

класс peft.tuners.tuners_utils.BaseTuner

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Параметры

  • model (torch.nn.Module) — Модель, к которой будут подключены слои адаптивного тюнера.
  • forward (Callable) — Метод forward модели.
  • peft_config (Union[PeftConfig, dict[str, PeftConfig]]) — Объект конфигурации адаптера. Он должен представлять собой словарь, сопоставляющий ключи типа str с объектами PeftConfig. Также можно передать объект PeftConfig, в этом случае будет создан новый адаптер с именем по умолчанию adapter, либо создан новый словарь с ключом adapter_name и значением, равным переданной конфигурации peft.
  • config (dict[str, Any]) — Объект конфигурации модели, должен представлять собой словарь из объектов str в Any.
  • targeted_module_names (list[str]) — Список имён модулей, которые были фактически адаптированы. Может быть полезен, если вы хотите быстро убедиться, что config.target_modules указаны корректно.
  • targeted_parameter_names (list[str]) — Список имён параметров, которые были фактически адаптированы. Может быть полезен, если вы хотите быстро убедиться, что config.target_parameters указаны корректно.
  • prefix (str) — Уникальный префикс, специфичный для метода PEFT. Например, "lora_" для LoRA.

Базовая модель тюнера, предоставляющая общие методы и атрибуты для всех тюнеров, которые можно внедрять в torch.nn.Module

Для добавления нового класса Tuner необходимо переопределить следующие методы:

  • _prepare_adapter_config: Приватный метод для подготовки конфигурации адаптера, например, в случае отсутствия поля target_modules.
  • _create_and_replace: Приватный метод для создания и замены целевого модуля модулем адаптера.
  • _check_target_module_exists: Приватный вспомогательный метод, проверяющий, совпадает ли имя ключа переданного модуля с одним из целевых модулей в adapter_config.

Самый простой способ — посмотреть, что делается в классе peft.tuners.lora.LoraModel.

delete_adapter

< >

( adapter_name: str )

Параметры

  • adapter_name (str) — Имя удаляемого адаптера.

Удаляет существующий адаптер.

disable_adapter_layers

< >

( )

Отключить все адаптеры на месте.

При отключении всех адаптеров выход модели соответствует выходу базовой модели.

enable_adapter_layers

< >

( )

Включить все адаптеры на месте

get_model_config

< >

( model: nn.Module )

Параметры

  • model (nn.Module) — Модель, из которой нужно получить конфигурацию.
  • default (dict|None, необязательный) —: Что возвращать, если у модели нет атрибута config.

Этот метод получает конфигурацию из модели в виде словаря. Если у модели отсутствует атрибут config, этот метод возвращает конфигурацию по умолчанию.

inject_adapter

< >

( model: nn.Moduleadapter_name: strautocast_adapter_dtype: bool = Truelow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Параметры

  • model (nn.Module) — Модель, подлежащая настройке.
  • adapter_name (str) — Имя адаптера.
  • autocast_adapter_dtype (bool, необязательный) — Определяет, следует ли автоматически приводить тип данных адаптера. По умолчанию True.
  • low_cpu_mem_usage (bool, optional, по умолчанию False) — Создаёт пустые веса адаптера на meta-устройстве. Полезно для ускорения процесса загрузки.
  • state_dict (dict, необязательный, по умолчанию None) — Если сюда передан state_dict, адаптеры будут внедряться на основе записей в state_dict. Это может быть полезно, когда точные target_modules метода PEFT неизвестны, например, если чекпоинт был создан без метаданных. Обратите внимание, что значения из state_dict не используются, используются только ключи для определения правильных слоев, которые должны быть адаптированы.

Создаёт слои адаптеров и заменяет целевые модули слоями адаптеров. Этот метод вызывается под капотом peft.mapping.get_peft_model, если передан класс адаптера, не относящийся к prompt tuning.

Соответствующая конфигурация PEFT извлекается непосредственно из атрибута peft_config класса BaseTuner.

merge_adapter

< >

( adapter_names: Optional[list[str]] = Nonesafe_merge: bool = False )

Параметры

  • adapter_names (list[str], необязательный) — Список имён адаптеров, которые необходимо объединить. Если None, будут объединены все активные адаптеры. По умолчанию None.
  • safe_merge (bool, необязательный) — Если True, операция слияния выполняется на копии исходных весов и проверяет наличие NaN перед слиянием весов. Это полезно, если вы хотите убедиться, что операция слияния не приведёт к появлению NaN. По умолчанию False.

Этот метод объединяет слои адаптеров с базовой моделью.

Объединение адаптеров может ускорить прямой проход. Копия весов адаптера по-прежнему хранится в памяти, что необходимо для отмены объединения адаптеров. Чтобы объединить веса адаптера без их сохранения в памяти, вызовите merge_and_unload.

После слияния весов адаптера в слое его прямой проход использует только эти веса. Следовательно, если adapter_names не охватывает все активные адаптеры, оставшиеся активные адаптеры молча не применяются, хотя по-прежнему отображаются как активные. Необходимо либо слить все активные адаптеры, либо сначала вызвать unmerge_adapter. Обратите внимание, что это поведение планируется изменить в выпуске v1.0.

merge_and_unload

< >

( progressbar: bool = Falsesafe_merge: bool = Falseadapter_names: Optional[list[str]] = None )

Параметры

  • progressbar (bool) — показывать ли прогресс-бар, отображающий процесс разгрузки и слияния (по умолчанию: False).
  • safe_merge (bool) — определяет, следует ли активировать проверку безопасного слияния для выявления потенциальных значений Nan в весах адаптера.
  • adapter_names (List[str], необязательный) — Список имён адаптеров, которые необходимо объединить. Если значение равно None, будут объединены все активные адаптеры. По умолчанию None.

Этот метод объединяет слои адаптеров с базовой моделью.

Это необходимо, если кто-то хочет использовать базовую модель как самостоятельную. Возвращаемая модель имеет ту же архитектуру, что и исходная базовая модель.

Важно присвоить возвращенную модель переменной и использовать её, так как это не операция in-place!

Пример:

>>> from transformers import AutoModelForCausalLM
>>> from peft import PeftModel

>>> model_id = ...
>>> base_model = AutoModelForCausalLM.from_pretrained(model_id)
>>> peft_model_id = ...
>>> model = PeftModel.from_pretrained(base_model, peft_model_id)
>>> merged_model = model.merge_and_unload()

set_adapter

< >

( adapter_name: str | list[str]inference_mode: bool = False )

Параметры

  • adapter_name (str, list[str]) — Имя или список имён адаптеров, которые нужно установить как активные
  • inference_mode (bool, optional) — Следует ли заморозить активированный адаптер (т. е. requires_grad=False). По умолчанию False.

Установите активный(ые) адаптер(ы).

set_requires_grad

< >

( adapter_names: str | Sequence[str]requires_grad: bool = True )

Параметры

  • adapter_names (str или Sequence[str]) — Имя адаптера или список имён адаптеров, для которых следует включить/отключить градиенты.
  • requires_grad (bool, необязательный) — Включить (True, по умолчанию) или отключить (False).

Включить или отключить градиенты для указанных адаптера(ов).

supports_lora_conversion

< >

( adapter_name: str = 'default' )

Возможно ли преобразовать адаптер этой модели в LoRA.

Обычно это работает, если метод PEFT является аддитивным, то есть W’ = W_base + delta_weight.

unload

< >

( )

Возвращает базовую модель, удаляя все модули PEFT.

Важно присвоить возвращенную модель переменной и использовать её, так как это не операция in-place!

unmerge_adapter

< >

( )

Этот метод отменяет слияние всех слоёв адаптеров с базовой моделью.

BaseTunerLayer

класс peft.tuners.tuners_utils.BaseTunerLayer

< >

( )

Параметры

  • is_pluggable (bool, необязательный) — Можно ли подключить адаптерный слой к любому модулю PyTorch
  • active_adapters (Union[Liststr, str], необязательный) — Имя активного адаптера.

Миксин слоя тюнера, предоставляющий общие методы и атрибуты для всех тюнеров.

delete_adapter

< >

( adapter_name: str )

Параметры

  • adapter_name (str) — Имя удаляемого адаптера

Удалить адаптер из слоя

Это следует вызывать для всех адаптерных слоёв, иначе мы получим неконсистентное состояние.

Этот метод также установит новый активный адаптер, если удалённый адаптер был активным. Важно, чтобы новый адаптер выбирался детерминированным образом, чтобы на всех слоях был выбран один и тот же адаптер.

enable_adapters

< >

( enabled: bool )

Параметры

  • enabled (bool) — True для включения адаптеров, False для отключения адаптеров

Переключение включения и отключения адаптеров

Устанавливает флаг requires_grad для весов адаптера.

get_additive_delta

< >

( adapter_name: str = 'default' )

Параметры

  • adapter_name (str) — Имя адаптера. По умолчанию "default".

Возвращает аддитивную дельту весов W’ - W для указанного адаптера, где W — базовые веса, а W’ — веса после слияния адаптера с базовыми весами. Это означает, что итоговые веса можно восстановить с помощью base_weight + module.get_additive_delta(adapter_name).

Для аддитивных методов PEFT (например, LoRA, LoKr, LoHa) это эквивалентно get_delta_weight. Для мультипликативных методов (например, OFT, BOFT) данный метод строит эффективный вес W’ и вычитает из него базовый вес W.

Вызов этого метода при слиянии любого адаптера вызывает ValueError, поскольку слияние изменяет базовые веса, что делает возвращаемое значение зависимым от текущих слитых адаптеров. Сначала отмените слияние адаптеров.

Возвращаемый тензор имеет dtype весов слоя адаптера (например, lora_A для LoRA), а не dtype весов базового слоя. Именно этот dtype будет использоваться сконвертированным адаптером LoRA.

Результат используется в convert_to_lora для выполнения SVD-приближения адаптера в виде LoRA-адаптера.

По умолчанию это вызывает NotImplementedError. Методы PEFT, поддерживающие эту функцию, должны переопределять метод _get_additive_delta, чтобы возвращать аддитивную дельту.

get_base_layer

< >

( )

(Рекурсивно) получить base_layer.

Это необходимо в том случае, если слой тюнера оборачивает другой слой тюнера.

get_base_weight

< >

( )

Возвращает вес базового слоя.

Это обеспечивает потенциальную деквантизацию веса, если он квантован.

set_adapter

< >

( adapter_names: str | list[str]inference_mode: bool = False )

Параметры

  • adapter_names (str или list[str]) — Имя или список имён адаптеров, которые нужно установить как активные.
  • inference_mode (bool, optional) — Следует ли заморозить активированный адаптер (т. е. requires_grad=False). По умолчанию False.

Установите активный(ые) адаптер(ы).

Кроме того, эта функция установит указанный адаптер в режим обучения (т. е. requires_grad=True), если inference_mode не равен True.

set_base_weight

< >

( weight_data: torch.Tensor )

Устанавливает базовый вес базового слоя в новое тензорное значение

Это также работает с квантованными весами.

set_requires_grad

< >

( adapter_names: str | Sequence[str]requires_grad: bool = True )

Параметры

  • adapter_names (str или Sequence[str]) — Имя адаптера или список имён адаптеров, для которых следует включить/отключить градиенты.
  • requires_grad (bool, необязательный) — Включить (True, по умолчанию) или отключить (False).

Включить или отключить градиенты для указанных адаптера(ов).

set_training

< >

( adapter_names: str | Sequence[str]training: bool = True )

Параметры

  • adapter_names (str или Sequence[str]) — Имя адаптера или список имён адаптеров, для которых нужно обновить режим обучения.
  • training (bool, необязательный) — Включить (True, по умолчанию) или отключить (False) режим обучения.

Включить или отключить режим обучения для указанных модулей адаптеров.

supports_lora_conversion

< >

( adapter_name: str = 'default' )

Возможно ли преобразовать этот тип слоя в LoRA.

Обычно это работает, если метод PEFT является аддитивным, то есть W’ = W_base + delta_weight.

Update on GitHub