PEFT documentation
Тюнеры
Тюнеры
Тюнер (или адаптер) — это модуль, который можно подключить к torch.nn.Module. BaseTuner — базовый класс для других тюнеров, предоставляющий общие методы и атрибуты для подготовки конфигурации адаптера и замены целевого модуля модулем адаптера. BaseTunerLayer — базовый класс для слоёв адаптеров. Он предлагает методы и атрибуты для управления адаптерами, например, для их активации и деактивации.
BaseTuner
класс peft.tuners.tuners_utils.BaseTuner
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )
Параметры
- model (
torch.nn.Module) — Модель, к которой будут подключены слои адаптивного тюнера. - forward (
Callable) — Метод forward модели. - peft_config (
Union[PeftConfig, dict[str, PeftConfig]]) — Объект конфигурации адаптера. Он должен представлять собой словарь, сопоставляющий ключи типаstrс объектамиPeftConfig. Также можно передать объект PeftConfig, в этом случае будет создан новый адаптер с именем по умолчаниюadapter, либо создан новый словарь с ключомadapter_nameи значением, равным переданной конфигурации peft. - config (
dict[str, Any]) — Объект конфигурации модели, должен представлять собой словарь из объектовstrвAny. - targeted_module_names (
list[str]) — Список имён модулей, которые были фактически адаптированы. Может быть полезен, если вы хотите быстро убедиться, чтоconfig.target_modulesуказаны корректно. - targeted_parameter_names (
list[str]) — Список имён параметров, которые были фактически адаптированы. Может быть полезен, если вы хотите быстро убедиться, чтоconfig.target_parametersуказаны корректно. - prefix (
str) — Уникальный префикс, специфичный для метода PEFT. Например,"lora_"для LoRA.
Базовая модель тюнера, предоставляющая общие методы и атрибуты для всех тюнеров, которые можно внедрять в torch.nn.Module
Для добавления нового класса Tuner необходимо переопределить следующие методы:
- _prepare_adapter_config:
Приватный метод для подготовки конфигурации адаптера, например, в случае отсутствия поля
target_modules. - _create_and_replace: Приватный метод для создания и замены целевого модуля модулем адаптера.
- _check_target_module_exists: Приватный вспомогательный метод, проверяющий, совпадает ли имя ключа переданного модуля с одним из целевых модулей в adapter_config.
Самый простой способ — посмотреть, что делается в классе peft.tuners.lora.LoraModel.
delete_adapter
< source >( adapter_name: str )
Удаляет существующий адаптер.
Отключить все адаптеры на месте.
При отключении всех адаптеров выход модели соответствует выходу базовой модели.
Включить все адаптеры на месте
get_model_config
< source >( model: nn.Module )
Этот метод получает конфигурацию из модели в виде словаря. Если у модели отсутствует атрибут config, этот метод возвращает конфигурацию по умолчанию.
inject_adapter
< source >( model: nn.Moduleadapter_name: strautocast_adapter_dtype: bool = Truelow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )
Параметры
- model (
nn.Module) — Модель, подлежащая настройке. - adapter_name (
str) — Имя адаптера. - autocast_adapter_dtype (
bool, необязательный) — Определяет, следует ли автоматически приводить тип данных адаптера. По умолчаниюTrue. - low_cpu_mem_usage (
bool,optional, по умолчаниюFalse) — Создаёт пустые веса адаптера на meta-устройстве. Полезно для ускорения процесса загрузки. - state_dict (
dict, необязательный, по умолчаниюNone) — Если сюда передан state_dict, адаптеры будут внедряться на основе записей в state_dict. Это может быть полезно, когда точныеtarget_modulesметода PEFT неизвестны, например, если чекпоинт был создан без метаданных. Обратите внимание, что значения из state_dict не используются, используются только ключи для определения правильных слоев, которые должны быть адаптированы.
Создаёт слои адаптеров и заменяет целевые модули слоями адаптеров. Этот метод вызывается под капотом peft.mapping.get_peft_model, если передан класс адаптера, не относящийся к prompt tuning.
Соответствующая конфигурация PEFT извлекается непосредственно из атрибута peft_config класса BaseTuner.
merge_adapter
< source >( adapter_names: Optional[list[str]] = Nonesafe_merge: bool = False )
Параметры
- adapter_names (
list[str], необязательный) — Список имён адаптеров, которые необходимо объединить. ЕслиNone, будут объединены все активные адаптеры. По умолчаниюNone. - safe_merge (
bool, необязательный) — ЕслиTrue, операция слияния выполняется на копии исходных весов и проверяет наличие NaN перед слиянием весов. Это полезно, если вы хотите убедиться, что операция слияния не приведёт к появлению NaN. По умолчаниюFalse.
Этот метод объединяет слои адаптеров с базовой моделью.
Объединение адаптеров может ускорить прямой проход. Копия весов адаптера по-прежнему хранится в памяти, что необходимо для отмены объединения адаптеров. Чтобы объединить веса адаптера без их сохранения в памяти, вызовите merge_and_unload.
После слияния весов адаптера в слое его прямой проход использует только эти веса. Следовательно, если adapter_names не охватывает все активные адаптеры, оставшиеся активные адаптеры молча не применяются, хотя по-прежнему отображаются как активные. Необходимо либо слить все активные адаптеры, либо сначала вызвать unmerge_adapter. Обратите внимание, что это поведение планируется изменить в выпуске v1.0.
merge_and_unload
< source >( progressbar: bool = Falsesafe_merge: bool = Falseadapter_names: Optional[list[str]] = None )
Параметры
- progressbar (
bool) — показывать ли прогресс-бар, отображающий процесс разгрузки и слияния (по умолчанию: False). - safe_merge (
bool) — определяет, следует ли активировать проверку безопасного слияния для выявления потенциальных значений Nan в весах адаптера. - adapter_names (
List[str], необязательный) — Список имён адаптеров, которые необходимо объединить. Если значение равно None, будут объединены все активные адаптеры. По умолчаниюNone.
Этот метод объединяет слои адаптеров с базовой моделью.
Это необходимо, если кто-то хочет использовать базовую модель как самостоятельную. Возвращаемая модель имеет ту же архитектуру, что и исходная базовая модель.
Важно присвоить возвращенную модель переменной и использовать её, так как это не операция in-place!
Пример:
>>> from transformers import AutoModelForCausalLM
>>> from peft import PeftModel
>>> model_id = ...
>>> base_model = AutoModelForCausalLM.from_pretrained(model_id)
>>> peft_model_id = ...
>>> model = PeftModel.from_pretrained(base_model, peft_model_id)
>>> merged_model = model.merge_and_unload()set_adapter
< source >( adapter_name: str | list[str]inference_mode: bool = False )
Установите активный(ые) адаптер(ы).
set_requires_grad
< source >( adapter_names: str | Sequence[str]requires_grad: bool = True )
Включить или отключить градиенты для указанных адаптера(ов).
Возможно ли преобразовать адаптер этой модели в LoRA.
Обычно это работает, если метод PEFT является аддитивным, то есть W’ = W_base + delta_weight.
Возвращает базовую модель, удаляя все модули PEFT.
Важно присвоить возвращенную модель переменной и использовать её, так как это не операция in-place!
Этот метод отменяет слияние всех слоёв адаптеров с базовой моделью.
BaseTunerLayer
класс peft.tuners.tuners_utils.BaseTunerLayer
< source >( )
Миксин слоя тюнера, предоставляющий общие методы и атрибуты для всех тюнеров.
delete_adapter
< source >( adapter_name: str )
Удалить адаптер из слоя
Это следует вызывать для всех адаптерных слоёв, иначе мы получим неконсистентное состояние.
Этот метод также установит новый активный адаптер, если удалённый адаптер был активным. Важно, чтобы новый адаптер выбирался детерминированным образом, чтобы на всех слоях был выбран один и тот же адаптер.
enable_adapters
< source >( enabled: bool )
Переключение включения и отключения адаптеров
Устанавливает флаг requires_grad для весов адаптера.
get_additive_delta
< source >( adapter_name: str = 'default' )
Возвращает аддитивную дельту весов W’ - W для указанного адаптера, где W — базовые веса, а W’ — веса после слияния адаптера с базовыми весами. Это означает, что итоговые веса можно восстановить с помощью base_weight + module.get_additive_delta(adapter_name).
Для аддитивных методов PEFT (например, LoRA, LoKr, LoHa) это эквивалентно get_delta_weight. Для мультипликативных методов (например, OFT, BOFT) данный метод строит эффективный вес W’ и вычитает из него базовый вес W.
Вызов этого метода при слиянии любого адаптера вызывает ValueError, поскольку слияние изменяет базовые веса, что делает возвращаемое значение зависимым от текущих слитых адаптеров. Сначала отмените слияние адаптеров.
Возвращаемый тензор имеет dtype весов слоя адаптера (например, lora_A для LoRA), а не dtype весов базового слоя. Именно этот dtype будет использоваться сконвертированным адаптером LoRA.
Результат используется в convert_to_lora для выполнения SVD-приближения адаптера в виде LoRA-адаптера.
По умолчанию это вызывает NotImplementedError. Методы PEFT, поддерживающие эту функцию, должны переопределять метод _get_additive_delta, чтобы возвращать аддитивную дельту.
(Рекурсивно) получить base_layer.
Это необходимо в том случае, если слой тюнера оборачивает другой слой тюнера.
Возвращает вес базового слоя.
Это обеспечивает потенциальную деквантизацию веса, если он квантован.
set_adapter
< source >( adapter_names: str | list[str]inference_mode: bool = False )
Установите активный(ые) адаптер(ы).
Кроме того, эта функция установит указанный адаптер в режим обучения (т. е. requires_grad=True), если inference_mode не равен True.
Устанавливает базовый вес базового слоя в новое тензорное значение
Это также работает с квантованными весами.
set_requires_grad
< source >( adapter_names: str | Sequence[str]requires_grad: bool = True )
Включить или отключить градиенты для указанных адаптера(ов).
set_training
< source >( adapter_names: str | Sequence[str]training: bool = True )
Включить или отключить режим обучения для указанных модулей адаптеров.
Возможно ли преобразовать этот тип слоя в LoRA.
Обычно это работает, если метод PEFT является аддитивным, то есть W’ = W_base + delta_weight.