# Конфигурации и модели PEFT

Огромный размер современных крупных предобученных моделей, которые обычно содержат миллиарды параметров, представляет собой серьезную проблему при обучении, поскольку для выполнения всех вычислений требуется больше места для хранения и больше вычислительных мощностей. Для обучения таких крупных предобученных моделям необходим доступ к мощным GPU или TPU, что дорого, не является широко доступным для всех, не экологично и не очень практично. Методы PEFT решают многие из этих проблем. Существует несколько типов методов PEFT (soft prompting, matrix decomposition, adapters), но все они направлены на одну и ту же цель — сокращение количества обучаемых параметров. Это делает обучение и хранение крупных моделей более доступными на потребительском оборудовании.

Библиотека PEFT разработана, чтобы помочь вам быстро обучать большие модели на бесплатных или недорогих GPU. В этом руководстве вы узнаете, как настроить конфигурацию для применения метода PEFT к предварительно обученной базовой модели. После настройки конфигурации PEFT вы можете использовать любой удобный вам фреймворк обучения (класс [Trainer](https://huggingface.co/docs/transformers/main/en/main_classes/trainer#transformers.Trainer) из Transformers, [Accelerate](https://hf.co/docs/accelerate), собственный цикл обучения PyTorch).

## Конфигурации PEFT

> [!TIP]
> Подробнее о параметрах, которые можно настроить для каждого метода PEFT, см. на соответствующих страницах справочника API.

Конфигурация хранит важные параметры, определяющие способ применения конкретного метода PEFT.

Например, рассмотрите следующую конфигурацию `LoraConfig` для применения LoRA и `PromptEncoderConfig` для применения p-tuning (эти файлы конфигурации уже сериализованы в JSON). При загрузке адаптера PEFT рекомендуется проверять наличие связанного с ним файла `adapter_config.json`, который является обязательным.

```json
{
  "base_model_name_or_path": "facebook/opt-350m", #base model to apply LoRA to
  "bias": "none",
  "fan_in_fan_out": false,
  "inference_mode": true,
  "init_lora_weights": true,
  "layers_pattern": null,
  "layers_to_transform": null,
  "lora_alpha": 32,
  "lora_dropout": 0.05,
  "modules_to_save": null,
  "peft_type": "LORA", #PEFT method type
  "r": 16,
  "revision": null,
  "target_modules": [
    "q_proj", #model modules to apply LoRA to (query and value projection layers)
    "v_proj"
  ],
  "task_type": "CAUSAL_LM" #type of task to train model on
}
```

Вы можете создать собственную конфигурацию для обучения, инициализировав [LoraConfig](/docs/peft/main/ru/package_reference/lora#peft.LoraConfig).

```py
from peft import LoraConfig, TaskType

lora_config = LoraConfig(
    r=16,
    target_modules=["q_proj", "v_proj"],
    task_type=TaskType.CAUSAL_LM,
    lora_alpha=32,
    lora_dropout=0.05
)
```

```json
{
  "base_model_name_or_path": "roberta-large", #base model to apply p-tuning to
  "encoder_dropout": 0.0,
  "encoder_hidden_size": 128,
  "encoder_num_layers": 2,
  "encoder_reparameterization_type": "MLP",
  "inference_mode": true,
  "num_attention_heads": 16,
  "num_layers": 24,
  "num_transformer_submodules": 1,
  "num_virtual_tokens": 20,
  "peft_type": "P_TUNING", #PEFT method type
  "task_type": "SEQ_CLS", #type of task to train model on
  "token_dim": 1024
}
```

Вы можете создать собственную конфигурацию для обучения, инициализировав [PromptEncoderConfig](/docs/peft/main/ru/package_reference/p_tuning#peft.PromptEncoderConfig).

```py
from peft import PromptEncoderConfig, TaskType

p_tuning_config = PromptEncoderConfig(
    encoder_reparameterization_type="MLP",
    encoder_hidden_size=128,
    num_attention_heads=16,
    num_layers=24,
    num_transformer_submodules=1,
    num_virtual_tokens=20,
    token_dim=1024,
    task_type=TaskType.SEQ_CLS
)
```

## Модели PEFT

Имея конфигурацию PEFT, вы можете применить её к любой предобученной модели, чтобы создать [PeftModel](/docs/peft/main/ru/package_reference/peft_model#peft.PeftModel). Выберите любую передовую модель из библиотеки [Transformers](https://hf.co/docs/transformers), собственную модель или даже новую, неподдерживаемую архитектуру трансформера.

Для этого учебника загрузите базовую модель [facebook/opt-350m](https://huggingface.co/facebook/opt-350m) для дообучения.

```py
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("facebook/opt-350m")
```

Используйте функцию [get_peft_model()](/docs/peft/main/ru/package_reference/peft_model#peft.get_peft_model), чтобы создать [PeftModel](/docs/peft/main/ru/package_reference/peft_model#peft.PeftModel) на основе базовой модели facebook/opt-350m и ранее созданного вами `lora_config`.

```py
from peft import get_peft_model

lora_model = get_peft_model(model, lora_config)
lora_model.print_healthcheck()
```

> [!WARNING]
> При вызове [get_peft_model()](/docs/peft/main/ru/package_reference/peft_model#peft.get_peft_model) базовая модель изменяется *in-place*. Это означает, что при повторном вызове [get_peft_model()](/docs/peft/main/ru/package_reference/peft_model#peft.get_peft_model) для модели, которая уже была изменена аналогичным образом, произойдет дальнейшая модификация этой модели. Следовательно, если вы хотите изменить конфигурацию PEFT после предыдущего вызова `get_peft_model()`, вам сначала необходимо выгрузить модель с помощью [unload()](/docs/peft/main/ru/package_reference/tuners#peft.tuners.tuners_utils.BaseTuner.unload), а затем вызвать `get_peft_model()` с новой конфигурацией. Альтернативный вариант — инициализировать модель заново, чтобы гарантировать ее исходное, неизмененное состояние перед применением новой конфигурации PEFT.

Теперь вы можете обучать [PeftModel](/docs/peft/main/ru/package_reference/peft_model#peft.PeftModel) с помощью предпочитаемого вами фреймворка для обучения! После обучения вы можете сохранить модель локально с помощью [save_pretrained()](/docs/peft/main/ru/package_reference/peft_model#peft.PeftModel.save_pretrained) или загрузить её на Hub с помощью метода [push_to_hub](https://huggingface.co/docs/transformers/main/en/main_classes/model#transformers.PreTrainedModel.push_to_hub).

```py
# save locally
lora_model.save_pretrained("your-name/opt-350m-lora")

# push to Hub
lora_model.push_to_hub("your-name/opt-350m-lora")
```

Чтобы загрузить [PeftModel](/docs/peft/main/ru/package_reference/peft_model#peft.PeftModel) для инференса, необходимо указать [PeftConfig](/docs/peft/main/ru/package_reference/config#peft.PeftConfig), использованный для его создания, и базовую модель, на которой он был обучен.

```py
from peft import PeftModel, PeftConfig

config = PeftConfig.from_pretrained("ybelkada/opt-350m-lora")
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path)
lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora")
```

> [!TIP]
> По умолчанию [PeftModel](/docs/peft/main/ru/package_reference/peft_model#peft.PeftModel) настроен для инференса, но если вы хотите продолжить обучение адаптера, установите `is_trainable=True`.
>
> ```py
> lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora", is_trainable=True)
> ```

Метод [PeftModel.from_pretrained()](/docs/peft/main/ru/package_reference/peft_model#peft.PeftModel.from_pretrained) — самый гибкий способ загрузить [PeftModel](/docs/peft/main/ru/package_reference/peft_model#peft.PeftModel), поскольку не имеет значения, какой фреймворк моделей был использован (Transformers, timm, общая модель PyTorch). Другие классы, такие как [AutoPeftModel](/docs/peft/main/ru/package_reference/auto_class#peft.AutoPeftModel), — это лишь удобное обёртка вокруг базового [PeftModel](/docs/peft/main/ru/package_reference/peft_model#peft.PeftModel), которая упрощает загрузку PEFT-моделей напрямую из Hub или из локального хранилища, где находятся веса PEFT.

```py
from peft import AutoPeftModelForCausalLM

lora_model = AutoPeftModelForCausalLM.from_pretrained("ybelkada/opt-350m-lora")
```

Ознакомьтесь с справочником API [AutoPeftModel](../package_reference/auto_class), чтобы узнать больше о классах [AutoPeftModel](/docs/peft/main/ru/package_reference/auto_class#peft.AutoPeftModel).

## Дальнейшие шаги

С помощью соответствующего [PeftConfig](/docs/peft/main/ru/package_reference/config#peft.PeftConfig) вы можете применить его к любой предобученной модели, чтобы создать [PeftModel](/docs/peft/main/ru/package_reference/peft_model#peft.PeftModel) и быстрее обучать мощные модели на свободно доступных GPU! Чтобы узнать больше о конфигурациях и моделях PEFT, вам может помочь следующее руководство:

* Узнайте, как настроить метод PEFT для моделей, не входящих в состав Transformers, в руководстве [Работа с пользовательскими моделями](../developer_guides/custom_models).

