PEFT documentation

Конфигурации и модели PEFT

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.21.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Конфигурации и модели PEFT

Огромный размер современных крупных предобученных моделей, которые обычно содержат миллиарды параметров, представляет собой серьезную проблему при обучении, поскольку для выполнения всех вычислений требуется больше места для хранения и больше вычислительных мощностей. Для обучения таких крупных предобученных моделям необходим доступ к мощным GPU или TPU, что дорого, не является широко доступным для всех, не экологично и не очень практично. Методы PEFT решают многие из этих проблем. Существует несколько типов методов PEFT (soft prompting, matrix decomposition, adapters), но все они направлены на одну и ту же цель: сокращение количества обучаемых параметров. Это делает обучение и хранение крупных моделей более доступными на потребительском оборудовании.

Библиотека PEFT разработана, чтобы помочь вам быстро обучать большие модели на бесплатных или недорогих GPU. В этом руководстве вы узнаете, как настроить конфигурацию для применения метода PEFT к предварительно обученной базовой модели. После настройки конфигурации PEFT вы можете использовать любой удобный вам фреймворк обучения (класс Trainer из Transformers, Accelerate, собственный цикл обучения PyTorch).

Конфигурации PEFT

Подробнее о параметрах, которые можно настроить для каждого метода PEFT, см. на соответствующих страницах справочника API.

Конфигурация хранит важные параметры, определяющие способ применения конкретного метода PEFT.

Например, рассмотрите следующую конфигурацию LoraConfig для применения LoRA и PromptEncoderConfig для применения p-tuning (эти файлы конфигурации уже сериализованы в JSON). При загрузке адаптера PEFT рекомендуется проверять наличие связанного с ним файла adapter_config.json, который является обязательным.

LoraConfig
PromptEncoderConfig
{
  "base_model_name_or_path": "facebook/opt-350m", #base model to apply LoRA to
  "bias": "none",
  "fan_in_fan_out": false,
  "inference_mode": true,
  "init_lora_weights": true,
  "layers_pattern": null,
  "layers_to_transform": null,
  "lora_alpha": 32,
  "lora_dropout": 0.05,
  "modules_to_save": null,
  "peft_type": "LORA", #PEFT method type
  "r": 16,
  "revision": null,
  "target_modules": [
    "q_proj", #model modules to apply LoRA to (query and value projection layers)
    "v_proj"
  ],
  "task_type": "CAUSAL_LM" #type of task to train model on
}

Вы можете создать собственную конфигурацию для обучения, инициализировав LoraConfig.

from peft import LoraConfig, TaskType

lora_config = LoraConfig(
    r=16,
    target_modules=["q_proj", "v_proj"],
    task_type=TaskType.CAUSAL_LM,
    lora_alpha=32,
    lora_dropout=0.05
)

Модели PEFT

Имея конфигурацию PEFT, вы можете применить её к любой предобученной модели, чтобы создать PeftModel. Выберите любую передовую модель из библиотеки Transformers, собственную модель или даже новую, неподдерживаемую архитектуру трансформера.

Для этого учебника загрузите базовую модель facebook/opt-350m для дообучения.

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("facebook/opt-350m")

Используйте функцию get_peft_model(), чтобы создать PeftModel на основе базовой модели facebook/opt-350m и ранее созданного вами lora_config.

from peft import get_peft_model

lora_model = get_peft_model(model, lora_config)
lora_model.print_healthcheck()

При вызове get_peft_model() базовая модель изменяется in-place. Это означает, что при повторном вызове get_peft_model() для модели, которая уже была изменена аналогичным образом, произойдет дальнейшая модификация этой модели. Следовательно, если вы хотите изменить конфигурацию PEFT после предыдущего вызова get_peft_model(), вам сначала необходимо выгрузить модель с помощью unload(), а затем вызвать get_peft_model() с новой конфигурацией. Альтернативный вариант — инициализировать модель заново, чтобы гарантировать ее исходное, неизмененное состояние перед применением новой конфигурации PEFT.

Теперь вы можете обучать PeftModel с помощью предпочитаемого вами фреймворка для обучения! После обучения вы можете сохранить модель локально с помощью save_pretrained() или загрузить её на Hub с помощью метода push_to_hub.

# save locally
lora_model.save_pretrained("your-name/opt-350m-lora")

# push to Hub
lora_model.push_to_hub("your-name/opt-350m-lora")

Чтобы загрузить PeftModel для инференса, необходимо указать PeftConfig, использованный для его создания, и базовую модель, на которой он был обучен.

from peft import PeftModel, PeftConfig

config = PeftConfig.from_pretrained("ybelkada/opt-350m-lora")
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path)
lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora")

По умолчанию PeftModel настроен для инференса, но если вы хотите продолжить обучение адаптера, установите is_trainable=True.

lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora", is_trainable=True)

Метод PeftModel.from_pretrained() — самый гибкий способ загрузить PeftModel, поскольку не имеет значения, какой фреймворк моделей был использован (Transformers, timm, общая модель PyTorch). Другие классы, такие как AutoPeftModel, — это лишь удобное обёртка вокруг базового PeftModel, которая упрощает загрузку PEFT-моделей напрямую из Hub или локально, где хранятся веса PEFT.

from peft import AutoPeftModelForCausalLM

lora_model = AutoPeftModelForCausalLM.from_pretrained("ybelkada/opt-350m-lora")

Ознакомьтесь с справочником API AutoPeftModel, чтобы узнать больше о классах AutoPeftModel.

Дальнейшие шаги

С помощью соответствующего PeftConfig вы можете применить его к любой предобученной модели, чтобы создать PeftModel и быстрее обучать мощные модели на свободно доступных GPU! Чтобы узнать больше о конфигурациях и моделях PEFT, вам может помочь следующее руководство:

Update on GitHub