PEFT documentation
Конфигурации и модели PEFT
Конфигурации и модели PEFT
Огромный размер современных крупных предобученных моделей, которые обычно содержат миллиарды параметров, представляет собой серьезную проблему при обучении, поскольку для выполнения всех вычислений требуется больше места для хранения и больше вычислительных мощностей. Для обучения таких крупных предобученных моделям необходим доступ к мощным GPU или TPU, что дорого, не является широко доступным для всех, не экологично и не очень практично. Методы PEFT решают многие из этих проблем. Существует несколько типов методов PEFT (soft prompting, matrix decomposition, adapters), но все они направлены на одну и ту же цель: сокращение количества обучаемых параметров. Это делает обучение и хранение крупных моделей более доступными на потребительском оборудовании.
Библиотека PEFT разработана, чтобы помочь вам быстро обучать большие модели на бесплатных или недорогих GPU. В этом руководстве вы узнаете, как настроить конфигурацию для применения метода PEFT к предварительно обученной базовой модели. После настройки конфигурации PEFT вы можете использовать любой удобный вам фреймворк обучения (класс Trainer из Transformers, Accelerate, собственный цикл обучения PyTorch).
Конфигурации PEFT
Подробнее о параметрах, которые можно настроить для каждого метода PEFT, см. на соответствующих страницах справочника API.
Конфигурация хранит важные параметры, определяющие способ применения конкретного метода PEFT.
Например, рассмотрите следующую конфигурацию LoraConfig для применения LoRA и PromptEncoderConfig для применения p-tuning (эти файлы конфигурации уже сериализованы в JSON). При загрузке адаптера PEFT рекомендуется проверять наличие связанного с ним файла adapter_config.json, который является обязательным.
{
"base_model_name_or_path": "facebook/opt-350m", #base model to apply LoRA to
"bias": "none",
"fan_in_fan_out": false,
"inference_mode": true,
"init_lora_weights": true,
"layers_pattern": null,
"layers_to_transform": null,
"lora_alpha": 32,
"lora_dropout": 0.05,
"modules_to_save": null,
"peft_type": "LORA", #PEFT method type
"r": 16,
"revision": null,
"target_modules": [
"q_proj", #model modules to apply LoRA to (query and value projection layers)
"v_proj"
],
"task_type": "CAUSAL_LM" #type of task to train model on
}Вы можете создать собственную конфигурацию для обучения, инициализировав LoraConfig.
from peft import LoraConfig, TaskType
lora_config = LoraConfig(
r=16,
target_modules=["q_proj", "v_proj"],
task_type=TaskType.CAUSAL_LM,
lora_alpha=32,
lora_dropout=0.05
){
"base_model_name_or_path": "roberta-large", #base model to apply p-tuning to
"encoder_dropout": 0.0,
"encoder_hidden_size": 128,
"encoder_num_layers": 2,
"encoder_reparameterization_type": "MLP",
"inference_mode": true,
"num_attention_heads": 16,
"num_layers": 24,
"num_transformer_submodules": 1,
"num_virtual_tokens": 20,
"peft_type": "P_TUNING", #PEFT method type
"task_type": "SEQ_CLS", #type of task to train model on
"token_dim": 1024
}Вы можете создать собственную конфигурацию для обучения, инициализировав PromptEncoderConfig.
from peft import PromptEncoderConfig, TaskType
p_tuning_config = PromptEncoderConfig(
encoder_reparameterization_type="MLP",
encoder_hidden_size=128,
num_attention_heads=16,
num_layers=24,
num_transformer_submodules=1,
num_virtual_tokens=20,
token_dim=1024,
task_type=TaskType.SEQ_CLS
)Модели PEFT
Имея конфигурацию PEFT, вы можете применить её к любой предобученной модели, чтобы создать PeftModel. Выберите любую передовую модель из библиотеки Transformers, собственную модель или даже новую, неподдерживаемую архитектуру трансформера.
Для этого учебника загрузите базовую модель facebook/opt-350m для дообучения.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("facebook/opt-350m")Используйте функцию get_peft_model(), чтобы создать PeftModel на основе базовой модели facebook/opt-350m и ранее созданного вами lora_config.
from peft import get_peft_model
lora_model = get_peft_model(model, lora_config)
lora_model.print_healthcheck()При вызове get_peft_model() базовая модель изменяется in-place. Это означает, что при повторном вызове get_peft_model() для модели, которая уже была изменена аналогичным образом, произойдет дальнейшая модификация этой модели. Следовательно, если вы хотите изменить конфигурацию PEFT после предыдущего вызова
get_peft_model(), вам сначала необходимо выгрузить модель с помощью unload(), а затем вызватьget_peft_model()с новой конфигурацией. Альтернативный вариант — инициализировать модель заново, чтобы гарантировать ее исходное, неизмененное состояние перед применением новой конфигурации PEFT.
Теперь вы можете обучать PeftModel с помощью предпочитаемого вами фреймворка для обучения! После обучения вы можете сохранить модель локально с помощью save_pretrained() или загрузить её на Hub с помощью метода push_to_hub.
# save locally
lora_model.save_pretrained("your-name/opt-350m-lora")
# push to Hub
lora_model.push_to_hub("your-name/opt-350m-lora")Чтобы загрузить PeftModel для инференса, необходимо указать PeftConfig, использованный для его создания, и базовую модель, на которой он был обучен.
from peft import PeftModel, PeftConfig
config = PeftConfig.from_pretrained("ybelkada/opt-350m-lora")
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path)
lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora")По умолчанию PeftModel настроен для инференса, но если вы хотите продолжить обучение адаптера, установите
is_trainable=True.lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora", is_trainable=True)
Метод PeftModel.from_pretrained() — самый гибкий способ загрузить PeftModel, поскольку не имеет значения, какой фреймворк моделей был использован (Transformers, timm, общая модель PyTorch). Другие классы, такие как AutoPeftModel, — это лишь удобное обёртка вокруг базового PeftModel, которая упрощает загрузку PEFT-моделей напрямую из Hub или локально, где хранятся веса PEFT.
from peft import AutoPeftModelForCausalLM
lora_model = AutoPeftModelForCausalLM.from_pretrained("ybelkada/opt-350m-lora")Ознакомьтесь с справочником API AutoPeftModel, чтобы узнать больше о классах AutoPeftModel.
Дальнейшие шаги
С помощью соответствующего PeftConfig вы можете применить его к любой предобученной модели, чтобы создать PeftModel и быстрее обучать мощные модели на свободно доступных GPU! Чтобы узнать больше о конфигурациях и моделях PEFT, вам может помочь следующее руководство:
- Узнайте, как настроить метод PEFT для моделей, не входящих в состав Transformers, в руководстве Работа с пользовательскими моделями.