PEFT documentation
FourierFT: Ajuste fino de la Transformada Discreta de Fourier
FourierFT: Ajuste fino de la Transformada Discreta de Fourier
FourierFT es una técnica de ajuste fino eficiente en parámetros que aprovecha la Transformada Discreta de Fourier para comprimir los pesos ajustables del modelo. Este método supera a LoRA en el benchmark GLUE y en tareas comunes de clasificación de ViT utilizando muchos menos parámetros.
FourierFT tiene actualmente las siguientes restricciones:
- Solo se admiten capas
nn.Linear. - No se admiten capas cuantizadas.
Si estas restricciones no se ajustan a su caso de uso, considere otros métodos.
Cuándo usar FourierFT frente a LoRA
LoRA representa una actualización de pesos mediante dos matrices de bajo rango. FourierFT, en cambio, aprende coeficientes seleccionados en el dominio de Fourier y utiliza una transformada discreta de Fourier inversa para reconstruir la actualización.
FourierFT puede ser útil cuando la prioridad es reducir el número de parámetros de adaptador entrenables o el tamaño de almacenamiento del adaptador. Su configuración n_frequency controla el número de coeficientes aprendidos para cada capa adaptada. Los valores más altos suelen requerir más memoria de GPU y pueden mejorar la precisión, por lo que la configuración adecuada depende de la tarea y del modelo.
El artículo de FourierFT informa de resultados comparables o superiores a los de LoRA en sus experimentos evaluados de comprensión del lenguaje, generación de texto, ajuste de instrucciones y clasificación de imágenes, con menos parámetros entrenables en esas configuraciones. Estos resultados son específicos de la tarea; no garantizan que FourierFT supere a LoRA en un modelo o conjunto de datos diferente.
El resumen del artículo es:
La adaptación de bajo rango (LoRA) ha ganado mucho interés recientemente en el ajuste fino de modelos base. Reduce eficazmente el número de parámetros entrenables al incorporar matrices de bajo rango A y B para representar el cambio de pesos, es decir, Delta W=BA. A pesar de los avances de LoRA, se enfrenta a desafíos de almacenamiento al manejar adaptaciones de personalización extensas o modelos base más grandes. En este trabajo, nos proponemos comprimir aún más los parámetros entrenables aprovechando la poderosa expresividad de la transformada de Fourier. Específicamente, introducimos FourierFT, que trata Delta W como una matriz en el dominio espacial y aprende solo una pequeña fracción de sus coeficientes espectrales. Con los coeficientes espectrales entrenados, implementamos la transformada inversa de Fourier discreta para recuperar Delta W. Empíricamente, nuestro método FourierFT muestra un rendimiento comparable o superior al de LoRA con menos parámetros en diversas tareas, incluyendo la comprensión del lenguaje natural, la generación de lenguaje natural, el ajuste de instrucciones y la clasificación de imágenes. Por ejemplo, al realizar el ajuste de instrucciones en el modelo LLaMA2-7B, FourierFT supera a LoRA con solo 0.064M de parámetros entrenables, en comparación con los 33.5M de LoRA.
Resumen de las pruebas de rendimiento
API
FourierFTConfig
clase peft.FourierFTConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsen_frequency: int = 1000scaling: float = 150.0random_loc_seed: Optional[int] = 777fan_in_fan_out: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonen_frequency_pattern: Optional[dict] = <factory>init_weights: bool = False )
Parámetros
- n_frequency (
int) — Número de frecuencias aprendibles para la Transformada Discreta de Fourier. ‘n_frequency’ es un entero mayor que 0 y menor o igual que d^2 (asumiendo que el peso W tiene dimensiones de d por d). Además, es el número de parámetros entrenables necesarios para actualizar cada peso delta W. ‘n_frequency’ afectará al rendimiento y la eficiencia de PEFT. Específicamente, tiene poco impacto en la velocidad de entrenamiento, pero valores más altos (típicamente) resultan en mayores costos de memoria de GPU y mejor precisión. Con los mismostarget_modules, el número de parámetros de LoRA es (2dr/n_frequency) veces el de FourierFT. Los siguientes ejemplos de configuraciones respecto a ‘n_frequency’ pueden usarse como referencia para los usuarios. Para tareas de NLU con el modelo RoBERTa-large, adoptar ‘n_frequency’: 1000 puede lograr resultados casi similares a ‘r’: 8 en LoRA. En este momento, el número de parámetros de LoRA es aproximadamente 16 veces el de FourierFT. Para tareas de clasificación de imágenes con modelos Vit-large, adoptar ‘n_frequency’: 3000 puede lograr resultados casi similares a ‘r’: 16 en LoRA, donde el número de parámetros de LoRA es aproximadamente 11 veces el de FourierFT. - scaling (
float) — El valor de escalado para la matriz delta W. Este es un hiperparámetro importante utilizado para el escalado, similar al parámetro ‘lora_alpha’ del método LoRA. ‘scaling’ puede determinarse durante el proceso de búsqueda de hiperparámetros. Sin embargo, si los usuarios desean omitir este proceso, pueden consultar la configuración en los siguientes escenarios. Este parámetro puede establecerse en 100.0 o 150.0 para los modelos RoBERTa-base y RoBERTa-large en todas las tareas de NLU (GLUE). Este parámetro puede establecerse en 300.0 para los modelos de la familia LLaMA en todo el ajuste de instrucciones. Este parámetro puede establecerse en 300.0 para los modelos ViT-base y ViT-large en todas las tareas de clasificación de imágenes. - random_loc_seed (
int) — Semilla para la ubicación aleatoria de las frecuencias, es decir, la matriz de entrada espectral. - target_modules (
Union[list[str],str]) — Lista de nombres de módulos o expresión regular de los nombres de módulos a reemplazar con FourierFT. Por ejemplo, [‘q’, ‘v’] o ‘.decoder.(SelfAttention|EncDecAttention).*(q|v)$‘. Solo se admiten capas lineales. - exclude_modules (
Optional[Union[List[str], str]]) — Los nombres de los módulos a los que no se aplicará el adaptador. Al pasar una cadena de caracteres, se realizará una coincidencia mediante expresión regular. Al pasar una lista de cadenas de caracteres, se realizará una coincidencia exacta o se comprobará si el nombre del módulo termina con alguna de las cadenas de caracteres pasadas. - fan_in_fan_out (
bool) — Establezca este valor en True si la capa que se va a reemplazar almacena los pesos como (fan_in, fan_out). - bias (
str) — Tipo de sesgo para FourierFT. Puede ser ‘none’, ‘all’ o ‘fourier_only’. - modules_to_save (
list[str]) — Lista de módulos, aparte de las capas FourierFT, que se deben establecer como entrenables y guardar en el checkpoint final. Por ejemplo, en tareas de clasificación de secuencias o clasificación de tokens, la capa finalclassifier/scorese inicializa aleatoriamente y, por lo tanto, debe ser entrenable y guardada. - layers_to_transform (
Union[list[int],int]) — Los índices de las capas a transformar. Si se especifica este argumento, PEFT transformará solo los índices de capas indicados en esta lista. Si se pasa un solo entero, PEFT transformará solo la capa en ese índice. - layers_pattern (
Optional[Union[List[str], str]]) — El nombre del patrón de capas, utilizado solo silayers_to_transformes diferente de None y si el patrón de capas no está en el patrón de capas común. Esto debe apuntar alnn.ModuleListdel modelo, que a menudo se llama'layers'o'h'. - n_frequency_pattern (
dict) — El mapeo de nombres de capas o expresiones regulares a n_frequency que difieren del valor predeterminado especificado. Por ejemplo,{model.decoder.layers.0.encoder_attn.k_proj: 1000}. - init_weights (
bool) — La inicialización de los pesos de Fourier. Establezca este valor en False (el valor predeterminado) si el espectro se inicializa con una distribución normal estándar. Establezca este valor en True si el espectro se inicializa con ceros.
Esta es la clase de configuración para almacenar la configuración de un FourierFTModel.
FourierFTModel
clase peft.FourierFTModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
Parámetros
- model (
torch.nn.Module) — El modelo que se va a adaptar. - config (FourierFTConfig) — La configuración del modelo FourierFT.
- adapter_name (
str) — El nombre del adaptador, por defecto es"default". - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Crea pesos de adaptador vacíos en el dispositivo meta. Útil para acelerar el proceso de carga.
Devuelve
torch.nn.Module
El modelo FourierFT.
Crea un modelo FourierFT a partir de un modelo de transformers preentrenado.
El método se describe en detalle en https://huggingface.co/papers/2405.03003.
Atributos:
- model (PreTrainedModel) — El modelo que se va a adaptar.
- peft_config (FourierFTConfig): La configuración del modelo Fourier.