MiSS

MiSS (Matrix Shard Sharing) est une méthode PEFT qui offre un bon équilibre entre les performances du modèle et l'efficacité computationnelle. Elle n'exige qu'une seule matrice entraînable et introduit un mécanisme de partage de shards distinct de LoRA.

L'abstract de l'article est :

Les méthodes de fine-tuning à faible coût paramétrique (PEFT), en particulier l’adaptation de faible rang (LoRA), réduisent efficacement le nombre de paramètres entraînables dans les grands modèles de langage (LLM). Toutefois, à mesure que l’échelle des modèles augmente, la demande en ressources de calcul reste un défi majeur. Les variantes existantes de LoRA peinent souvent à trouver un équilibre optimal entre adaptabilité (performance du modèle et vitesse de convergence) et efficacité (surcharge de calcul, utilisation de la mémoire et temps d’initialisation). Cet article présente MiSS (Matrix Shard Sharing), une nouvelle approche PEFT qui aborde ce compromis par un simple mécanisme de partage de fragments. MiSS exploite le fait qu’une adaptation de faible rang peut être obtenue en décomposant la matrice de poids en plusieurs matrices fragmentaires et en utilisant un fragment commun partagé et entraînable. Cette méthode construit la matrice de mise à jour de faible rang par la réplication de ces fragments partagés et partitionnés. Nous proposons également une implémentation efficace sur le plan matériel et largement applicable pour MiSS. Des expériences étendues menées sur une variété de tâches, accompagnées d’une analyse systématique des performances de calcul, démontrent la supériorité de MiSS. Les résultats montrent que MiSS surpasse significativement LoRA standard et ses variantes notables, tant sur les métriques de performance du modèle que sur l’efficacité de calcul, y compris la vitesse d’initialisation et le débit d’entraînement. En équilibrant efficacement la puissance expressive et l’utilisation des ressources, MiSS offre une solution convaincante pour adapter efficacement les modèles de grande envergure.

Aperçu des benchmarks

Quand utiliser MiSS

MiSS est un bon choix lorsque :

• Vous souhaitez une initialisation plus rapide et un débit d’entraînement supérieur à celui des schémas d’initialisation LoRA avancés qui utilisent des configurations coûteuses (telles que PiSSA, LoRA-GA ou OLoRA).
• Vous souhaitez une alternative à LoRA à intégrer directement, avec un minimum de modifications de configuration.

Si vous avez besoin d'une expressivité accrue au détriment de l'efficacité, envisagez la variante d'initialisation bat (voir ci-dessous).

modes de init_weights

MiSS prend en charge trois modes d’initialisation via le paramètre init_weights :

• True (par défaut) : initialisation MiSS standard. Point de départ idéal pour la plupart des cas d’usage.
• "bat" : Active des mises à jour non linéaires entre les différents shards. Produit de meilleurs résultats que MiSS standard, mais utilise plus de mémoire et est environ deux fois plus lent. Utilisez cette option lorsque la performance est prioritaire par rapport à l'efficacité.
• "mini" : utilise un rang plus petit le long de la dimension out_features, contrôlé par mini_r. Cela réduit encore davantage le nombre de paramètres entraînables. Lors de l’utilisation de ce mode, mini_r doit être défini et out_features doit être divisible par mini_r.

Démarrage rapide

import torch
from peft import MissConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")
tokenizer.pad_token_id = tokenizer.eos_token_id

# Standard MiSS
config = MissConfig(
    r=64,
    miss_dropout=0.01,
    task_type="CAUSAL_LM"
)

# BAT variant — better performance, more memory
# config = MissConfig(
#     r=64,
#     init_weights="bat",
#     task_type="CAUSAL_LM"
# )

# Mini variant — fewer trainable parameters
# config = MissConfig(
#     r=64,
#     init_weights="mini",
#     mini_r=8,
#     task_type="CAUSAL_LM"
# )

model = get_peft_model(model, config)
model.print_healthcheck()

Pour un exemple complet de fine-tuning incluant l’entraînement et l’inférence, consultez l’exemple de fine-tuning MiSS.

API

MissConfig

MissModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import MissConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = MissConfig(r=64)
>>> model = get_peft_model(base_model, config)