Vérifiez si le modèle est un modèle PEFT.

Gestionnaire de contexte permettant de rééchelonner temporairement l'échelle de l'adaptateur LoRA dans un modèle.

Les valeurs d'échelle d'origine sont restaurées lorsque le gestionnaire de contexte se termine. Ce gestionnaire de contexte fonctionne avec les modèles de transformers et diffusers qui ont chargé directement des adaptateurs LoRA.

Pour LoRA, appliquer ce gestionnaire de contexte avec un multiplicateur dans [0, 1] est strictement équivalent à appliquer wise-ft (voir #1940 pour plus de détails). Cela peut améliorer les performances du modèle s'il existe un décalage de distribution entre les données d'entraînement utilisées pour l'ajustement fin et les données de test utilisées lors de l'inférence.

Warning : Il a été signalé que, lors de l'utilisation du backend MPS d'Apple pour PyTorch, il est nécessaire d'ajouter un court délai de pause après la sortie du contexte avant que les échelles ne soient entièrement restaurées.

>>> model = ModelWithLoraLayer()
>>> multiplier = 0.5
>>> with rescale_adapter_scale(model, multiplier):
...     outputs = model(**inputs)  # Perform operations with the scaled model
>>> outputs = model(**inputs)  # The original scaling values are restored here

Le gestionnaire de contexte désactive le cast du type de données d'entrée vers le type de données du poids.

Gestionnaire de contexte permettant d’activer la mise en cache de DoRA, ce qui améliore la vitesse de l’inférence DoRA au détriment de la mémoire.

Avec la mise en cache active, le poids LoRA matérialisé (B @ A) et la norme du poids (poids de base + poids LoRA) sont mis en cache.

Même dans le contexte de la mise en cache, si le modèle est en mode d’entraînement, la mise en cache est désactivée. Lorsque le modèle passe en mode d’entraînement, le cache est effacé.

>>> from peft.helpers import DoraCaching

>>> model.eval()  # put in eval model for caching to work

>>> with DoraCaching():  # use as a context manager
...     output = model(inputs)

>>> dora_caching = DoraCaching()
>>> dora_caching(enabled=True)  # permanently enable caching
>>> output = model(inputs)
>>> dora_caching(enabled=False)  # permanently disable caching
>>> output = model(inputs)

Utilitaire léger pour calculer les nombres de conditionnement par module / par paramètre et retourner les meilleures cibles LoRA.

Prend en charge :

• Modules nn.Linear classiques (target_modules dans LoraConfig)
• Poids MoE fusionnés modernes stockés sous forme de nn.Parameter 3D (gate_up_proj / down_proj, gate_proj / up_proj, etc.) utilisés dans Llama-4, Qwen2_MoE, Qwen3_MoE, Mixtral, OLMoE et des modèles similaires. Ils sont retournés via target_parameters.

Remarques :

• Le calcul du nombre de condition nécessite l’exécution d’une SVD et peut prendre plusieurs minutes sur des modèles très volumineux. Une barre de progression peut être affichée/désactivée via show_progress.

Fonction pratique en une ligne pour la sélection de la cible KappaTune. Renvoie à la fois target_modules et target_parameters.