Ajuste de prompts

Prompt tuning añade un prompt virtual específico de la tarea a la entrada, que consiste en vectores entrenables en el espacio de embeddings. Los parámetros de los tokens virtuales se actualizan de forma independiente a los parámetros del modelo preentrenado, que permanecen congelados.

El resumen del artículo es:

En este trabajo, exploramos el “prompt tuning”, un mecanismo simple pero efectivo para aprender “soft prompts” que condicionan modelos de lenguaje congelados para que realicen tareas específicas de bajo nivel. A diferencia de los prompts de texto discreto utilizados por GPT-3, los soft prompts se aprenden mediante retropropagación y pueden ajustarse para incorporar señales de cualquier número de ejemplos etiquetados. Nuestro enfoque de aprendizaje de extremo a extremo supera con un amplio margen el aprendizaje “few-shot” de GPT-3. Aún más notablemente, mediante abstracciones sobre el tamaño del modelo utilizando T5, demostramos que el prompt tuning se vuelve más competitivo a medida que aumenta la escala: a medida que los modelos superan los miles de millones de parámetros, nuestro método “cierra la brecha” y iguala el fuerte rendimiento del model tuning (donde se ajustan todos los pesos del modelo). Este hallazgo es especialmente relevante dado que los modelos grandes son costosos de compartir y servir, y la capacidad de reutilizar un modelo congelado para múltiples tareas de bajo nivel puede aliviar esta carga. Nuestro método puede verse como una simplificación del “prefix tuning” propuesto recientemente por Li y Liang (2021), y proporcionamos una comparación con este y otros enfoques similares. Finalmente, demostramos que condicionar un modelo congelado con soft prompts confiere beneficios en la robustez ante la transferencia de dominio, en comparación con el model tuning completo.

A diferencia de prefix tuning, solo la entrada de la primera capa recibe los tokens virtuales.

Uso

Hay dos decisiones que tomar: cuántos tokens virtuales se añaden a la entrada del modelo (num_virtual_tokens) - esto definirá cuántos parámetros entrenables habrá - y cómo se inicializan estos tokens.

Cree una PromptTuningConfig con el tipo de tarea, el texto de prompt tuning inicial para entrenar el modelo, el número de tokens virtuales a añadir y aprender, y un tokenizer.

from peft import PromptTuningConfig, PromptTuningInit, get_peft_model

prompt_tuning_init_text = "Classify if the tweet is a complaint or no complaint.\n"
peft_config = PromptTuningConfig(
    task_type="CAUSAL_LM",
    prompt_tuning_init=PromptTuningInit.TEXT,
    num_virtual_tokens=len(tokenizer(prompt_tuning_init_text)["input_ids"]),
    prompt_tuning_init_text=prompt_tuning_init_text,
    tokenizer_name_or_path="bigscience/bloomz-560m",
)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

Resumen de las pruebas de rendimiento

API

PromptTuningConfig

PromptEmbedding

>>> from peft import PromptEmbedding, PromptTuningConfig

>>> config = PromptTuningConfig(
...     peft_type="PROMPT_TUNING",
...     task_type="SEQ_2_SEQ_LM",
...     num_virtual_tokens=20,
...     token_dim=768,
...     num_transformer_submodules=1,
...     num_attention_heads=12,
...     num_layers=12,
...     prompt_tuning_init="TEXT",
...     prompt_tuning_init_text="Predict if sentiment of this review is positive, negative or neutral",
...     tokenizer_name_or_path="t5-base",
... )

>>> # t5_model.shared is the word embeddings of the base model
>>> prompt_embedding = PromptEmbedding(config, t5_model.shared)