# Đào tạo không có padding

Huấn luyện không padding (còn gọi là packing) nối nhiều mẫu thành một chuỗi duy nhất thay vì padding từng mẫu đến một độ dài cố định. Mô hình cần biết nơi mỗi mẫu kết thúc để chú ý (linear) không trộn lẫn các token giữa các mẫu.

Có hai cách để cung cấp các ranh giới đó.

- Hãy chuẩn bị trước bằng một bộ dữ liệu collator.
- Suy ra chúng từ `position_ids` khi chạy.

Cách tiếp cận được khuyến nghị là data collator. Hướng dẫn này giải thích lý do và nêu rõ các lưu ý của đường dẫn `position_ids`.

> [!WARNING]
> Việc suy luận ranh giới từ `position_ids` không phải là cách tiếp cận được khuyến khích và chỉ hoạt động với các mô hình chú ý tiêu chuẩn. Các mô hình chú ý tuyến tính như Qwen3-Next và Qwen3.5 (Gated DeltaNet) cùng các mô hình dựa trên tích chập sẽ bỏ qua ranh giới `position_ids` và yêu cầu data collator. Xem [Các mô hình chú ý tuyến tính và tích chập](#linear-attention-and-convolution-models).

## Chuẩn bị ranh giới bằng một bộ sắp xếp dữ liệu

Việc chuẩn bị trước các kwargs biên loại bỏ các vấn đề nêu trên và hoạt động giống nhau bất kể bạn có biên dịch hay không.

Sử dụng [DataCollatorWithFlattening](/docs/transformers/v5.23.0/vi/main_classes/data_collator#transformers.DataCollatorWithFlattening) để làm phẳng (flatten) mỗi batch và trả về thông tin ranh giới. Đặt `return_flash_attn_kwargs=True` để collator tính toán trước các ranh giới thay vì để chúng được suy ra từ `position_ids` vào lúc chạy. Truyền nó vào [Trainer](/docs/transformers/v5.23.0/vi/main_classes/trainer#transformers.Trainer) và không thêm `attention_mask`, vì batch đã được làm phẳng vốn đã mã hóa các ranh giới và một mask sẽ xung đột với bố cục đã đóng gói (packed layout).

> [!TIP]
> Padding-free dựa vào một triển khai FlashAttention cho các mô hình chú ý tiêu chuẩn, vì chỉ các kernel của FlashAttention mới cung cấp đường dẫn độ dài biến đổi mà một batch đã được làm phẳng cần.
>
> Cài đặt thư viện [kernels](./kernels), giúp tải về kernel FlashAttention đã được biên dịch sẵn mà không cần biên dịch cục bộ. Thư viện này cũng hoạt động như một phương án dự phòng khi [flash-attn](https://github.com/Dao-AILab/flash-attention) chưa được cài đặt cục bộ. Tải mô hình với `attn_implementation="kernels-community/flash-attn2"`.

```python
import torch
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer, DataCollatorWithFlattening, Trainer, TrainingArguments

model_id = "meta-llama/Llama-3.2-1B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    attn_implementation="flash_attention_2",
    device_map="auto",
)

dataset = load_dataset("Salesforce/wikitext", "wikitext-2-raw-v1", split="train")
dataset = dataset.map(
    lambda example: tokenizer(example["text"], truncation=True, max_length=512),
    remove_columns=dataset.column_names,
)

# return_flash_attn_kwargs=True precomputes the sequence boundaries
data_collator = DataCollatorWithFlattening(return_flash_attn_kwargs=True)

trainer = Trainer(
    model=model,
    args=TrainingArguments(output_dir="padding-free-llama"),
    train_dataset=dataset,
    data_collator=data_collator,
)
trainer.train()
```

## Suy luận ranh giới từ position_ids

FlashAttention có thể phát hiện các lô không có padding chỉ từ `position_ids` và vẫn được giữ lại để đảm bảo tính tương thích ngược, vì các framework hạ nguồn như TRL phụ thuộc vào nó.

Việc dựa vào `position_ids` có hai vấn đề.

- Việc phát hiện các chuỗi được đóng gói từ `position_ids` là một kiểm tra động, phụ thuộc vào dữ liệu. Cách này hoạt động mà không cần biên dịch, nhưng dưới `torch.compile` nó gây ra các điểm ngắt đồ thị. Hiện tại, kiểm tra này bị giới hạn ở `batch_size == 1` để hạn chế tần suất thực thi, vì kích thước batch thực tế thường lớn hơn.
- Compiled FlashAttention buộc một số kwargs phải là các `int` Python thuần. Việc suy luận chúng từ `position_ids` tại thời điểm chạy sẽ gây ra các đồng bộ hóa từ thiết bị sang host, và trên các phiên bản PyTorch cũ hơn, còn gây thêm một điểm ngắt đồ thị do quá trình chuyển đổi từ tensor sang int.

## Mô hình chú ý tuyến tính và tích chập

Gated DeltaNet (GDN), các lớp linear-attention khác và convolution nhân quả không có đường dẫn chỉ dùng `position_ids`, theo thiết kế. Chuẩn bị dữ liệu bằng collator là tùy chọn duy nhất được hỗ trợ cho các mô hình này.

> [!WARNING]
> Đừng chỉ dựa vào `position_ids` cho các mô hình GDN, linear-attention hoặc causal convolution. Hãy chuẩn bị các kwargs ranh giới, bao gồm `seq_idx`, bằng data collator.

Đối với các mô hình này, hãy đặt cả `return_flash_attn_kwargs=True` và `return_seq_idx=True`.

```python
from transformers import DataCollatorWithFlattening

data_collator = DataCollatorWithFlattening(
    return_flash_attn_kwargs=True,
    return_seq_idx=True,
)
```

Các gói kernel chính xác phụ thuộc vào cài đặt gốc của mô hình. Các mô hình Gated DeltaNet như Qwen3-Next và Qwen3.5 sử dụng [flash-linear-attention](https://github.com/fla-org/flash-linear-attention), còn các mô hình dựa trên Mamba như Bamba sử dụng [mamba-ssm](https://github.com/state-spaces/mamba). Cả hai đều dựa vào [causal-conv1d](https://github.com/Dao-AILab/causal-conv1d) cho phép tích chập. Nếu thiếu các kernel phù hợp, mô hình sẽ chuyển sang các cài đặt tham chiếu, bỏ qua các kwargs boundary và trộn lẫn các token giữa các mẫu.

> [!TIP]
> Nhiều kernel trong số này cũng có sẵn thông qua thư viện [kernels](./kernels), có thể tải về bản build tương thích cho bạn. flash-linear-attention thường vẫn cần cài đặt trực tiếp.

Khi các kwargs biên bị thiếu, các kernel sẽ âm thầm coi toàn bộ batch là một chuỗi duy nhất. Không có lỗi hay cảnh báo nào được phát sinh, vì một kiểm tra thời gian chạy sẽ thêm một nhánh phụ thuộc vào dữ liệu, gây xung đột với `torch.compile`.

## Các bước tiếp theo

- Xem hướng dẫn về [data collators](./data_collators) để biết thêm về các collator khác.
- Xem tài liệu tham khảo API của [DataCollatorWithFlattening](/docs/transformers/v5.23.0/vi/main_classes/data_collator#transformers.DataCollatorWithFlattening) để biết đầy đủ các đối số.
- Đọc [Cải thiện hiệu suất huấn luyện Hugging Face thông qua Packing với Flash Attention](https://huggingface.co/blog/packing-with-FA2) để xem các benchmark và hướng dẫn chi tiết hơn.

