Transformers documentation
Thêm một mô hình với các bộ biến đổi mô-đun
Thêm một mô hình với các bộ biến đổi mô-đun
Modular transformers giảm lượng mã cần thiết để thêm một mô hình bằng cách cho phép import và kế thừa, trái ngược với chính sách một mô hình, một tệp. Thay vì lặp lại các thành phần mô hình giữa các tệp, hãy thêm một tệp modular vào thư mục mô hình của bạn và kế thừa từ các lớp hiện có.
Bộ chuyển đổi tạo ra các tệp độc lập từ tệp mô-đun. Người dùng nhận được cùng một giao diện tệp đơn mà họ đã quen thuộc.
Modular transformers không nhằm thay thế mã modeling cũ. Nếu mô hình của bạn không dựa trên một mô hình có sẵn, hãy thêm thủ công một tệp
modeling.py. Điều tương tự cũng áp dụng cho các tệp configuration, tokenization hoặc processing không thể kế thừa một cách sạch sẽ từ một tệp tương tự.Không có một thứ tự đúng duy nhất. Một số người đóng góp viết file modular trước rồi sinh ra từ đó. Những người khác bắt đầu với
modeling.pyviết tay và refactor nó thành file modular sau. Cả hai cách đều hiệu quả.
Implementing a modular file
Bắt đầu bằng cách tìm một model trong Transformers tương tự với model của bạn. Các điểm khởi đầu tốt là Mistral, Qwen2, Cohere và Cohere2, cùng với Llama. Bảng bên dưới ánh xạ các thành phần phổ biến đến các model mà bạn có thể kế thừa.
| Thành phần | Mô hình |
|---|---|
| Hỗn hợp chuyên gia | Mixtral hoặc Qwen2-MoE |
| Nhúng xoay xen kẽ (và/hoặc một phần) | GLM, Phi |
| Mô hình không gian trạng thái | Jamba, Bamba, Zamba, Mamba2 |
| Trạng thái ẩn lặp | Gemma2 |
| Các mẫu chú ý cửa sổ trượt/chú ý đầy đủ theo từng lớp | Gemma2, Cohere2 |
| Cắt QKV | Olmo |
| Chuẩn hóa QK | Olmo2, Cohere |
| QKV hợp nhất (không được khuyến nghị) | Phi3 |
Sử dụng công cụ modular-detector-v2 để tìm các triển khai hiện có để kế thừa. Dán một đoạn mã và nó sẽ trả về các phương thức tương tự nhất đã có trong Transformers, giúp bạn xác định lớp cha phù hợp nhất trước khi bắt đầu viết.
Đừng sửa đổi một model hiện có chỉ để việc kế thừa hoạt động cho model mới của bạn. Nếu việc đổi tên hoặc tạo lớp con của một lớp cha quá cồng kềnh, hãy sao chép trực tiếp phần mã liên quan thay vào đó.
Tạo src/transformers/models/<name>/modular_<name>.py, trong đó <name> khớp với tên thư mục model dạng snake_case. Phần này hướng dẫn bạn triển khai Olmo2 từ Olmo bằng cách tiếp cận modular (tham khảo tệp modular_olmo2.py gốc).
Cấu hình
Có hai điểm mà Olmo2Config khác với OlmoConfig.
- Có một đối số mới,
rms_norm_eps. - Tham số
clip_qkvkhông còn được sử dụng nữa.
Khai báo các đối số mới dưới dạng chú thích kiểu ở cấp lớp với một giá trị mặc định. Đối với các đối số đã bị loại bỏ, gán AttributeError() để tắt thuộc tính kế thừa trong tệp được tạo (xem Loại bỏ thuộc tính).
- @auto_docstring(checkpoint="allenai/OLMo-7B-hf")
+ @auto_docstring(checkpoint="allenai/Olmo2-7B-1124-hf")
+ @strict
- class OlmoConfig(PreTrainedConfig):
+ class Olmo2Config(OlmoConfig):
...
- model_type = "olmo"
+ model_type = "olmo2"
...
+ rms_norm_eps: float = 1e-5
- clip_qkv: float | None = None
+ clip_qkv = AttributeError()@auto_docstring tự động tạo tài liệu cho các tham số chuẩn (xem hướng dẫn @auto_docstring). @strict từ chối các kwargs không xác định tại thời điểm khởi tạo, giúp phát hiện sớm các lỗi chính tả và tham số lỗi thời. Hãy thêm cả hai vào mọi lớp config vì các decorator không được kế thừa từ lớp cha. Khai báo chúng một cách tường minh ngay cả khi config cha đã có sẵn.
Để đặt một thuộc tính dẫn xuất hoặc xử lý logic tương thích ngược, hãy dùng __post_init__ thay vì __init__. Ví dụ, Cohere2 tính head_dim và suy ra layer_types tại thời điểm khởi tạo.
def __post_init__(self, **kwargs):
if self.num_key_value_heads is None:
self.num_key_value_heads = self.num_attention_heads
self.head_dim = self.hidden_size // self.num_attention_heads
super().__post_init__(**kwargs)Đối với các mô hình hỗ trợ song song tensor hoặc pipeline, hãy định nghĩa base_model_tp_plan và base_model_pp_plan dưới dạng từ điển cấp lớp trên config. Cả hai từ điển đều xác định cách chia nhỏ mô hình trên các thiết bị. Xem các config hiện có như Olmo2 hoặc Cohere2 để có ví dụ.
class MyNewModelConfig(PreTrainedConfig):
model_type = "my_new_model"
# Tensor parallelism: maps layer name patterns to sharding strategies.
# Use "colwise" / "rowwise" for standard sharding, or the "gather_output" /
# "split_input" variants when an extra op (e.g. a QK norm) prevents fusing.
base_model_tp_plan = {
"layers.*.self_attn.q_proj": "colwise",
"layers.*.self_attn.k_proj": "colwise",
"layers.*.self_attn.v_proj": "colwise",
"layers.*.self_attn.o_proj": "rowwise",
"layers.*.mlp.gate_proj": "colwise",
"layers.*.mlp.up_proj": "colwise",
"layers.*.mlp.down_proj": "rowwise",
}
# Pipeline parallelism: maps submodule names to their (input, output) tensor names.
base_model_pp_plan = {
"embed_tokens": (["input_ids"], ["inputs_embeds"]),
"layers": (["hidden_states", "attention_mask"], ["hidden_states"]),
"norm": (["hidden_states"], ["hidden_states"]),
}Chuẩn
Để sao chép một lớp cha mà không có thay đổi nào, hãy kế thừa bằng pass. Linter sẽ sao chép nội dung của lớp cha và đổi tên tất cả các tham chiếu để khớp với mô hình mới.
from ..olmo.modeling_olmo import OlmoRotaryEmbedding
class Olmo2RotaryEmbedding(OlmoRotaryEmbedding):
passĐể thay đổi hành vi cụ thể, hãy kế thừa và ghi đè chỉ những phần khác biệt. Olmo2RMSNorm khác với LlamaRMSNorm ở một dòng. Phép nhân diễn ra trước khi chuyển đổi lại về dtype của đầu vào, chứ không phải sau đó.
from ..llama.modeling_llama import LlamaRMSNorm
class Olmo2RMSNorm(LlamaRMSNorm):
def forward(self, hidden_states):
input_dtype = hidden_states.dtype
hidden_states = hidden_states.to(torch.float32)
variance = hidden_states.pow(2).mean(-1, keepdim=True)
hidden_states = hidden_states * torch.rsqrt(variance + self.variance_epsilon)
- return self.weight * hidden_states.to(input_dtype)
+ return (self.weight * hidden_states).to(input_dtype)Chú ý
Attention của Olmo2 giống hệt với Olmo ngoại trừ việc nó áp dụng RMSNorm cho queries và keys, và loại bỏ qkv clipping. super().__init__(...) sao chép thân của lớp cha và thêm hai dòng norm mới. forward được định nghĩa lại hoàn toàn vì queries và keys giờ đi qua các norm trước khi được chiếu (projection). Linter cũng kéo các hàm đã import vào tệp được tạo, bao gồm apply_rotary_pos_emb, eager_attention_forward, và các phụ thuộc của chúng.
class Olmo2Attention(OlmoAttention):
def __init__(self, config: Olmo2Config, layer_idx: int | None = None):
super().__init__(config, layer_idx=layer_idx)
+ self.q_norm = Olmo2RMSNorm(config.num_attention_heads * self.head_dim, config.rms_norm_eps)
+ self.k_norm = Olmo2RMSNorm(config.num_key_value_heads * self.head_dim, config.rms_norm_eps)
def forward(self, ...):
...
- query_states = self.q_proj(hidden_states)
- key_states = self.k_proj(hidden_states)
+ query_states = self.q_norm(self.q_proj(hidden_states))
+ key_states = self.k_norm(self.k_proj(hidden_states))
value_states = self.v_proj(hidden_states)
- if self.config.clip_qkv is not None:
- query_states.clamp_(min=-self.config.clip_qkv, max=self.config.clip_qkv)
- key_states.clamp_(min=-self.config.clip_qkv, max=self.config.clip_qkv)
- value_states.clamp_(min=-self.config.clip_qkv, max=self.config.clip_qkv)
-
...DecoderLayer
Sau super().__init__(...), ghi đè các thuộc tính norm bằng các instance của Olmo2RMSNorm và gán lại self.self_attn cho lớp Olmo2Attention mới. Lệnh del self.input_layernorm xóa bỏ việc gán input_layernorm của lớp cha vì Olmo2 áp dụng norm sau attention thay vì trước. Xem Xóa thuộc tính để biết chi tiết về những gì del có và không xóa được.
forward được viết lại để phản ánh vị trí chuẩn hóa sau chú ý. Việc viết lại forward chỉ cần thiết khi một thuộc tính được đổi tên, không cần khi chỉ có kiểu của nó thay đổi.
class Olmo2DecoderLayer(OlmoDecoderLayer):
def __init__(self, config: Olmo2Config, layer_idx: int):
super().__init__(config, layer_idx=layer_idx)
- self.self_attn = OlmoAttention(config=config, layer_idx=layer_idx)
- self.input_layernorm = OlmoLayerNorm(config.hidden_size)
- self.post_attention_layernorm = OlmoLayerNorm(config.hidden_size)
+ self.self_attn = Olmo2Attention(config=config, layer_idx=layer_idx)
+ del self.input_layernorm
+ self.post_attention_layernorm = Olmo2RMSNorm(config.hidden_size, eps=config.rms_norm_eps)
+ self.post_feedforward_layernorm = Olmo2RMSNorm(config.hidden_size, eps=config.rms_norm_eps)
def forward(self, ...):
residual = hidden_states
- hidden_states = self.input_layernorm(hidden_states)
# Self Attention
hidden_states, _ = self.self_attn(...)
- hidden_states = residual + hidden_states
+ hidden_states = self.post_attention_layernorm(hidden_states)
+ hidden_states = residual + hidden_states
# Fully Connected
residual = hidden_states
- hidden_states = self.post_attention_layernorm(hidden_states)
hidden_states = self.mlp(hidden_states)
- hidden_states = residual + hidden_states
+ hidden_states = self.post_feedforward_layernorm(hidden_states)
+ hidden_states = residual + hidden_states
return hidden_statesMô hình
Chỉ loại của self.norm thay đổi ở đây. Phương thức forward giống hệt với phương thức của lớp cha, nên công cụ kiểm tra mã sẽ tự động kế thừa nó.
class Olmo2Model(OlmoModel):
def __init__(self, config: Olmo2Config):
super().__init__(config)
- self.layers = nn.ModuleList(
- [OlmoDecoderLayer(config, layer_idx) for layer_idx in range(config.num_hidden_layers)]
- )
- self.norm = OlmoLayerNorm(config.hidden_size)
+ self.norm = Olmo2RMSNorm(config.hidden_size, eps=config.rms_norm_eps)
+ self.layers = nn.ModuleList(
+ [Olmo2DecoderLayer(config, layer_idx) for layer_idx in range(config.num_hidden_layers)]
+ )Đầu mô hình
Logic giống hệt với OlmoForCausalLM, vì vậy không cần thay đổi gì.
from ..olmo.modeling_olmo import OlmoForCausalLM
class Olmo2ForCausalLM(OlmoForCausalLM):
passCác lớp khác
modeling_olmo2.py do linter tạo ra cũng chứa các lớp (Olmo2MLP, Olmo2RotaryEmbedding, Olmo2PreTrainedModel) không được định nghĩa rõ ràng trong modular_olmo2.py.
Linter sẽ kéo theo bất kỳ class nào mà một class kế thừa phụ thuộc vào, trừ khi bạn định nghĩa lại nó một cách rõ ràng. Các hàm được import như apply_rotary_pos_emb cũng tuân theo cùng quy tắc này.
Ví dụ, OlmoDecoderLayer có self.mlp = OlmoMLP(config). Olmo2MLP chưa bao giờ được định nghĩa trong file modular, vì vậy linter sẽ tự động tạo ra nó, tương đương với việc sử dụng pass.
from ..olmo.modeling_olmo import OlmoMLP
class Olmo2MLP(OlmoMLP):
passNếu bạn muốn Olmo2MLP kế thừa từ một model khác, hãy chỉ định rõ ràng.
# switch to Mistral definition
from ..mistral.modeling_mistral import MistralMLP
class Olmo2MLP(MistralMLP):
passHoàn thiện tệp
Mọi tệp module đều phải khai báo logger và danh sách __all__ ở cấp module.
logger = logging.get_logger(__name__)
__all__ = [
"Olmo2Config",
"Olmo2ForCausalLM",
"Olmo2Model",
"Olmo2PreTrainedModel",
]__all__ phải liệt kê mọi class công khai trong file. Bộ chuyển đổi và các lệnh import phía sau phụ thuộc vào nó. Một class không có trong __all__ sẽ không được xuất đúng cách.
Tạo các tệp mô hình
Script modular_model_converter.py tạo ra các tệp độc lập modeling.py, configuration.py và các tệp khác từ tệp modular của bạn. Đối với mỗi lớp kế thừa, nó sao chép thân lớp cha vào lớp con, đổi tên tất cả các tham chiếu cho khớp với mô hình mới, và kéo theo bất kỳ hàm hoặc lớp trợ giúp nào mà các lớp cha đó phụ thuộc.
Các tệp đầu ra không chứa bất kỳ import liên mô hình nào và không kế thừa từ các thư mục mô hình khác. Linter làm phẳng kế thừa xuống một cấp. Nếu Olmo2Attention kế thừa từ OlmoAttention, thì Olmo2Attention được tạo ra sẽ hoàn toàn tự chứa. Nhưng nếu chính OlmoAttention lại kế thừa từ một thứ khác, linter sẽ không inline ông nội đó.
Chạy lệnh bên dưới để tạo các tệp từ một tệp mô-đun.
python utils/modular_model_converter.py your_model
Không bao giờ chỉnh sửa trực tiếp các tệp đã được tạo vì mọi thay đổi sẽ bị ghi đè ở lần chạy tiếp theo.
Các mẫu cho các tệp mô-đun
Các phần bên dưới mô tả các mẫu sử dụng phổ biến, chẳng hạn như xóa thuộc tính hoặc ghi đè các phương thức đã được trang trí, khi làm việc với một tệp modular.
Xóa các thuộc tính
Việc xóa một thuộc tính kế thừa phụ thuộc vào việc bạn đang làm việc với một lớp config hay một lớp con của nn.Module.
Đối với một lớp cấu hình, gán AttributeError() cho thuộc tính ở cấp độ lớp.
class MyNewConfig(ParentConfig):
removed_attr = AttributeError()Công cụ kiểm tra mã (linter) sẽ xóa hoàn toàn khai báo thuộc tính khỏi tệp cấu hình được tạo ra. Các lớp cấu hình sử dụng bố cục kiểu dataclass mà không có __init__, do đó việc gán AttributeError() ở cấp độ lớp là cách tiếp cận đúng.
Đối với một lớp con của nn.Module, hãy sử dụng del self.attribute sau super().__init__(...).
class MyNewModel(ParentModel):
def __init__(self, config: MyNewConfig):
super().__init__(config)
del self.attributedel self.attribute chỉ xóa dòng gán self.attribute = ... khỏi thân của lớp cha được sao chép. Nó không xóa bất kỳ dòng nào khác tham chiếu đến self.attribute. Nếu phương thức forward hoặc các phương thức khác của lớp cha cũng tham chiếu đến thuộc tính này, hãy ghi đè các phương thức đó.
class DummyModel(nn.Module):
def __init__(self, config: DummyConfig):
super().__init__()
self.attribute = config.attribute
if self.attribute:
# do more stuff with `self.attribute` here
...
class MyNewDummyModel(DummyModel):
def __init__(self, config: MyNewDummyConfig):
super().__init__(config)
del self.attribute
# 'self.attribute = config.attribute' is removed, but the 'if self.attribute:' block remains.
# Override forward() or any other method that references self.attribute.Làm việc với super()
super().__init__(config) cho bộ chuyển đổi biết rằng cần sao chép thân của lớp cha vào lớp con. Có hai mẫu cho phép bạn ghi đè hành vi này.
- Gọi trực tiếp một lớp cha cụ thể khi bạn cần đầu ra được tạo ra gọi đến lớp ông bà (
nn.Module.__init__) thay vì lớp cha modular. - Sử dụng
**super_kwargsđể kế thừa đầy đủ chữ ký của phương thức cha trong khi thêm docstring tùy chỉnh hoặc thay thế decorator.
Gọi trực tiếp một lớp ông bà
Hãy nêu rõ bạn đang gọi class nào khi cần super() để nhắm đến class cha của class được tạo ra thay vì class cha modular. Ví dụ bên dưới gọi trực tiếp nn.Module.__init__(self). DummyModule bản thân là một nn.Module, nên trình chuyển đổi sẽ viết nó thành super().__init__() trong MyNewDummyModule được tạo ra.
class MyNewDummyModule(DummyModule): | class MyNewDummyModule(nn.Module):
|
def __init__(self): | def __init__(self):
nn.Module.__init__(self) | super().__init__()
self.foo = config.foo | self.foo = config.foo
... | ...super_kwargs
Sử dụng **super_kwargs để kế thừa đầy đủ chữ ký của phương thức cha trong khi thêm docstring tùy chỉnh hoặc thay thế decorator. Trong chữ ký được ghi đè, nó báo cho linter mở rộng tất cả các đối số của cha trong kết quả được tạo ra.
Cách sử dụng phổ biến nhất là thêm docstring cụ thể cho mô hình, chẳng hạn như tài liệu hóa tham số labels, mà không cần viết lại toàn bộ chữ ký.
# modular_gemma.py
class GemmaForCausalLM(LlamaForCausalLM):
def forward(**super_kwargs):
r"""
Example:
```python
>>> from transformers import AutoTokenizer, GemmaForCausalLM
>>> model = GemmaForCausalLM.from_pretrained("google/gemma-7b")
...
```"""
return super().forward(**super_kwargs)GemmaForCausalLM.forward được tạo ra có đầy đủ chữ ký của LlamaForCausalLM mà không cần sao chép thủ công.
**super_kwargs là một lối tắt cho các trường hợp đặc thù. Nếu bạn đang thay đổi hành vi, hãy viết đầy đủ chữ ký thay thế.
Xóa các phương thức không sử dụng
Xóa một phương thức cha bằng cách ghi đè nó bằng câu lệnh raise AttributeError(""). Công cụ kiểm tra mã sẽ xóa phương thức đó khỏi tệp được tạo.
class GemmaTokenizer(LlamaTokenizer):
...
def get_spm_processor(self):
raise AttributeError("Not needed for Gemma")
def unk_token_length(self):
raise AttributeError("Not needed for Gemma")Ghi đè các phương thức được trang trí
Khi bạn ghi đè một phương thức cha có trang trí, bộ trang trí của phương thức cha sẽ tự động được kế thừa. Nếu bạn thêm bộ trang trí của riêng mình, nó sẽ thay thế bộ trang trí của phương thức cha.
Hai decorator xuất hiện xuyên suốt thư viện, một dùng để lưu lại các đầu ra trung gian của mô hình và một dùng để tự động tạo docstring.
Trong ví dụ bên dưới, một lớp con ghi đè phương thức cha đã được trang trí mà không thêm bộ trang trí riêng. Bộ trang trí của lớp cha được kế thừa.
class NewModel(DummyModel): | class NewModel(nn.Module):
... | ...
|
def forward(...): | @decorator(...)
... | def forward(...):
| ...Nếu bạn thêm một decorator mới, decorator của bạn sẽ thay thế decorator của cha.
class NewModel(DummyModel): | class NewModel(nn.Module):
... | ...
|
@my_new_decorator(...) | @my_new_decorator(...)
def forward(...): | def forward(...):
... | ...Đặt tên đặc biệt
Trình kiểm tra mã (linter) tự động đổi tên mọi thứ khi kế thừa từ một lớp. Hãy sử dụng cùng một tiền tố tên lớp cho tất cả các lớp trong cùng một tệp.
Tránh trộn lẫn các tiền tố như trong ví dụ bên dưới. MyModelIncredibleMLP vi phạm quy ước đặt tên, và linter sẽ không biết nên dùng MyModelIncredible hay MyModel khi đổi tên các phụ thuộc cấp cao hơn.
class MyModelIncredibleMLP(LlamaMLP):
...
class MyModelDecoderLayer(LlamaDecoderLayer):
...Khi không có phụ thuộc ngầm, bạn có thể đổi tên một lớp cục bộ. Hãy định nghĩa lại rõ ràng mọi lần đề cập khác đến lớp đó với mẫu tên mới. Nếu không, linter sẽ thêm một lớp MyModelMLP không mong muốn bên cạnh MyModelIncredibleMLP.
Trình kiểm tra mã sẽ đưa ra cảnh báo khi phát hiện một tiền tố mơ hồ.
We detected multiple prefix names when inheriting from transformers.models.llama.modeling_llama: ('Emu3Text', 'Emu3'). We will only use the most used 'Emu3' prefix when grabbing args and dependencies. Make sure to subclass the intermediate classes with the prefix you want (if different from 'Emu3') or use a single prefix in all the modular (best).Các tiền tố mơ hồ thường gặp nhất ở các mô hình đa phương thức, trong đó tên lớp bao gồm một định ngữ phương thức như Text. Để gán một tiền tố cụ thể cho một phụ thuộc, hãy đặt tên lại nó một cách rõ ràng bằng một pass.
class Emu3TextMLP(LlamaMLP):
passChuỗi mô tả cấu hình
Linter hiện chưa hỗ trợ kế thừa docstring một phần. Khi thêm hoặc xóa các thuộc tính cấu hình, hãy thêm trực tiếp docstring đầy đủ trong file modular dưới định nghĩa lớp.
Chuyển đổi checkpoint
Sau khi bạn đã tạo các tệp modeling, hãy xác minh rằng các trọng số thực được nạp đúng cách. Viết một script chuyển đổi để dịch định dạng checkpoint từ nguồn gốc sang định dạng tương thích với Transformers, sau đó lưu nó lên Hub.
Viết một script chuyển đổi
Thêm tệp convert_<model>_to_hf.py vào src/transformers/models/<model>/. Script này tải trọng số upstream, đổi tên và thay đổi hình dạng các key để khớp với tên tham số của module của bạn, và lưu kết quả bằng save_pretrained().
Tìm một script có sẵn để sao chép và điều chỉnh. Các model trong
src/transformers/models/bao gồm mộtconvert_*_to_hf.pymà bạn có thể dùng làm điểm khởi đầu.
Sau khi chạy script, hãy tải checkpoint đã lưu bằng from_pretrained() và xác nhận rằng mọi trọng số dự kiến đều được tải đúng. Các khóa checkpoint không được sử dụng cho thấy tên không khớp, vì vậy hãy in chúng ra để phát hiện vấn đề sớm.
model = YourModelForTask.from_pretrained("path/to/output/")Kiểm tra sự khớp về shape và tên khi lặp qua các key. Sự không khớp về shape thường có nghĩa là một tham số trong config của bạn sai, kiến trúc khác với bản gốc, hoặc một trọng số cần được chuyển vị (transpose).
for key, tensor in original_state_dict.items():
hf_tensor = hf_model.state_dict().get(mapped_key)
assert hf_tensor.shape == tensor.shape, (
f"Shape mismatch for {key}: expected {tensor.shape}, got {hf_tensor.shape}"
)Sửa các vấn đề bằng cách lặp lại giữa tệp modular, tệp modeling được tạo và script chuyển đổi cho đến khi tất cả trọng số được nạp sạch sẽ.
Sau khi checkpoint được nạp sạch sẽ, hãy đẩy nó lên Hub bằng push_to_hub(). Tham khảo hướng dẫn chia sẻ model để biết thêm chi tiết.
model.push_to_hub("username/your-model-name")Bản ánh xạ chuyển đổi thời gian chạy
Thêm một ánh xạ thời gian chạy vào src/transformers/conversion_mapping.py khi trọng lượng đã phát hành không khớp với bố cục tham số của module của bạn. Các trường hợp phổ biến bao gồm trọng lượng đã hợp nhất được lưu riêng và các tensor chuyên gia MoE cần được xếp chồng. Ánh xạ này cho phép from_pretrained() tải checkpoint từ Hub mà không cần bước xuất riêng biệt.
Tham khảo hướng dẫn tải trọng số động để biết cách viết các quy tắc WeightRenaming và WeightConverter và đăng ký chúng cho model_type của bạn.
Các bước tiếp theo
- Quy tắc cấu trúc mô hình là các quy tắc tĩnh được áp dụng cho tất cả các tệp
modeling_*.py,modular_*.pyvàconfiguration_*.py. Chạymake typingđể kiểm tra chúng trước khi mở PR. - Thêm các thành phần xử lý thị giác hướng dẫn cách thêm bộ xử lý ảnh, bộ xử lý video và bộ xử lý cho một mô hình đa phương thức.
- Tự động tạo docstring cho thấy cách sử dụng
@auto_docstringđể bạn không phải tự viết tài liệu cho các tham số của các API model dùng chung. - Viết bài kiểm tra mô hình bao gồm cách viết các bài kiểm tra tích hợp cho mô hình mới của bạn và chạy nó cục bộ.
- Các kiểm tra pull request giải thích các kiểm tra CI mà PR của bạn phải vượt qua trước khi có thể được hợp nhất, và cách tái hiện cũng như khắc phục chúng trên máy cục bộ.