# Utilitas template chat

Untuk ringkasan tentang template chat yang disertakan dengan TRL dan alasan di balik patch pelatihan, lihat [Template Chat](chat_templates).

## clone_chat_template[[trl.clone_chat_template]]

#### trl.clone_chat_template[[trl.clone_chat_template]]

```python
trl.clone_chat_template(model: PreTrainedModel, tokenizer: PreTrainedTokenizerBase, source_tokenizer_path: str, resize_to_multiple_of: int | None = 64)
```

[Sumber](https://github.com/huggingface/trl/blob/v1.18.2/trl/chat_template_utils.py#L54)

**Parameter:**

model ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) : Model yang akan diperbarui.

tokenizer ([PreTrainedTokenizerBase](https://huggingface.co/docs/transformers/v5.23.0/en/internal/tokenization_utils#transformers.PreTrainedTokenizerBase)) : Tokenizer yang akan diperbarui.

source_tokenizer_path (`str`) : Path atau identifier dari pretrained tokenizer yang akan diklon.

resize_to_multiple_of (`int` atau `None`, *opsional*, defaultnya `64`) : Lapisan embedding akan di-resize ke ukuran kosakata baru. Jika ini bukan `None`, ukuran kosakata baru akan dibulatkan ke atas ke kelipatan terdekat dari nilai ini.

**Mengembalikan:** model ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel))

Model diperbarui dengan token embeddings yang di-resize dan token EOS yang dikonfigurasi. tokenizer ([PreTrainedTokenizerBase](https://huggingface.co/docs/transformers/v5.23.0/en/internal/tokenization_utils#transformers.PreTrainedTokenizerBase)): Tokenizer diperbarui dengan chat template dan special tokens yang diterapkan. added_tokens (`list[int]`): Daftar token yang ditambahkan ke tokenizer dari tokenizer sumber.

Mengklon template chat dari tokenizer sumber ke tokenizer target dan memperbarui model secara sesuai.

Fungsi ini:
- Menyalin template chat dari tokenizer sumber ke tokenizer target.
- Menambahkan token baru apa pun dari tokenizer sumber ke tokenizer target.
- Mengatur dan menyinkronkan token EOS di antara tokenizer dan model.
- Mengubah ukuran token embeddings model agar sesuai dengan ukuran kosakata baru, dengan opsi pembulatan ke atas menjadi kelipatan dari nilai yang ditentukan. Dalam kasus seperti itu, token dummy ditambahkan ke tokenizer untuk memastikan ukuran kosakata sesuai dengan dimensi embedding.

Contoh:
```python
>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> from trl import clone_chat_template

>>> model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B")
>>> tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.2-1B")
>>> model, tokenizer, added_tokens = clone_chat_template(model, tokenizer, "Qwen/Qwen3-0.6B")
```

## is_chat_template_prefix_preserving[[trl.chat_template_utils.is_chat_template_prefix_preserving]]

#### trl.chat_template_utils.is_chat_template_prefix_preserving[[trl.chat_template_utils.is_chat_template_prefix_preserving]]

```python
trl.chat_template_utils.is_chat_template_prefix_preserving(processing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin)
```

[Sumber](https://github.com/huggingface/trl/blob/v1.18.2/trl/chat_template_utils.py#L1042)

**Parameter:**

processing_class (`PreTrainedTokenizerBase` atau `ProcessorMixin`) : Instans tokenizer atau processor untuk diperiksa.

**Mengembalikan:** `bool`

`True` jika template chat mempertahankan prefiks, `False` jika tidak.

Periksa apakah template chat mempertahankan prefiks saat diterapkan.

Template chat yang mempertahankan prefiks merender pesan-pesan sebelumnya secara identik terlepas dari pesan apa pun yang mengikutinya. Sifat ini diperlukan oleh `_get_tool_suffix_ids`, yang mengekstrak token format respons alat dengan membandingkan tokenisasi dengan dan tanpa pesan alat yang ditambahkan.

## get_training_chat_template[[trl.get_training_chat_template]]

#### trl.get_training_chat_template[[trl.get_training_chat_template]]

```python
trl.get_training_chat_template(processing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = None, tokenizer: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = None, require_prefix_preservation: bool = True)
```

[Sumber](https://github.com/huggingface/trl/blob/v1.18.2/trl/chat_template_utils.py#L1291)

**Parameter:**

processing_class (`PreTrainedTokenizerBase` atau `ProcessorMixin`) : Instans tokenizer atau processor untuk diperiksa.

require_prefix_preservation (`bool`, *opsional*, defaultnya `True`) : Apakah template tanpa template pelatihan yang disimpan juga harus bersifat prefix-preserving agar dikembalikan apa adanya. Loss khusus asisten hanya membutuhkan penanda, sehingga `SFTTrainer` menyetelnya menjadi `False`.

**Mengembalikan:** `str` atau `None`

Template chat yang kompatibel dengan pelatihan, atau `None` jika tidak diperlukan patching.

Dapatkan template chat yang kompatibel dengan pelatihan, jika diperlukan.

Mengembalikan template chat yang telah di-patch, bersifat prefix-preserving, dan mencakup penanda `{%% generation %%}` / `{%% endgeneration %%}` untuk masking loss khusus asisten. Template dengan template pelatihan yang tersimpan selalu menerimanya, bahkan jika template tersebut memiliki penandanya sendiri. Mengembalikan `None` jika template lain sudah memenuhi persyaratan. Template yang didukung tercantum dalam [Template pelatihan](chat_templates#training-templates).

Contoh:

```python
>>> from trl.chat_template_utils import get_training_chat_template
>>> from transformers import AutoTokenizer

>>> tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")
>>> messages1 = [
...     {"role": "user", "content": "What is 2 * 3?"},
...     {
...         "role": "assistant",
...         "content": "",
...         "tool_calls": [{"type": "function", "function": {"name": "multiply", "arguments": {"a": 2, "b": 3}}}],
...     },
... ]
>>> messages2 = messages1 + [
...     {"role": "tool", "name": "multiply", "content": "6"},
... ]
>>> tokenizer.apply_chat_template(messages1, tokenize=False)
'<|im_start|>user\nWhat is 2 * 3?<|im_end|>\n<|im_start|>assistant\n<think>\n\n</think>\n\n<tool_call>\n{"name": "multiply", "arguments": {"a": 2, "b": 3}}\n</tool_call><|im_end|>\n'

>>> tokenizer.apply_chat_template(messages2, tokenize=False, add_generation_prompt=True)
'<|im_start|>user\nWhat is 2 * 3?<|im_end|>\n<|im_start|>assistant\n<tool_call>\n{"name": "multiply", "arguments": {"a": 2, "b": 3}}\n</tool_call><|im_end|>\n<|im_start|>user\n<tool_response>\n6\n</tool_response><|im_end|>\n<|im_start|>assistant\n'

>>> #                                                        ^ think tags missing
>>> chat_template = get_training_chat_template(tokenizer)
>>> tokenizer.apply_chat_template(messages1, tokenize=False, chat_template=chat_template)
'<|im_start|>user\nWhat is 2 * 3?<|im_end|>\n<|im_start|>assistant\n<think>\n\n</think>\n\n<tool_call>\n{"name": "multiply", "arguments": {"a": 2, "b": 3}}\n</tool_call><|im_end|>\n'

>>> tokenizer.apply_chat_template(
...     messages2, tokenize=False, add_generation_prompt=True, chat_template=chat_template
... )
'<|im_start|>user\nWhat is 2 * 3?<|im_end|>\n<|im_start|>assistant\n<think>\n\n</think>\n\n<tool_call>\n{"name": "multiply", "arguments": {"a": 2, "b": 3}}\n</tool_call><|im_end|>\n<|im_start|>user\n<tool_response>\n6\n</tool_response><|im_end|>\n<|im_start|>assistant\n'
```

