自适应网站三套代码dtc建站服务
BertTokenizerFast类
1、特点
速度快：底层使用Rust实现，比纯python的BertTokenizer快得多（尤其是批量处理的时候），且支持多线程使用。
功能一致：与BertTokenizer的API完全兼容，可以直接替换使用。支持所有的BERT变体。
额外功能：提供更丰富的后处理选项（如截断、填充的精细控制）。支持直接返回token_type_ids、attention_mask等张量。
2、基本用法
from transformers import BertTokenizerFast# 初始化分词器，以chinese-bert-wwm模型为例
tokenizer = BertTokenizerFast.from_pretrained('chinese-bert-wwm')# 单条文本分词
text = ‘你好，明天！’
encoded_input = tokenizer(text, return_tensors='pt') # 返回pytorch张量
"""
输出结果：
{'input_ids': tensor([[101, 3209, 1921, 8024, 872, 1962, 8013, 102]]),'token_type_ids': tensor([[0, 0, 0, 0, 0, 0, 0, 0]]),'attention_mask': tensor([[1, 1, 1, 1, 1, 1, 1, 1]])
}
"""
# 批量文本分词
texts = ['明天，你好！', '你好，明天！']
batch_encoded = tokenizer(texts, padding=True, truncation=True, return_tensors='pt')
"""
输出结果：
{'input_ids': tensor([[101, 3209, 1921, 8024, 872, 1962, 8013, 102], [101, 872, 1962, 8024, 3209, 1921, 8013, 102]]),'token_type_ids': tensor([[0, 0, 0, 0, 0, 0, 0, 0], [0, 0, 0, 0, 0, 0, 0, 0]]),'attention_mask': tensor([[1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1]])
}
"""3、关键参数
| 参数名 | 作用 |
|---|---|
| padding=True | 自动填充到批次中最长序列长度 |
| trunction=True | 自动截断到模型最大长度（512） |
| return_tensors='pt' | 返回pytorch张量（可选"tf"为TensorFlow或"np"为numpy） |
| max_length=128 | 显式指定最大长度 |
| add_special_tokens | 是否添加[cls]和[sep]，默认为True |
| return_offsets_mapping | 返回每个token在原始文本中的字符集起始和结束位置 |
| skip_special_tokens | 在解码（将Token ID转回文本）时跳过特殊token（如[CLS]、[SEP]、[PAD]等），默认值为False，设为True后输出更干净的文本 |
4、自定义tokens
tokenizer.add_tokens(['亚马逊', '速卖通']) # 添加新的token
model.resize_token_embeddings(len(tokenizer)) # 调整模型嵌入层5、偏移量映射（用于命名实体识别任务）
encoded_input = tokenizer(text, return_offsets_mapping=True)
print(encoded_input["offset_mapping"]) # 输出每个token在原文中的位置6、快速解码
decoded_text = tokenizer.decode(encoded_input["input_ids"][0], skip_special_tokens=True)