Tokenization（标记化）是一个术语，在自然语言处理（NLP）中，指将文本分解为单词、子词或字符等词元的过程；在区块链领域，则指通过智能合约将资产数字化表示的技术过程；在支付领域，则指通过支付标记（Token）替代敏感信息（如银行卡号）进行交易的技术过程 。在NLP领域，其方法包含基于规则、统计和子词分割（如BPE、WordPiece）等，Tokenizer工具可将文本编码为数字ID序列 。现代工具如Tiktokenizer结合自适应分割技术提升效率 。2024年研究提出分层网络H-Net，通过动态分块尝试替代传统分词流程 。该技术已扩展至支付安全等领域，使用标记替代原始敏感信息进行交易 。同时，学界存在关于模型是否仍需独立分词阶段的讨论 。
想要了解更多“tokenization”的信息，请点击：tokenization百科
