tokenization
Tokenization(标记化)是一个术语,在自然语言处理(NLP)中,指将文本分解为单词、子词或字符等词元的过程;在区块链领域,则指通过智能合约将资产数字化表示的技术过程;在支付领域,则指通过支付标记(Token)替代敏感信息(如银行卡号)进行交易的技术过程。在NLP领域,其方法包含基于规则、统计和子词分割(如BPE、WordPiece)等,Tokenizer工具可将文本编码为数字ID序列。现代工具如Tiktokenizer结合自适应分割技术提升效率。2024年研究提出分
