In the field of large language models (LLMs), text data segmentation has always been a key researc

在大语言模型（LLM）领域，文本数据的分解一直是关键的研究方向。传统的分词技术，如字节对编码(Byte Pair Encoding)，通常在文本处理前将其切割为固定的单元，并基于此构建一个静态的词

大規模言語モデル（LLM）の分野において、テキストデータの分解は常に重要な研究テーマです。従来のトークン化技術、例えばバイトペアエンコーディング（Byte Pair Encoding）は、通常、テ

在大語言模型（LLM）領域，文本數據的分解一直是關鍵的研究方向。傳統的分詞技術，如字節對編碼(Byte Pair Encoding)，通常在文本處理前將其切割爲固定的單元，並基於此構建一個靜態的詞