大規模言語モデル（LLM）の分野において、テキストデータの分解は常に重要な研究テーマです。従来のトークン化技術、例えばバイトペアエンコーディング（Byte Pair Encoding）は、通常、テ

12月6日至7日，第十届语言服务高级论坛在广州大学举行。会上，粤语语料库建设与大模型评测实验室重磅发布了其研发的 AI-DimSum 多模态粤语语料库平台，标志着在全球拥有上亿用户的粤语在数字化发

在广州市的广州大学，第十届语言服务高级论坛暨2025年度国家应急语言服务团学术年会于12月6日至7日成功举行。此次大会上，广州大学的哲学社会科学重点实验室发布了全新的 AI-DimSum 粤语语料

新加坡人工智能计划AISG发布新一代大语言模型Qwen-Sea-Lion-v4，底层由Meta Llama全面切换为阿里巴巴“通义千问”Qwen3-32B，并在东南亚语言综合评估基准（Sea-He