SentencePiece

SentencePiece代表模型：XLNet、marian、T5、ALBERT。前面描述的tokenizer算法都有相同的问题：假设输入文本使用空格分隔单词。然而，并非所有语言都使用空格分隔单词。一种可能的解决方案是使用特定于语言的预标记器，例如，XLM使用特定的中文、日文和泰文预标记器。为了更普遍地解决这一问题，SentencePiece将输入视为原始输入流，从而包括要使用的字符集中的空间。它一般使用BPE或unigram算法来构造适当的词汇表。

计算机程序

计算机程序(Computer Program)，港、台译做电脑程式。计算机程序是一组计算机能识别和执行的指令，运行于电子计算机上，满足人们某种需求的信息化工具。

它以某些程序设计语言编写，运行于某种目标结构体系上。打个比方，程序就如同以英语(程序设计语言)写作的文章，要让一个懂得英语的人(编译器)同时也会阅读这篇文章的人(结构体系)来阅读、理解、标记这篇文章。一般的，以英语文本为基础的计算机程序要经过编译、链接而成为人难以解读，但可轻易被计算机所解读的数字格式，然后放入运行。