BPE

概述

参考：

• Wiki, Byte-pair encoding

在计算机领域 ，byte-pair encoding(字节对编码，简称 BPE) 、或二元编码 、是一种算法 ，最早由 Philip Gage 于 1994 年提出，它通过创建和使用转换表将文本字符串编码成更小的字符串。 大型语言模型 Tokenization 中使用了该算法的略微修改版本。