mbpe-dyn
m000
m010
m020
m030
m040
m050
m060
m070
m080
m090
m100
2¹⁴ (16K)
2¹⁵ (32K)
2¹⁶ (64K)
2¹⁷ (128K)
Tokenize