EvaDan

我 08 年自己一个人从江西去的杭州。。到了城战 两眼一摸黑 拿着通知书问一个在指挥交通的交警该怎么坐车 好在下沙园区车是直达，不然转车更晕了

这个涉及倒 GPT 技术底层的一些实现问题，主要是 tokenizer 。也就是把一个词/char 字符转成对应整型的数（并不一定就是一个）来表示。tokenizer 的实现有很多种，目前主流的是 BPE ，你可以去搜搜看。简单来说 字符串里的一个单元 经过 tokenizer 处理后，并不一定就是生成一个 token ，可能是多个，也可能是需要合并其他单元才生成一个。也就说你理解的字数 和最后输入到 GPT 的 token 数不一定不相等。
对应到你这个任务，如果 GPT 需要完成，它首先得对准确的截断出，你想要计算个数的的 token 再进行 decoder （反编码），然后再去计算个数，目前纯粹的数值计算并不是 GPT 的强项，所以效果不好。
不知道巴拉清楚没，哈哈

我了个草 还真是 后续有押金的我都要注意是不是原路退回了。。