9 阅读

整场「要不要把 Token 翻译成词元?」的争论令我感到诡异,诡异的点在于所有参与者都只看到了 Token 作为大语言模型计价单位的意思,而 Token 一词存在于英语语言中已经有很久了(对中文的影响也很大)。若把 Token 先前的释义也译作「词元」,场面会非常可笑: 这套桌游里的某个词元不见了! 请求体里必须携带词元才能通过验证。 在构造抽象语法树之前,要先把字符串词元化。(这倒还算接近的)...

📖 阅读原文

文章来自第三方博客,点击下方按钮阅读完整内容

相关文章

暂无评论

none
暂无评论...