安全提示:即将离开云搜,稍后自动跳转...
token 用量计算
但因为不同模型的分词不同,所以换算比例也存在差异,每一次实际处理 token 数量以模型返回为准,您可以从返回结果的 usage 中查看。 离线计算 tokens 用量 您可以通过如下压缩包中的代码来运行 tokenizer,以离线计算一段文本的 token 用量。 deepseek_tokenizer.zip