tokenizer的意思_tokenizer的中文翻译|音标|读音|用法|例句

tokenizer

中文翻译

网络解释

字符串分隔类；字符串标记；标记化文字

英文短语

1.word tokenizer class 来测试一个断词类

2.GMM tokenizer GMM符号化器

3.string tokenizer 字符分解器

4.Whitespace Tokenizer 空格分词器

5.Word and Sentence Tokenizer 词句表征

英文例句

1.Why do I need a tokenizer for each language?为什么我需要为每种语言的标记？

2.With the tokenizer, it is easy to decode the processing instructions.有了 tokenizer，就很容易译码处理指令。

3.If the tokenizer encounters neither token, it returns a lexical error.如果记号赋予器未遇到这两个记号，则返回词法错误。

4.A good lexer example can help a lot with learning how to write a tokenizer.一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。

5.What the parser fills in depends on the path it takes through the tokenizer.解析器填入的内容取决于它通过记号赋予器所采用的路径。

其他单词翻译

英文单词	中文含义
backside	n. 臀部，背部；后方网络解释背面; 背后; 臀部
backseattered	[机] 反向散射的
backproject	n.幕后放映的影像 vt.从幕后投影网络解释幕后影像; 幕后投影; 反投
backsawing	弦锯网络解释弦锯
backpedalled	v. 改变主意，变卦，背弃诺言( backpedal的过去式和过去分词 ) 网络解释后退; 向后行; 脚煞车
backsight	n.后视；表尺缺口网络解释回视; 数据设置
backprojection	幕后投影，背景放映反向投射网络解释反投影; 反投影法; 逆投影法
backset	n. 挫折；涡流；倒退；逆流网络解释倒退; 逆流; 向前赋值
backscatter	反向散射体网络解释后向散射; 反散射; 背向散射
backpedalling	v. 改变主意，变卦，背弃诺言( backpedal的现在分词 ) 网络解释后退; 向后行; 脚煞车
backsiphonage	倒虹吸作用，倒虹吸能力；回吸，反吸网络解释反虹吸; 倒虹吸作用
backrest	n. （家具的）靠背网络解释靠背护垫; 座椅靠背; 尾靠背
backsetting	收进网络解释收进
backscattered	反（背）向散射的网络解释背向散射; 背散射; 反向散射的
backpedals	v. 改变主意，变卦，背弃诺言( backpedal的第三人称单数 ) 网络解释后退; 向后行; 脚煞车
backsizing	n.背面涂胶
backroad	n.乡村道路网络解释乡村道路; 诡道
backshaft	n.后轴网络解释后轴; 支撑轴; 是什么意思
backscattering	n. 反（向）散射，后向散射网络解释反向散射; 后向散射; 后方散射
backpiece	后挡板护背网络解释护背