tokenizer的意思_tokenizer的中文翻译|音标|读音|用法|例句

tokenizer

中文翻译

网络解释

字符串分隔类；字符串标记；标记化文字

英文短语

1.word tokenizer class 来测试一个断词类

2.GMM tokenizer GMM符号化器

3.string tokenizer 字符分解器

4.Whitespace Tokenizer 空格分词器

5.Word and Sentence Tokenizer 词句表征

英文例句

1.Why do I need a tokenizer for each language?为什么我需要为每种语言的标记？

2.With the tokenizer, it is easy to decode the processing instructions.有了 tokenizer，就很容易译码处理指令。

3.If the tokenizer encounters neither token, it returns a lexical error.如果记号赋予器未遇到这两个记号，则返回词法错误。

4.A good lexer example can help a lot with learning how to write a tokenizer.一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。

5.What the parser fills in depends on the path it takes through the tokenizer.解析器填入的内容取决于它通过记号赋予器所采用的路径。

其他单词翻译

英文单词	中文含义
undauntable	adj. 吓不倒的，无畏的，大胆的
undeclared	adj. 未申报的，未经宣战的网络解释未经宣布的; 叛逆校园; 未向海关申报的
undecanate	十一酸酯
undecided	adj. 未解决；未确定；（天气等）不稳定的；犹豫不定网络解释未定的; 尚未决定; 未决的
undeceive	vt. 使某人不再抱幻想或不再受骗，使（某人）醒悟网络解释使醒悟; 使不受欺骗; 清醒
undaunted	adj. 顽强的，不惧怕的，无畏的网络解释无畏的; 勇敢的; 不屈不挠的
undeclined	adj.[语]无字尾变化的
undecane	n. 十一（碳）烷网络解释十一烷; 正十一烷; 十一碳烷
undecideds	adj.(胜负)未决定的；未下决心的；未做决定的网络解释未定的; 尚未决定; 悬而未决
undeceived	v. 使某人不再抱幻想或不再受骗，使（某人）醒悟( undeceive的过去式和过去分词 ) 网络解释使醒悟; 使不受欺骗; 清醒
undauntedly	不屈不挠地无畏地顽强地网络解释毫无疑问地
undecomposable	adj.[数]不可分解的网络解释不可分解的
undecillion	adj. （英、德）10#[66](100万的11次幂)；（美、法）10#[36](1000的12次幂) 网络解释涧; 京太拍; 位数
undecanoic	十一烷的网络解释十一烷的
undeceives	v. 使某人不再抱幻想或不再受骗，使（某人）醒悟( undeceive的第三人称单数 ) 网络解释使醒悟; 使不受欺骗; 清醒
undecomposed	未分解的网络解释未分解的
undecimal	adj. 十一进制的网络解释十一进制; 十一进制的
undeceiving	v. 使某人不再抱幻想或不再受骗，使（某人）醒悟( undeceive的现在分词 ) 网络解释失实
undecorated	adj. 未加装饰的，简朴的网络解释未装饰的; 未修饰的; 不加修饰
undecipherability	辨认不出的性质[状态] 网络解释辨认不出的性质