小词霸

tokenizer

tokenizer

中文翻译

网络解释

字符串分隔类；字符串标记；标记化文字

英文短语

  • 1.word tokenizer class 来测试一个断词类
  • 2.GMM tokenizer GMM符号化器
  • 3.string tokenizer 字符分解器
  • 4.Whitespace Tokenizer 空格分词器
  • 5.Word and Sentence Tokenizer 词句表征

    • 英文例句

  • 1.Why do I need a tokenizer for each language?为什么我需要为每种语言的标记？
  • 2.With the tokenizer, it is easy to decode the processing instructions.有了 tokenizer，就很容易译码处理指令。
  • 3.If the tokenizer encounters neither token, it returns a lexical error.如果记号赋予器未遇到这两个记号，则返回词法错误。
  • 4.A good lexer example can help a lot with learning how to write a tokenizer.一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。
  • 5.What the parser fills in depends on the path it takes through the tokenizer.解析器填入的内容取决于它通过记号赋予器所采用的路径。


    • 其他单词翻译

    英文单词 中文含义
    transfigures

    v. 改变…的外表，美化，使变得高尚或理想( transfigure的第三人称单数 )
    transferrer

    n. 转让给人，转送者，转录的人

    网络解释

    转送者; 换纬搥
    transferee

    n. （财产，权利等）受让人，承让人，被调任者；被转让人

    网络解释

    受让者; 承让人; 承转人
    transfixion

    n. 刺穿；贯通；贯穿；钉住

    网络解释

    贯通; 贯穿术; 双脚给双眼按住
    transfiguring

    v. 改变…的外表，美化，使变得高尚或理想( transfigure的现在分词 )

    网络解释

    转注; 转化力; 转变
    transferrin

    n. 铁传递蛋白

    网络解释

    转铁蛋白; 运铁蛋白; 人转铁蛋白
    transference

    n. 移动，转送，转让

    网络解释

    移情; 情感转移; 迁移
    transflux

    n.流过

    网络解释

    流过
    transformation

    n. 变化；〈核>转换；<语>转换；<电〉变换

    网络解释

    转化; 转换; 变换
    transfilter

    变压器滤波器
    transferring

    n. 印字；中转；转移；传递[导，送，输，热]

    v. 转移，迁移( transfer的现在分词 )；转让；转移（感情）；改变

    网络解释

    转换; 正在传输; 传输中
    transferences

    n.转移，传递；移情
    transfluxor

    多孔磁心存储器
    transformational

    adj. 转换的，转换生成的

    网络解释

    转换性; 变革型; 转换型
    transfinalization

    n.目的变换

    网络解释

    目的变换; 终局; 祝圣而目的转移
    transferrins

    n.[生化]转铁蛋白；铁传递蛋白

    网络解释

    转铁蛋白酶; 铁传递蛋白; 传铁蛋白
    transferential

    adj. 转让的，让渡的

    网络解释

    转让的; 移情; 转移
    transforation

    n.穿颅术
    transformationalism

    n.[语]转换主义；转换论

    网络解释

    转换主义; 转型理论
    transfinite

    adj. 无限的；超限

    网络解释

    超限的