小词霸

tokenizer

tokenizer

中文翻译

网络解释

字符串分隔类；字符串标记；标记化文字

英文短语

  • 1.word tokenizer class 来测试一个断词类
  • 2.GMM tokenizer GMM符号化器
  • 3.string tokenizer 字符分解器
  • 4.Whitespace Tokenizer 空格分词器
  • 5.Word and Sentence Tokenizer 词句表征

    • 英文例句

  • 1.Why do I need a tokenizer for each language?为什么我需要为每种语言的标记？
  • 2.With the tokenizer, it is easy to decode the processing instructions.有了 tokenizer，就很容易译码处理指令。
  • 3.If the tokenizer encounters neither token, it returns a lexical error.如果记号赋予器未遇到这两个记号，则返回词法错误。
  • 4.A good lexer example can help a lot with learning how to write a tokenizer.一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。
  • 5.What the parser fills in depends on the path it takes through the tokenizer.解析器填入的内容取决于它通过记号赋予器所采用的路径。


    • 其他单词翻译

    英文单词 中文含义
    bitesms bitesms

    网络解释

    bitesms; 短信工具; 短信转发的; 短信转发工具
    bigworld 大世界

    网络解释

    大世界; 镜头看世界; 大世界娱乐城; 大世界文娱城
    bigpig 大猪

    网络解释

    大猪; 冷气维修技师; bigpig; 为了怕万分之一的脱落可能
    bigtimerush 大赶工

    网络解释

    美剧与梦随行; 比格蒂默鲁什; 大赶工
    bioform n．生物形态：指生物体的形状、结构和形式。

    网络解释

    百服宁; 特偲芙; bioform
    bitfinex bitfinex

    网络解释

    比特菲尼克斯; bitfinex
    bincheng 滨城

    网络解释

    程彬; 程斌; 郑斌; 本城
    biocompare 生物相容性

    网络解释

    biocompare; 生物相容性
    biquge biquge

    网络解释

    下笔趣阁; 笔趣阁; biquge
    bizspark 商业火花

    网络解释

    微软新创火花计画; 微软软体育成计画; 创业企业扶植计划; 比兹帕克; 商业火花
    biti 鼻涕

    网络解释

    比蒂; 北京信息科技大学; 北京信息工程学院(beijing information technology institute)
    birzzle

    网络解释

    爆破小鸟; 小鸟方块; 小鸟爆破; 比尔兹尔
    bjhjyd bjhjyd

    网络解释

    bjhjyd; 缓解拥堵; 北京摇号网; 北京摇号网站
    biwalea biwalea

    网络解释

    男士西服; 比华利亚; 青蛙; biwalea
    bitdefender

    n.比特凡德（杀毒软件名）

    网络解释

    杀毒软件; 比特凡德; 比特梵德
    biodroga 宝迪佳

    网络解释

    宝迪佳洁肤油; 德国宝迪佳; 宝迪佳
    bjjt bjjt

    网络解释

    bjjt; 滨江集团; 北京交通库
    bjack

    网络解释

    碧昂丝; 巴音荷; 黑杰克; bjack
    bitu

    网络解释

    工业工会; bitu
    bixia bixia

    网络解释

    绗斾笅; 比夏; bixia