小词霸

tokenizer

tokenizer

中文翻译

网络解释

字符串分隔类；字符串标记；标记化文字

英文短语

  • 1.word tokenizer class 来测试一个断词类
  • 2.GMM tokenizer GMM符号化器
  • 3.string tokenizer 字符分解器
  • 4.Whitespace Tokenizer 空格分词器
  • 5.Word and Sentence Tokenizer 词句表征

    • 英文例句

  • 1.Why do I need a tokenizer for each language?为什么我需要为每种语言的标记？
  • 2.With the tokenizer, it is easy to decode the processing instructions.有了 tokenizer，就很容易译码处理指令。
  • 3.If the tokenizer encounters neither token, it returns a lexical error.如果记号赋予器未遇到这两个记号，则返回词法错误。
  • 4.A good lexer example can help a lot with learning how to write a tokenizer.一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。
  • 5.What the parser fills in depends on the path it takes through the tokenizer.解析器填入的内容取决于它通过记号赋予器所采用的路径。


    • 其他单词翻译

    英文单词 中文含义
    cuckolds

    n. 妻子与人通奸的人，“乌龟”( cuckold的名词复数 )

    v. 使戴绿帽子( cuckold的第三人称单数 )

    网络解释

    绿帽子; 王八; 被戴绿帽子的男人
    cubozols

    n.溶性蒽系还原染料
    cucubano

    n.枭鸣甲

    网络解释

    平滑海岸桐; 枭鸣甲
    cucumber-shaped

    网络解释

    黄瓜形的
    cuccia

    n.卡西亚

    网络解释

    卡西亚
    cuckoo

    n. 布谷鸟，杜鹃

    adj. 疯狂的，傻，笨
    cuculate

    [医] 帽状的
    cucumbers

    n. 黄瓜，胡瓜( cucumber的名词复数 )

    网络解释

    大黄瓜; 黄瓜们; 一根以上的小黄瓜
    cuckoo-bird

    n.杜鹃；布谷鸟

    网络解释

    杜鹃; 布谷; 杜鹃鸟
    cuculiform

    adj.杜鹃属的

    网络解释

    杜鹃属的
    cucumiform

    adj.黄瓜状的

    网络解释

    黄瓜状的; 瓜形
    cucumis

    黄瓜属

    网络解释

    甜瓜属; 香瓜属; 甜瓜属或黄瓜属
    cucura

    n.库库拉树皮

    网络解释

    库库拉树皮
    cud

    n. 反刍的食物

    网络解释

    反刍的事物; 通用色彩设计(Color Universal Design)
    cucurbit

    n. 葫芦

    网络解释

    瓜类; 瓜类作物
    cuddly

    adj. 不由得想搂抱的，可爱的；令人想拥抱的

    网络解释

    逗人喜爱的; 可爱的; 可爱
    cudbear

    n. 一种苔藓，紫红植物染料；地衣红

    网络解释

    地衣赤染料萃; 苔藓; 紫地衣糊
    cucurbitaceous

    adj. 葫芦科的

    网络解释

    瓜形的
    cued

    v. 向…发出指示信号( cue的过去式和过去分词 )
    cuddy

    n. 小船室，小房间，船室兼厨房

    网络解释

    卡迪; 卡蒂; 绿鳕