小词霸

tokenizer

tokenizer

中文翻译

网络解释

字符串分隔类；字符串标记；标记化文字

英文短语

  • 1.word tokenizer class 来测试一个断词类
  • 2.GMM tokenizer GMM符号化器
  • 3.string tokenizer 字符分解器
  • 4.Whitespace Tokenizer 空格分词器
  • 5.Word and Sentence Tokenizer 词句表征

    • 英文例句

  • 1.Why do I need a tokenizer for each language?为什么我需要为每种语言的标记？
  • 2.With the tokenizer, it is easy to decode the processing instructions.有了 tokenizer，就很容易译码处理指令。
  • 3.If the tokenizer encounters neither token, it returns a lexical error.如果记号赋予器未遇到这两个记号，则返回词法错误。
  • 4.A good lexer example can help a lot with learning how to write a tokenizer.一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。
  • 5.What the parser fills in depends on the path it takes through the tokenizer.解析器填入的内容取决于它通过记号赋予器所采用的路径。


    • 其他单词翻译

    英文单词 中文含义
    hawk-eyed

    adj.目光锐利的；观察力强的

    网络解释

    目光锐利的
    haw-haw

    v.哈哈大笑

    n.大笑，狂笑；设在沟渠内的界墙或界标

    int.哈哈
    havings

    n.财产；所有物（having的复数）

    网络解释

    财产; 似是而非的外在拥有
    hawklike

    adj.像鹰一样的

    网络解释

    锚链
    hawk-nosed

    adj.鹰钩鼻子的

    网络解释

    鹰钩鼻子的
    havisham

    n.郝薇香（小说《远大前程》的人物名）

    网络解释

    老处女郝维辛; 小姐郝维辛; 哈维森小姐
    hawkeyed

    眼光敏锐的
    hawkmoth

    n.天蛾

    网络解释

    天蛾; 鹰蛾; 天蛾科之蛾
    hawkbell

    n.鹰铃

    网络解释

    鹰铃
    hawala

    n. 哈瓦拉，地下钱庄

    网络解释

    哈瓦拉汇款
    havlicek

    n.哈夫利切克

    网络解释

    哈夫利切克; 哈福利切克; 哈弗利切克
    hawks

    n. 鹰( hawk的名词复数 )；鹰派人物，主战派人物

    网络解释

    亚特兰大老鹰; 老鹰队; 亚特兰大老鹰队
    hawarth

    n.霍沃思
    hawkbill

    n.坩埚钳；焊钳，铁钳

    网络解释

    焊钳; 坩埚钳; 鹰嘴型
    hawksbill

    n. 玳瑁（一种中型海龟）

    网络解释

    玳瑁海龟; 海龟都是玳瑁; 玳瑁龟
    hawked

    vt. 通过叫卖主动兜售（hawk的过去式与过去分词形式）
    hawkinson

    n.霍金森
    hawkshaw

    n. 侦探

    网络解释

    侦探霍克森
    hawkinsville

    n.霍金斯维尔(在美国；西经 83º29' 北纬 32º16')

    网络解释

    霍金斯维尔; 和肯斯维
    hawksmoor

    n.（Hawksmoor）人名；（英）霍克斯莫尔

    网络解释

    霍克斯莫尔; 豪克斯穆尔; 霍克斯摩尔