小词霸

tokenizer

tokenizer

中文翻译

网络解释

字符串分隔类；字符串标记；标记化文字

英文短语

  • 1.word tokenizer class 来测试一个断词类
  • 2.GMM tokenizer GMM符号化器
  • 3.string tokenizer 字符分解器
  • 4.Whitespace Tokenizer 空格分词器
  • 5.Word and Sentence Tokenizer 词句表征

    • 英文例句

  • 1.Why do I need a tokenizer for each language?为什么我需要为每种语言的标记？
  • 2.With the tokenizer, it is easy to decode the processing instructions.有了 tokenizer，就很容易译码处理指令。
  • 3.If the tokenizer encounters neither token, it returns a lexical error.如果记号赋予器未遇到这两个记号，则返回词法错误。
  • 4.A good lexer example can help a lot with learning how to write a tokenizer.一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。
  • 5.What the parser fills in depends on the path it takes through the tokenizer.解析器填入的内容取决于它通过记号赋予器所采用的路径。


    • 其他单词翻译

    英文单词 中文含义
    slava

    n.（拉、意、克、俄）斯拉娃(人名)

    网络解释

    斯拉瓦; 光荣; 斯拉瓦号
    slaveless

    adj.无奴隶制的

    网络解释

    无奴隶的
    slavkin

    n.斯拉夫金
    slaughterhouse

    n. 屠宰场

    网络解释

    屠房; 屠杀场; 瘟疫之房
    slaveship

    奴隶贸易船

    网络解释

    奴隶船; 贩卖奴隶的船; 奴隶之船
    slave

    n. 奴隶；…。的奴隶，耽迷于…的人；奴隶般受控的人，苦工；[机]从动装置

    vi. 奴隶般地工作，做苦工；买卖奴隶，运输奴隶

    网络解释

    从盘; 从设备; 从属
    slavocracy

    n. 拥护奴隶制度派

    网络解释

    奴隶制度派
    slavelike

    adj.奴隶般的

    网络解释

    似奴隶的
    slaughtering

    v. 屠杀，杀戮，屠宰( slaughter的现在分词 )

    网络解释

    屠宰业; 宰杀脱毛; 宰杀动物
    slavey

    n. 女佣人；丫鬟

    网络解释

    女佣人; 斯拉维语
    slave-born

    出身奴隶的
    slaw

    n. 卷心菜色拉

    网络解释

    卷心菜沙拉; 卷心菜色拉; 卷心菜碎
    slavens

    n.斯莱文斯
    slaughterings

    屠宰数

    网络解释

    屠宰数
    slave-drive

    v.苛酷地驱使

    网络解释

    无情地驱策
    slavikite

    菱镁铁矾

    网络解释

    菱镁铁矾
    slawsky

    n.斯拉夫斯基
    slaveocracy

    n.美国南北战争前南方的奴隶主集团

    网络解释

    奴隶主集团
    slay

    vt. 残杀；[俚]被笑或爱淹没

    网络解释

    杀戮; 残杀; 铁心
    slaver

    n. 口水；奉承；〈史〉贩运奴隶的船；胡言

    vi. 流口水；垂涎，极想得到

    网络解释

    垂涎; 淌口水; 奴隶主