tokenizer

美 　英

• 網(wǎng)絡(luò)分詞器；標(biāo)記器；分詞器部分

例句

Analyzers can be composed as a tokenizer and a set of filters using the Apache Solr search library.

我們可以通過ApacheSolr搜索庫將分析器分解為一個(gè)標(biāo)識(shí)符和一套過濾器。

To verify this, it calls the tokenizer (Tokenizer. java) to return the next token in the input stream.

為了驗(yàn)證這一點(diǎn)，它調(diào)用記號(hào)賦予器（Tokenizer.java）以返回輸入流中的下一個(gè)記號(hào)。

TokenMgrError. java and ParseException ? These classes represent exception conditions in the tokenizer and parser respectively.

javaandParseException——這些類分別表示記號(hào)賦予器和分析器中的異常狀況。

What the parser fills in depends on the path it takes through the tokenizer.

解析器填入的內(nèi)容取決于它通過記號(hào)賦予器所采用的路徑。

If the tokenizer encounters neither token, it returns a lexical error.

如果記號(hào)賦予器未遇到這兩個(gè)記號(hào)，則返回詞法錯(cuò)誤。

In my experiments, the tokenizer is plenty fast, but the parsing bogs down even with quite small test cases.

在我的實(shí)驗(yàn)中，記號(hào)賦予器還比較快，但解析過程就很慢了，即便用很小的測試案例也很慢。

With the tokenizer, it is easy to decode the processing instructions.

有了tokenizer，就很容易譯碼處理指令。

A good lexer example can help a lot with learning how to write a tokenizer.

一個(gè)好的lexer例子會(huì)非常有助于學(xué)習(xí)如何編寫斷詞器（tokenizer）。

The process that scans an input string and determines what the tokens are is called the tokenizer . In the query

掃描輸入字符串以及判斷是何標(biāo)記的過程稱作記號(hào)賦予器（tokenizer）。

Fortunately, gnosis. indexer. TextSplitter is a robust tokenizer. For example

幸運(yùn)的是，gnosis.indexer.TextSplitter是一個(gè)健壯的斷詞工具。