tokenizers

tokenizers

美 　英

• 網絡分詞

例句

The tokenizers take care of the actual rules for where to break the text up into words (typically whitespace).

分詞器會考慮在哪將文本切分成詞（典型的如空格）的實際規則。

Each analyzer includes one or more tokenizers and may include filters.

每一個分析器包括一個或多個分詞器和濾詞器（filter）。