tokenize

美 　英

• 網絡符將一個字符串標記化；切分詞；令牌化

例句

In the draw method, check to see whether any bytes are available to read; if there are, tokenize them into an array.

通過draw方法，我們可以檢查是否有字節(jié)可供讀取；如果有，我們可以將它們保存到一個數組中。

The new tokenize function performs the opposite action, disaggregating a string with a separator to mark the boundaries.

新增的tokenize函數執(zhí)行相反的操作，用分隔符標記字符串之間的邊界。

Specify the delimiters that the transformation uses to tokenize column values.

指定轉換用來標記列值的分隔符。

IndexWriter accepts an analyzer used to tokenize data before it is indexed.

在編制索引前，IndexWriter接收用于標記數據的分析程序。

These differ in the way they tokenize the text and apply filters.

它們在標記文本和應用過濾器的方式上有所區(qū)別。

Tokenize Configuration, which provides a repeatable way of injecting variable information into configuration files

TokenizeConfiguration，這個模式提供一種可重復的把可變信息注入配置文件中的方法