а б в г д е ж з и к л м н о п р с т у ф х ц ч ш щ э ю я

Токенизация (tokenization, lexical analysis, графематический анализ, лексический анализ)

Токенизация (tokenization, lexical analysis, графематический анализ, лексический анализ) - это когда в тексте выделяются слова, числа, и другие токены. Например, нахождение границ предложений.

Код ссылки скопирован в буфер

Если у Вас есть сайт или блог, разместите, пожалуйста, нашу ссылку:

Ссылка для форума (bb-код):

Прямая ссылка (можно отправить по аське):

Глоссарий

Токенизация (tokenization, lexical analysis, графематический анализ, лексический анализ)