NLTK

NLTK (Natural Language Toolkit) 在自然语言处理（NLP）领域的地位，就像是家族中德高望重的老前辈。提米哥觉得，尽管现在大语言模型（LLM）的光芒掩盖了一切，但 NLTK 在 NLP 教学和基础研究方面的价值是不可替代的。它是无数 NLP 从业者的启蒙工具包。在 LLM 出现之前，NLP 的研究是基于一套非常精细的语言学理论和统计方法的，比如分词（Tokenization）、词性标注（Part-of-Speech Tagging）、词干提取（Stemming）、命名实体识别（NER）等等。NLTK 正是这些基础算法和工具的集大成者。它提供了极其丰富的文本处理模块和大量的经典语料库（Corpora），比如古登堡计划的电子书、布朗语料库等。对于初学者来说，通过使用 NLTK，可以亲手实践和理解 NLP 的每一个经典步骤，从而打下坚实的理论基础。虽然在实际生产中，它的很多功能可能已经被 SpaCy 或 LLM 替代，但在学术界，它依然是讲解计算语言学概念、进行教学演示的首选工具。学习 NLTK，能让你更好地理解语言是如何被计算机一步步地解析和理解的，这对于更深刻地认识 LLM 的能力与局限非常有帮助。