本书将带领读者走进自然语言处理的世界, 了解其核心原理和应用方法, 并通过实际案例进行实践操作, 帮助读者掌握 NLP 技术的应用技巧。本书以项目为导向, 分为 5 个项目, 涵盖了自然语言处理的核心技术和应用场景, 旨在帮助读者循序渐进地学习 NLP 技术。 这 5 个项目分别是: 认识自然语言处理、 走进自然语言的分类与聚类、 走进酒店评论的情绪分析、 走进基于生活场景的中文命名实体识别、 走进智能中英互译的自动翻译。

项目 1 认识自然语言处理 …………………………………………………………………………………… 1

任务 1. 1 NLTK 预处理方法……………………………………………………………………………… 2

1. 1. 1 自然语言处理的核心思想………………………………………………………………… 2

1. 1. 2 NLTK 工具包的基本概念 …………………………………………………………………… 6

任务 1. 2 中文文本分词方法与工具使用 ……………………………………………………………… 24

1. 2. 1 中文分词简介 ……………………………………………………………………………… 25

1. 2. 2 语言分词工具介绍 ………………………………………………………………………… 27

1. 2. 3 分词中词性的确定 ………………………………………………………………………… 29

任务 1. 3 核心词汇识别与云图开发 …………………………………………………………………… 41

1. 3. 1 核心词汇提取技术 ………………………………………………………………………… 41

1. 3. 2 理解 TF-IDF 算法 ………………………………………………………………………… 42

1. 3. 3 理解 TextRank 算法 ………………………………………………………………………… 44

1. 3. 4 关键词提取算法训练步骤 ………………………………………………………………… 45

项目 2 走进自然语言的分类与聚类 ………………………………………………………………………… 54

任务 2. 1 开发中文垃圾邮件分类器 …………………………………………………………………… 55

2. 1. 1 机器学习在自然语言中的应用 …………………………………………………………… 56

2. 1. 2 分类器方法 ………………………………………………………………………………… 60

任务 2. 2 基于 LDA 开发提取邮件主题模型………………………………………………………… 80

2. 2. 1 LDA 算法介绍 ……………………………………………………………………………… 81

2. 2. 2 词袋生成技术介绍 ………………………………………………………………………… 84

2. 2. 3 PCA 降维技术介绍 ………………………………………………………………………… 86

任务 2. 3 基于 Bert 模型开发多主题分类器…………………………………………………………… 96

2. 3. 1 BERT 模型介绍…………………………………………………………………………… 97

2. 3. 2 文本多分类的基本概念…………………………………………………………………… 100

项目 3 走进酒店评论的情绪分析 ………………………………………………………………………… 115

任务 3. 1 机器学习情绪分析基础 …………………………………………………………………… 115

3. 1. 1 情绪分析基础……………………………………………………………………………… 116

3. 1. 2 基于机器学习的情绪分析方法…………………………………………………………… 120

任务 3. 2 酒店用户评论数据预处理与数据集划分 ………………………………………………… 133

3. 2. 1 酒店用户评论数据预处理中的标记化 Tokenization 方法 ……………………………… 133