文本预处理
00 min
2024-4-23
文本语料在输送给模型前一般需要一系列的预处理工作, 才能符合模型输入的要求, 如: 将文本转化成模型需要的张量, 规范张量的尺寸等, 而且科学的文本预处理环节还将有效指导模型超参数的选择, 提升模型的评估指标。其包含主要环节有：
  • 文本处理基本方法
    • 分词、词性标准、命名实体标注
  • 文本张量表示方法
    • one-hot编码、Word2vec、Word Embedding
  • 文本语料的数据分析
    • 标签数量分布
    • 句子长度分布
    • 词频统计与关键词词云
  • 文本特征处理
    • 添加n-gram特征、文本长度规范
  • 数据增强方法
    • 回译数据增强方法

1. 文本预处理基本方法

  • 了解什么是分词, 词性标注, 命名实体识别及其它们的作用.
  • 掌握分词, 词性标注, 命名实体识别流行工具的使用方法.
💡
内容请点击链接

2. 文本张量表示方法

  • 了解什么是文本张量表示及其作用.
  • 掌握文本张量表示的几种方法及其实现.
将一段文本使用张量进行表示，其中一般将词汇表示成向量，称作词向量，再由各个词向量按顺序组成矩阵形成文本表示.
作用：将文本表示成张量（矩阵）形式，能够使语言文本可以作为计算机处理程序的输入，进行接下来一系列的解析工作.例如：
现阶段，我们将要介绍的文本张量表示方法有：one-hot编码、Word2vec、Word Embedding

2.1 one-hot词向量表示

one-hot词向量表示又称独热编码，将每个词表示成具有n个元素的向量，这个词向量中只有一个元素是1，其他元素都是0，不同词汇元素为0的位置不同，其中n的大小是整个语料中不同词汇的总数.
下面对onehot编码进行代码演示：
API汇总
one-hot编码的优劣势：
  • 优势：操作简单，容易理解.
  • 劣势：完全割裂了词与词之间的联系，而且在大语料集下，每个向量的长度过大，占据大量内存.
  • 正因为one-hot编码明显的劣势，这种编码方式被应用的地方越来越少，取而代之的是接下来我们要学习的稠密向量的表示方法word2vec和word embedding.

2.2 word2vec模型

word2vec是一种流行的将词汇表示成向量的无监督训练方法, 该过程将构建神经网络模型, 将网络参数作为词汇的向量表示, 它包含CBOW和skipgram两种训练模式.
  • CBOW：使用上下文，对中间进行预测
  • skipgram：使用目标值，对上下文进行预测

2.2.1 CBOW

CBOW(Continuous bag of words)模式：给定一段用于训练的文本语料, 再选定某段长度(窗口)作为研究对象, 使用上下文词汇预测目标词汇
图中，窗口大小ws为9，使用前后4个词汇对目标词汇进行预测
图中，窗口大小ws为9，使用前后4个词汇对目标词汇进行预测
CBOW模式下的word2vec训练过程:
1、假设我们给定的训练语料只有一句话: Hope can set you free (愿你自由成长)，窗口大小为3，因此模型的第一个训练样本来自Hope can set，因为是CBOW模式，所以将使用Hope和set作为输入，can作为输出，在模型训练时， Hope，can，set等词汇都使用它们的one-hot编码. 如图所示: 每个one-hot编码的单词与各自的变换矩阵(即参数矩阵3x5, 这里的3是指最后得到的词向量维度)相乘之后再相加, 得到上下文表示矩阵(3x1)
notion image
2、接着, 将上下文表示矩阵与变换矩阵(参数矩阵5x3, 所有的变换矩阵共享参数)相乘, 得到5x1的结果矩阵, 它将与我们真正的目标矩阵即can的one-hot编码矩阵(5x1)进行损失的计算, 然后更新网络参数完成一次模型迭代.
notion image
3、最后窗口按序向后移动，重新更新参数，直到所有语料被遍历完成，得到最终的变换矩阵(3x5)，这个变换矩阵与每个词汇的one-hot编码(5x1)相乘，得到的3x1的矩阵就是该词汇的word2vec张量表示.

2.2.2 skipgram

skipgram模式：给定一段用于训练的文本语料, 再选定某段长度(窗口)作为研究对象, 使用目标词汇预测上下文词汇.
图中窗口大小ws为9, 使用目标词汇对前后四个词汇进行预测
图中窗口大小ws为9, 使用目标词汇对前后四个词汇进行预测
skipgram模式下的word2vec过程说明：
notion image
词向量的检索获取：
notion image

2.2.3 word2vec的训练和使用

  • 第一步: 获取训练数据
  • 第二步: 训练词向量
  • 第三步: 模型超参数设定
  • 第四步: 模型效果检验
  • 第五步: 模型的保存与重加载

1. 获取训练数据

数据来源：http://mattmahoney.net/dc/enwik9.zip
在这里, 我们将研究英语维基百科的部分网页信息, 它的大小在300M左右。这些语料已经被准备好, 我们可以通过Matt Mahoney的网站下载。
原始数据集已经放在/root/data/enwik9.zip，解压后数据为/root/data/enwik9，预处理后的数据为/root/data/fil9
 

2. 词向量的训练保存加载

fasttext 是 facebook 开源的一个词向量与文本分类工具

3. 查看词向量和模型校验

  • 通过get_word_vector方法来获得指定词汇的词向量, 默认词向量训练出来是1个单词100特征
  • 检查单词向量质量的一种简单方法就是查看其邻近单词, 通过我们主观来判断这些邻近单词是否与目标单词相关来粗略评定模型效果好坏.

4. 模型超参数设定