文本分析之gensim处理文本【语料库与词向量空间】

jieba 是目前最好的 Python 中文分词组件，它主要有以下 3 种特性

• 支持 3 种分词模式：精确模式、全模式、搜索引擎模式

• 支持繁体分词

• 支持自定义词典

Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。

支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口

基本概念

语料：一组原始文本的集合，用于无监督地训练文本主题的隐层结构。语料中不需要人工标注的附加信息。在Gensim中，Corpus通常是一个可迭代的对象（比如列表）。每一次迭代返回一个可用于表达文本对象的稀疏向量。

向量：由一组文本特征构成的列表。是一段文本在Gensim中的内部表达。

稀疏向量：通常，我们可以略去向量中多余的0元素。此时，向量中的每一个元素是一个(key, value)的元组

模型：是一个抽象的术语。定义了两个向量空间的变换（即从文本的一种向量表达变换为另一种向量表达）。

主要使用统计学的词向量转化。在进行中文的处理时需要提前进行分词，有时候还需要设置自己的专属名词以保证分词的准确性。这个不是重点，假如我们已经有了一个处理好的中文分词的文档语料。在此基础上进行后续操作。

将对应得text转化二位的list数据，以方便gensim生成向量

1 2 3 4 5 6

import pprint text = train_data['text'] sentences = [] for item in text:     sentence = str(item).split(',')     sentences.append(sentence)

将分词之后的数据转化为字典文件

1 2 3

from gensim import corpora dictionary = corpora.Dictionary(sentences) print(dictionary)

这个字典有着非常重要的作用，每一个词都有一个固定的id，可以使用下面的代码进行查询

1	print(dictionary.token2id)

为了字典后续的应用可以将字典存储成文本文件

1	dictionary.save('mydic.dict')

同时也可以将生成的词袋模型保存起来

1 2	corpus = [dictionary.doc2bow(sentence) for sentence in sentences] corpora.MmCorpus.serialize('bow.mm', corpus)