用 Python 实现 LDA

隐含狄利克雷分布（以下简写为 LDA）是一种主题模型，它基于一组文档中的词频生成主题。对于在给定的文档集中准确合理地找到主题的混合，LDA 是一种非常有效的方法。

这一部分，我会用一个高度简化过的文档集来演练生成一个 LDA 模型的过程。这并不是对 LDA 的全面讲解。这个演练的目的是为大家准备数据，以及用 LDA 模型得到相应输出的核心步骤提供指导。

分词

分词即将一个文档分成其原子元素。在这个例子中，我们将其分为单词。分词有很多种方法，我们用的是 NLTK 的 tokenize.regexp 模块：

文档 doc_a 现在就是一个词的列表了。

停用词

英语中的一些特定组成部分，比如“for”，“or”这样的连词，或是“the”这种词对主题模型毫无意义。这些词叫做停用词，需要从我们的单词列表中移除。

停用词的定义是非常灵活的，在不同种类的文档中对应的停用词的含义是不同的。比如，如果我们要为一系列音乐评论做主题模型，那像“The Who”（英国的一支摇滚乐队）这种词就会有点麻烦，因为“the”通常都会作为一个常见的停用词而被移除。你可以根据实际情况来创建自己的停用词列表，或者用其他的包。

在我们的例子中，我们使用 Pypi 的 stop_words 包，这是一个相对比较保守的列表。我们可以调用 get_stop_words() 来创建一个停用词列表：

这个元组列表代表我们的第一个文档 doc_a。元组的形式是（单词 ID，词频）。所以如果 print(dictionary.roken2id) 显示 brocolli 的 id 是 0，那么第一个元组就代表 brocolli 这个词在 doc_a 里出现了两次。只有在文档中出现过的词才会包含在 doc2bow() 中，否则它将不会出现在文档向量之中。

应用 LDA 模型

corpus 是一个 document-term matrix，现在，我们已经为生成一个 LDA 模型做好准备了：

LdaModel 类的详细描述可以在 gensim 文档中查看。我们的实例中用到的参数：

参数：

• num_topics: 必须。LDA 模型要求用户决定应该生成多少个主题。由于我们的文档集很小，所以我们只生成三个主题。
• id2word：必须。LdaModel 类要求我们之前的 dictionary 把 id 都映射成为字符串。
• passes：可选。模型遍历语料库的次数。遍历的次数越多，模型越精确。但是对于非常大的语料库，遍历太多次会花费很长的时间。

检查结果

我们的 LDA 模型已经用 ldamodel 储存好了。我们可以用 print_topic 和 print_topics 方法来查看主题：

>>> print(ldamodel.print_topics(num_topics=3, num_words=3))
['0.141*health + 0.080*brocolli + 0.080*good', '0.060*eat + 0.060*drive + 0.060*brother', '0.059*pressur + 0.059*mother + 0.059*brother'] 

这是什么意思呢？每一个生成的主题都用逗号分隔开。每个主题当中有三个该主题当中最可能出现的单词。即使我们的文档集很小，这个模型依旧是很可靠的。还有一些需要我们考虑的问题：

- health, brocolli 和 good 在一起时有很好的含义。

- 第二个主题有点让人疑惑，如果我们重新查看源文档，可以看到 drive 有很多种含义：driving a car 意思是开车，driving oneself to improve 是激励自己进步。这是我们在结果中需要注意的地方。

- 第三个主题包含 mother 和 brother，这很合理。

调整模型的主题数和遍历次数对于得到一个好的结果是很重要的。两个主题看起来更适合我们的文档。

ldamodel = gensim.models.ldamodel.LdaModel(corpus, num_topics=2, id2word = dictionary, passes=20)

>>> print(ldamodel.print_topics(num_topics=2, num_words=4))
['0.054*pressur + 0.054*drive + 0.054*brother + 0.054*mother', '0.070*brocolli + 0.070*good + 0.070*health + 0.050*eat'] 

from nltk.tokenize import RegexpTokenizer
from stop_words import get_stop_words
from nltk.stem.porter import PorterStemmer
from gensim import corpora, models
import gensim

tokenizer = RegexpTokenizer(r'\w+')

# create English stop words list
en_stop = get_stop_words('en')

# Create p_stemmer of class PorterStemmer
p_stemmer = PorterStemmer()
    
# create sample documents
doc_a = "Brocolli is good to eat. My brother likes to eat good brocolli, but not my mother."
doc_b = "My mother spends a lot of time driving my brother around to baseball practice."
doc_c = "Some health experts suggest that driving may cause increased tension and blood pressure."
doc_d = "I often feel pressure to perform well at school, but my mother never seems to drive my brother to do better."
doc_e = "Health professionals say that brocolli is good for your health." 

# compile sample documents into a list
doc_set = [doc_a, doc_b, doc_c, doc_d, doc_e]

# list for tokenized documents in loop
texts = []

# loop through document list
for i in doc_set:
    
    # clean and tokenize document string
    raw = i.lower()
    tokens = tokenizer.tokenize(raw)

    # remove stop words from tokens
    stopped_tokens = [i for i in tokens if not i in en_stop]
    
    # stem tokens
    stemmed_tokens = [p_stemmer.stem(i) for i in stopped_tokens]
    
    # add tokens to list
    texts.append(stemmed_tokens)

# turn our tokenized documents into a id <-> term dictionary
dictionary = corpora.Dictionary(texts)
    
# convert tokenized documents into a document-term matrix
corpus = [dictionary.doc2bow(text) for text in texts]

# generate LDA model
ldamodel = gensim.models.ldamodel.LdaModel(corpus, num_topics=2, id2word = dictionary, passes=20)​ 

关于 LDA 原理的更多分析，推荐两份资料《LDA 数学八卦》和《LDA 漫游指南》。