怎么用Python实现聊天机器人项目
本篇内容主要讲解“怎么用Python实现聊天机器人项目”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“怎么用Python实现聊天机器人项目”吧!
先决条件
为了实现聊天机器人,将使用一个深度学习库Keras,一个自然语言处理工具包NLTK,以及一些有用的库。运行以下命令以确保安装了所有库:
pip installtensorflow keras pickle nltk
聊天机器人是如何工作的?
聊天机器人只是一个智能软件,可以像人类一样与人互动和交流。很有趣,不是吗?现在来看看它们是如何工作的。
所有聊天机器人都基于自然语言处理(NLP)概念。NLP由两部分组成:
NLU(自然语言理解):机器理解人类语言(如英语)的能力。
NLG(自然语言生成):机器生成类似于人类书面句子的文本的能力。
想象一个用户问聊天机器人一个问题:“嘿,今天有什么新闻?”
该聊天机器人就会将用户语句分解为两个部分:意图和实体。这句话的目的可能是获取新闻,因为它指的是用户希望执行的操作。实体告诉了关于意图的具体细节,所以“今天”将是实体。因此,这里使用机器学习模型来识别聊天的意图和实体。
项目文件结构
项目完成后,将留下所有这些文件。快速浏览每一个。它将给开发员一个如何实施该项目的想法。
Train_chatbot.py-在本文件中,构建和训练深度学习模型,该模型可以分类和识别用户向机器人提出的要求。
Gui_Chatbot.py-这个文件是构建图形用户界面用来与训练后的聊天机器人聊天的地方。
Intents.json-Intents文件包含将用于训练模型的所有数据。它包含一组标记及其相应的模式和响应。
Chatbot_model.h6-这是一个分层数据格式文件,其中存储了训练模型的权重和体系结构。
Classes.pkl-pickle文件可用于存储预测消息时要分类的所有标记名。
Words.pkl-Words.pklpickle文件包含模型词汇表中的所有唯一单词。
下载源代码和数据集:
mailto:https://drive.google.com/drive/folders/1r6MrrdE8V0bWBxndGfJxJ4Om62dJ2OMP?usp=sharing
如何建立自己的聊天机器人?
笔者将这个聊天机器人的构建简化为5个步骤:
第一步:导入库并加载数据
创建一个新的python文件并将其命名为train_chatbot,然后导入所有必需的模块。之后,从Python程序中读取JSON数据文件。
importnumpy as np fromkeras.models importSequential fromkeras.layers importDense, Activation,Dropout fromkeras.optimizers importSGD importrandom importnltk fromnltk.stem importWordNetLemmatizer lemmatizer = WordNetLemmatizer() importjson importpickle intents_file = open('intents.json').read() intents= json.loads(intents_file)
第二步:数据预处理
模型无法获取原始数据。为了使机器容易理解,必须经过许多预处理。对于文本数据,有许多预处理技术可用。第一种技术是标记化,把句子分解成单词。
通过观察intents文件,可以看到每个标记包含模式和响应的列表。标记每个模式并将单词添加到列表中。另外,创建一个类和文档列表来添加与模式相关的所有意图。
words=[] classes= [] documents= [] ignore_letters = ['!', '?', ',', '.'] forintent in intents['intents']: forpattern in intent['patterns']: #tokenize each word word= nltk.word_tokenize(pattern) words.extend(word) #add documents in the corpus documents.append((word, intent['tag'])) # add to our classes list ifintent['tag'] notin classes: classes.append(intent['tag']) print(documents)
另一种技术是词形还原。我们可以将单词转换成引理形式,这样就可以减少所有的规范单词。例如,单词play、playing、playing、played等都将替换为play。这样,可以减少词汇表中的单词总数。所以将每个单词进行引理,去掉重复的单词。
# lemmaztize and lower each word andremove duplicates words= [lemmatizer.lemmatize(w.lower()) forw in words if w notinignore_letters] words= sorted(list(set(words))) # sort classes classes= sorted(list(set(classes))) # documents = combination betweenpatterns and intents print(len(documents), "documents") # classes = intents print(len(classes), "classes", classes) # words = all words, vocabulary print(len(words), "unique lemmatized words", words) pickle.dump(words,open('words.pkl','wb')) pickle.dump(classes,open('classes.pkl','wb'))
最后,单词包含了项目的词汇表,类包含了要分类的所有实体。为了将python对象保存在文件中,使用pickle.dump()方法。这些文件将有助于训练完成后进行预测聊天。
第三步:创建训练集和测试集
为了训练模型,把每个输入模式转换成数字。首先,对模式中的每个单词进行引理,并创建一个长度与单词总数相同的零列表。只将值1设置为那些在模式中包含单词的索引。同样,将1设置为模式所属的类输入,来创建输出。
# create the training data training= [] # create empty array for the output output_empty = [0] * len(classes) # training set, bag of words for everysentence fordoc in documents: # initializing bag of words bag= [] # list of tokenized words for thepattern word_patterns = doc[0] # lemmatize each word - create baseword, in attempt to represent related words word_patterns = [lemmatizer.lemmatize(word.lower()) for word in word_patterns] # create the bag of words array with2, if word is found in current pattern forword in words: bag.append(1) if word inword_patterns else bag.append(0) # output is a '0' for each tag and '1'for current tag (for each pattern) output_row = list(output_empty) output_row[classes.index(doc[1])] = 1 training.append([bag, output_row]) # shuffle the features and make numpyarray random.shuffle(training) training= np.array(training) # create training and testing lists. X- patterns, Y - intents train_x= list(training[:,0]) train_y= list(training[:,1]) print("Training data is created")
第四步:训练模型
该模型将是一个由3个密集层组成的神经网络。第一层有128个神经元,第二层有64个,最后一层的神经元数量与类数相同。为了减少模型的过度拟合,引入了dropout层。使用SGD优化器并对数据进行拟合,开始模型的训练。在200个阶段的训练完成后,使用Kerasmodel.save(“chatbot_model.h6”)函数保存训练的模型。
# deep neural networds model model= Sequential() model.add(Dense(128,input_shape=(len(train_x[0]),), activation='relu')) model.add(Dropout(0.5)) model.add(Dense(64,activation='relu')) model.add(Dropout(0.5)) model.add(Dense(len(train_y[0]), activation='softmax')) # Compiling model. SGD with Nesterovaccelerated gradient gives good results for this model sgd= SGD(lr=0.01,decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy']) #Training and saving the model hist= model.fit(np.array(train_x), np.array(train_y), epochs=200, batch_size=5,verbose=1) model.save('chatbot_model.h6', hist) print("model is created")
第五步:与聊天机器人互动
模型已经准备好聊天了,现在在一个新文件中为聊天机器人创建一个很好的图形用户界面。可以将文件命名为gui_chatbot.py
在GUI文件中,使用Tkinter模块构建桌面应用程序的结构,然后捕获用户消息,并在将消息输入到训练模型之前,再次执行一些预处理。
然后,模型将预测用户消息的标签,从intents文件的响应列表中随机选择响应。
这是GUI文件的完整源代码。
importnltk fromnltk.stem importWordNetLemmatizer lemmatizer = WordNetLemmatizer() importpickle importnumpy as np fromkeras.models importload_model model= load_model('chatbot_model.h6') importjson importrandom intents= json.loads(open('intents.json').read()) words= pickle.load(open('words.pkl','rb')) classes= pickle.load(open('classes.pkl','rb')) defclean_up_sentence(sentence): # tokenize the pattern - splittingwords into array sentence_words = nltk.word_tokenize(sentence) # stemming every word - reducing tobase form sentence_words = [lemmatizer.lemmatize(word.lower()) for word in sentence_words] returnsentence_words # return bag of words array: 0 or 1for words that exist in sentence defbag_of_words(sentence, words,show_details=True): # tokenizing patterns sentence_words = clean_up_sentence(sentence) # bag of words - vocabulary matrix bag= [0]*len(words) fors in sentence_words: fori,word inenumerate(words): ifword == s: # assign 1 if current word is in thevocabulary position bag[i] = 1 ifshow_details: print("found in bag:%s" % word) return(np.array(bag)) defpredict_class(sentence): # filter below thresholdpredictions p= bag_of_words(sentence,words,show_details=False) res= model.predict(np.array([p]))[0] ERROR_THRESHOLD = 0.25 results= [[i,r] fori,r inenumerate(res) ifr>ERROR_THRESHOLD] # sorting strength probability results.sort(key=lambdax: x[1],reverse=True) return_list = [] forr in results: return_list.append({"intent": classes[r[0]],"probability": str(r[1])}) returnreturn_list defgetResponse(ints, intents_json): tag= ints[0]['intent'] list_of_intents = intents_json['intents'] fori in list_of_intents: if(i['tag']== tag): result= random.choice(i['responses']) break returnresult #Creating tkinter GUI importtkinter fromtkinter import * defsend(): msg= EntryBox.get("1.0",'end-1c').strip() EntryBox.delete("0.0",END) ifmsg != '': ChatBox.config(state=NORMAL) ChatBox.insert(END, "You: " + msg+ '\n\n') ChatBox.config(foreground="#446665", font=("Verdana", 12 )) ints= predict_class(msg) res= getResponse(ints,intents) ChatBox.insert(END, "Bot: " + res+ '\n\n') ChatBox.config(state=DISABLED) ChatBox.yview(END) root= Tk() root.title("Chatbot") root.geometry("400x500" root.resizable(width=FALSE, height=FALSE) #Create Chat window ChatBox= Text(root, bd=0, bg="white",height="8", width="50", font="Arial",) ChatBox.config(state=DISABLED) #Bind scrollbar to Chat window scrollbar= Scrollbar(root,command=ChatBox.yview, cursor="heart") ChatBox['yscrollcommand'] = scrollbar.set #Create Button to send message SendButton = Button(root,font=("Verdana",12,'bold'),text="Send", width="12", height=5, bd=0,bg="#f9a602",activebackground="#3c9d9b",fg='#000000', command=send ) #Create the box to enter message EntryBox= Text(root, bd=0, bg="white",width="29", height="5", font="Arial") #EntryBox.bind("<Return>",send) #Place all components on the screen scrollbar.place(x=376,y=6, height=386) ChatBox.place(x=6,y=6, height=386,width=370) EntryBox.place(x=128,y=401, height=90,width=265) SendButton.place(x=6,y=401, height=90) root.mainloop()
运行聊天机器人
现在有两个独立的文件,一个是train_chatbot.py,首先使用它来训练模型。
pythontrain_chatbot.py
到此,相信大家对“怎么用Python实现聊天机器人项目”有了更深的了解,不妨来实际操作一番吧!这里是编程网网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341