Python人工智能实战之对话机器人的实现

class Joke:
    '''
    表示一个笑话。
    其中title是笑话标题，detail是笑话内容
    url是笑话的采集网址，通过url判定笑话是否重复，防止保存重复笑话
    id是数据库生成的唯一标识符，刚刚采集下来的笑话是没有id的，所以id可以为空
    '''
    def __init__(self, title, detail, url, id=None):
        self.title = title
        self.detail = detail
        self.url = url
        self.id = id

    def __str__(self):
        '''
        有了这个方法，print(joke)会把笑话打印成下面格式的字符串，否则只会打印对象的内存地址
        '''
        return f'{id}-{title}\n{detail}\n{url}'

title = html.select_one('h1.article-title').getText()

import requests
import bs4
import time
import random
#先注释掉数据库相关的代码，后面需要反注释回来
#import joke_db 
from joke import Joke

#起始URL
url = 'http://xiaohua.zol.com.cn/detail1/1.html'  

#网站的域名地址，用来拼接完整地址
host = 'http://xiaohua.zol.com.cn'

def craw_joke(url):
    '''
    抓取指定的URL，返回一个Joke对象，和下一个要抓取的URL
    如果抓取失败，返回None, None
    必须设置User-Agent header，否则容易被封
    '''
    print(f'正在抓取：{url}')
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
    }
    html = requests.get(url, headers=headers).text
    soup = bs4.BeautifulSoup(html, 'lxml')
    try:
        #分别使用css选择器提取title, detail和next_url
        title = soup.select_one('h1.article-title').getText()
        detail = soup.select_one('div.article-text').getText().strip()
        next_url = soup.select_one('span.next > a')['href']
        return Joke(title, detail, url), next_url
    except Exception as e:
        print('出错了：', e)
        print(html)
        return None, None 

# 抓取笑话，以学习为目的，建议不要抓取太多，本例子只抓取了10个
count = 0
for i in range(0, 10):
    joke, next_url = craw_joke(url)
    if joke:
        #先注释掉数据库相关的代码，后面需要反注释回来
        #joke_db.save(joke)
        print(joke)
        url = host + next_url
    print('歇一会儿再抓!')
    time.sleep(random.randint(1, 5))
print('抓完收工！')

import sqlite3
from joke import Joke 

def setup():
    '''
    创建数据库和创建表，如果已经存在了不会重复创建
    '''
    con = sqlite3.connect('jokeDB.db')
    with con:
        con.execute('''CREATE TABLE IF NOT EXISTS jokes
                    (id INTEGER PRIMARY KEY,
                    title varchar(256) NOT NULL,
                    detail varchar(1024) NOT NULL,
                    url varchar(1024) NOT NULL)''')

def save(joke):
    '''
    把笑话保存到数据库
    根据url判断是否已经有这个笑话了，如果有了就不再保存
    '''
    con = sqlite3.connect('jokeDB.db')
    with con:
        cur = con.cursor()
        cur.execute(
            'SELECT * FROM jokes WHERE (url = ?)', [(joke.url)])
        has_joke = cur.fetchone()
        if has_joke:
            print('重复了，不再插入')
        else:
            con.execute('INSERT INTO jokes(title, detail, url) VALUES (?,?,?)', (joke.title, joke.detail, joke.url))
            print('笑话保存成功')

def get_jokes():
    '''
    返回所有的笑话列表
    '''
    print('loading jokes...')
    con = sqlite3.connect('jokeDB.db')
    jokes = []
    with con:
        for row in con.execute('SELECT * FROM jokes'):
            joke = Joke(row[1], row[2], row[3], row[0])
            jokes.append(joke)
    return jokes

# 调用最上面的代码
setup()

# 测试代码，本模块被别的模块引入的时候，不会执行下面的代码
if __name__ == '__main__':
    save(Joke('笑话Test', '笑话内容test', 'https://www.joke.com/1.html'))
    save(Joke('笑话Test2', '笑话内容test', 'https://www.joke.com/2.html'))
    print('========打印一下所有的笑话======')
    for joke in get_jokes():
        print(joke)
        print()

> python joke_db.py
笑话保存成功
笑话保存成功
========打印一下所有的笑话======
loading jokes...
1-笑话Test
笑话内容test
https://www.joke.com/1.html

2-笑话Test2
笑话内容test
https://www.joke.com/2.html

#先注释掉数据库相关的代码，后面需要反注释回来
#import joke_db 

for i in range(0, 10):
    joke, next_url = craw_joke(url)
    if joke:
        #先注释掉数据库相关的代码，后面需要反注释回来
        #joke_db.save(joke)
        print(joke)
        url = host + next_url
    print('歇一会儿再抓!')
    time.sleep(random.randint(1, 5))
print('抓完收工！')

========打印一下所有的笑话======
loading jokes...
1-笑话Test
笑话内容test
https://www.joke.com/1.html

2-笑话Test2
笑话内容test
https://www.joke.com/2.html

3-成功
她：“因为别人都不同情你，我才做你的妻子。”他：“你总算成功了。现在每个人都因此同情我。”
http://xiaohua.zol.com.cn/detail1/1.html

4-结婚以后
女：“为什么从前你对我百依百顺，可结婚才三天，你就跟我吵了两天的架？”男：“因为我的忍耐是有限度的。”
http://xiaohua.zol.com.cn/detail1/2.html

5-我们的
燕尔新婚，新娘对新郎说：“今后咱们不兴说‘我的'了，要说‘我们的'。”新郎去洗澡，良久不出，新娘问：“你在干什么哪？”“亲爱的，我在刮我们的胡子呢。”
http://xiaohua.zol.com.cn/detail1/3.html

6-杞人忧天
妻子患了重病，医生宣告回天乏术。妻子即对丈夫说：“我现在希望你能够发誓。”“发什么誓。”“如果你再婚，不准把我的衣服给你的新妻子穿。”丈夫恍然大悟道：“这个我可以发誓。说实话，你根本不必操心，因为我再也不想找像你这样胖的太太了。”
http://xiaohua.zol.com.cn/detail1/5.html

7-理由充分
法官：“离婚理由是什么？”新娘：“他打呼噜。”法官：“结婚多长时间了？”新娘：“三天。”法官：“离婚理由充分，结婚三天还不是打呼噜的时候。”
http://xiaohua.zol.com.cn/detail1/6.html

8-聪明丈夫
某夫妇当街而过，一只鸽子飞过天空，一泡鸽粪不偏不倚正巧落在太太肩上，太太急了，忙叫丈夫拿纸。丈夫抬头，见鸽子不讲卫生，到处拉屎，却不知妻子叫他拿纸干嘛，说：“叫我有啥办法，追上前去给它擦屁股呀！ ”
http://xiaohua.zol.com.cn/detail1/8.html

9-事故与灾难
一位夫人问她的丈夫：“亲爱的，你能告诉我‘事故'与‘灾难'这两个词之间有什么区别吗？”“这很简单。”丈夫认真地回答说，“譬如你失足落水，这就叫‘事故'；如果人家又把你当鱼钓上来，这就是‘灾难'了。”
http://xiaohua.zol.com.cn/detail1/13.html

10-吵架的结果
夫妻吵架了。当丈夫下班回到家里，他发现妻子不在家。只在桌上留了一个条子，上面写道：“午饭在《烹调大全》第215页；晚饭在317页。”
http://xiaohua.zol.com.cn/detail1/14.html

11-保险之险
太太不懂保险的道理，认为缴保险费是浪费，先生连忙解释说：“保险是为了你和孩子，万一我死了；你们也有个保障呀！ ”太太反驳说：“要是你不死呢？”
http://xiaohua.zol.com.cn/detail1/16.html

12-补不足
妻：“我晓得，你与我结婚，是因为我有钱。”夫：“不是，是因为我没有钱。”
http://xiaohua.zol.com.cn/detail1/17.html