我的编程空间,编程开发者的网络收藏夹
学习永远不晚

软件工程实践专题第一次作业

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

软件工程实践专题第一次作业

对伯乐在线所有文章进行爬取

使用scrapy框架

jobbolen.py

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request
from urllib import parse
from ScrapyText.items import Article_Item
class JobbolenSpider(scrapy.Spider):
name = 'jobbolen'
allowed_domains = ['blog.jobbole.com']
start_urls = ['http://blog.jobbole.com/all-posts/']

def parse(self, response):
re_nodes= response.css('#archive .floated-thumb .post-thumb a')
for re_node in re_nodes:
image_url=re_node.css("img::attr(class="lazy" data-src)").extract_first()
re_url=re_node.css('::attr(href)').extract_first()
yield Request(url=parse.urljoin(response.url,re_url),meta={'front_url_image':image_url},callback=self.text_parse)#yield交给scrapy进行自动下载
next_urls=response.css('.next.page-numbers::attr(href)').extract_first()
if next_urls:
yield Request(url=parse.urljoin(response.url, re_url), callback=self.parse)

def text_parse(self,response):
article_item=Article_Item()
re_title = response.css('.entry-header h1::text').extract()[0]
re_text = response.css('.entry p::text').extract()
front_image=response.meta.get("front_url_image","")
article_item["Title"]=re_title
article_item["Text"]=re_text
article_item["Front_image"]=front_image
yield article_item

items.py配置
# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class ScrapytextItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
pass
class Article_Item(scrapy.Item):
Title=scrapy.Field()
Text=scrapy.Field()
Front_image=scrapy.Field()
Front_image_path=scrapy.Field()
setting.py配置
import os
ROBOTSTXT_OBEY = False
IMAGES_URLS_FIELD ="Front_image"#从item中找出那个是要保存的
project_dir=os.path.abspath(os.path.dirname(__file__))
IMAGES_STORE=os.path.join(project_dir,'images')#将图片保存在本地文件中



main.py
# -*- coding: utf-8 -*-
__auther__="booby"
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","jobbolen"])


运行出现错误:

解决方案:

由于将一个字符串传递给数组导致错误

将jobbolen.py中的front_image改成[front_image]

运行结果

 

 

提取出文章及和封面图片




















免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软件工程实践专题第一次作业

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

软件工程实践专题第一次作业

对伯乐在线所有文章进行爬取使用scrapy框架jobbolen.py# -*- coding: utf-8 -*-import scrapyfrom scrapy.http import Requestfrom urllib import
2023-01-30

计算机专业毕业找工作必须会的一道题:三次握手和四次挥手的过程

通过三次握手,客户端和服务器建立了可靠的连接;通过四次挥手,客户端和服务器完成了连接的断开。这些过程确保了数据的可靠传输和连接的正常关闭,是TCP/IP协议的重要组成部分。

软件工程师文档写作优秀实践

高质量的文档是实现有效异步沟通的简单方式。在这篇文章中,我将讨论一些在个人经历中非常有用的有趣的技巧。

软件工程专业的学生如果编程不太好,是否容易实现就业

首先,软件工程专业的整体就业表现还是比较不错的,相信随着工业互联网的发展,未来行业领域依然会持续释放出大量的软件开发岗位,所以目前选择软件工程专业是不错的选择。

微软仅凭「提示工程」让GPT-4成医学专家!超过一众高度微调模型,专业测试准确率首次超90%

在MedQA数据集(美国医师执照考试题)上,Medprompt让GPT-4的准确率首次超过90%,超越BioGPT和Med-PaLM等一众微调方法。
模型数据2024-11-30

工程项目管理沙盘模拟软件助力企业实现高效协作与项目管理

工程项目管理沙盘模拟软件是一种利用计算机模拟技术来帮助企业进行项目管理和团队协作的工具。它通过模拟工程项目的过程和结果,使企业能够更直观地了解项目的进度、成本和风险,并提供决策支持和问题解决能力。本文将详细介绍工程项目管理沙盘模拟软件的功能特点,并通过实例来说明其在实际工程项目的应用。详细说明:工程项目管理沙盘模拟软件
工程项目管理沙盘模拟软件助力企业实现高效协作与项目管理
2024-01-17

山东关于2018年上半年计算机技术与软件专业技术资格(水平)考试考务工作有关问题的通知

  山东2018年上半年软考工作安排已经公布,山东地区的考生赶紧来看下2018年上半年计算机技术与软件专业技术资格(水平)考试的相关事项吧!(信息来源:山东人事考试网)   关于2018年上半年计算机技术与软件专业技术资格(水平)考试考务工作有关问题的通知  鲁人考函〔2018〕9号  各市人事考试中心:  
山东关于2018年上半年计算机技术与软件专业技术资格(水平)考试考务工作有关问题的通知
2024-04-18

山东关于2018年下半年计算机技术与软件专业技术资格(水平)考试考务工作有关问题的通知

  山东关于2018年下半年计算机技术与软件专业技术资格(水平)考试考务工作有关问题的通知已经出来,报名时间为2018年9月7日9∶00至9月19日16∶00结束,请考生们按照报名要求一起跟编程学习网小编在规定的时间内登录中国计算机技术职业资格网进行报名,具体请看通知内容。  关于2018年下半年计算机技术与软件专业技术资
山东关于2018年下半年计算机技术与软件专业技术资格(水平)考试考务工作有关问题的通知
2024-04-18

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录