我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Python爬虫入门教程 1-100 C

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Python爬虫入门教程 1-100 C

简介

你好,当你打开这个文档的时候,我知道,你想要的是什么! Python爬虫,如何快速的学会Python爬虫,是你最期待的事情,可是这个事情应该没有想象中的那么容易,况且你的编程底子还不一定好,这套课程,没有你想要的Python基础,没有变量,循环,数组等基础知识,因为我不想在那些你可以直接快速学会的地方,去浪费你的时间。

好了,这套课程是基于Python3.0 以上写的,操作系统我使用的是CentOS7+ 所以里面的好多内容可能和你的不一样,当然也会导致许多问题的解决和你的不同,所以有的问题,需要你自己百度或者FQ解决啦,祝你碰到N多的BUG。O(∩_∩)O

接下来的第一步是什么?

安装一个虚拟机,因为你的电脑99%是windows的,所以你需要一个软件叫做 VMware 然后,下载地址 在2018年5月10日这一天,我百度到的是

http://www.wuleba.com/309.html 在这个网址里面有这款软件的下载和你懂的。

然后,我接着百度到了一个CentOS7的操作系统

软件下载之后的名字

软件下载之后的名字

准备工作做好了,接下来就是需要你需要完成的操作了

首先,安装VM这款软件,并且把它"pojie"掉.(当有一天,你赚到了钱,记得在去买一下这款软件,支持一下)

安装软件,全部使用默认选项即可,这个地方因为简单到不需要我写了,有问题大家可以自行解决。

安装完毕之前的最后一步
这里写图片描述

CentOS 7 安装

接下来就进入CentOS的安装了

安装过程中几个关键点位,要确定好

选择中文,下一步

这里写图片描述

红框的几个地方请注意

这里写图片描述

修改成下图的样子
这里写图片描述

OK,我们已经做好配置了,接下来点击下一步,在下一步,你只需要配置一个root账户的密码就可以了

接下来就是几分钟的等待了,跟你电脑配置有关系,时间不等。

安装之后,打开CentOS操作系统,会出现一个嘿嘿的DOS命令窗口,输入账户root和你刚刚设置的密码,进入没有问题,完美~代表你的操作系统已经安装好了

接下来,为了方便我们后面的操作,我们要给我们的虚拟机安装一个GUI交互界面(也就是像windows一样的视窗操作软件)

安装的教程,我建议你观看 https://www.cnblogs.com/c-xiaohai/p/6509641.html 这个博主的,简单,清楚,一次成功。

如果失败了,怎么办,百度“如何安装gnome图形界面程序” 想办法啃下来。

当出现这样子的一些图标的时候,你成功了

这里写图片描述

好了,接下来说一下,你可能碰到的问题

  1. 你点击应用程序,里面找到一个叫做火狐浏览器的软件,然后打开,发现竟然无法上网?!

  2. 你发现竟然无法使用中文输入法?!nice 这个问题,自行解决,随便找找一堆解决方案。

好了,上面问题2解决了,那么解决一下问题1吧,这个问题首先确认一下你在一开始安装的时候,下面这个图配置的是否正确。

需要显示已连接
这里写图片描述

如果上图没有问题,那么99%的童鞋是可以上网的,那么还是有无法上网的,这时候,打开一个叫做终端的软件

这里写图片描述

输入代码

ping www.baidu.com

网络通畅
这里写图片描述

如果联网失败,敲入下图中的命令,如果联网成功,那么下面的内容,你直接跳过,去查看安装Python部分吧。

网络连接失败,修改方案

这里写图片描述

使用命令 ,注意,你的文件不一定叫ifcfg-ens33,可能叫 ifcgf-xxx 操作都一样

vi ifcfg-ens33

进入编辑页面 vi 的简单的操作

进入编辑状态请按键盘上的 i

退出编辑状态,请按键盘上的 ESC

然后输入 :wq 保存,退出,其他的命令用到在说吧。

图中有几个重点的地方,已经标注

这里写图片描述

首先看到你的文件中是否有 HWADDR=mac地址 【MAC地址获取见下图】

如果没有,自己手动加上,这里使用的DHCP连接网络的方式,所以,你需要把BOOTPROTO="dhcp" 如果需要修改成 "static" 也可以,不过需要配置一些其他的内容

保存文件退出

获取MAC地址,注意图片中的标注

这里写图片描述

接下来 使用下面的命令重启网络服务

service network restart

在这里,你可能就重启成功了

如果失败,那么这个地方可能是一个非常大的坑了,网上的教程五花八门,但是大多数都是Copy一样的。

这里你可以按照各种教程去试一下,下面给大家几种常见的解决办法。

  1. 你自己电脑上面的两个服务没有开启

这里写图片描述

  1. CentOS操作系统中 NetworkManager 服务有冲突

这个需要在终端中解决

打开一个终端,输入如下命令

service NetworkManager stop  【回车】

chkconfig NetworkManager off   【回车】   

上面的命令是停止Network然后禁止开机启动,这样子在执行  service network restart  去尝试一下

安装Python

接下来就是我们的开发工具了,Python的安装

默认我们的CentOS已经给我们带了一个Python2

你可以直接使用

这里写图片描述

我们重新安装一下最新的Python3.0以上的版本,这里先安装一些基本的内容,CentOS使用 yum 安装程序

yum -y install zlib zlib-devel
yum -y install bzip2 bzip2-devel
yum -y install ncurses ncurses-devel
yum -y install readline readline-devel
yum -y install openssl openssl-devel
yum -y install openssl-static
yum -y install xz lzma xz-devel
yum -y install sqlite sqlite-devel
yum -y install gdbm gdbm-devel
yum -y install tk tk-devel

里面的 -y 是代表所有需要用户确认的地方选择yes不需要用户输入了

为了方便后面我们的Python3编译,还需要安装一个gcc编译器

yum -y install gcc

之后到python官网下载 https://www.python.org

终端运行以下命令

下载安装包

wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz  

解压下载好的Python-3.x.x.tgz包

tar -zxvf Python-3.6.5.tgz  

进入解压后的目录,编译安装。

cd Python-3.6.5/
./configure --prefix=/usr/local/python3

make

    make

make install

make install

建立python3的软链

ln -s /usr/local/python3/bin/python3 /usr/bin/python3

OK到现在为止,你已经创建好了python3的环境了,在终端中尝试一下吧

这里写图片描述

接下来,你可能面临的一个问题就是安装setuptools和pip3的问题了,这个就留给大家自己解决去了。

最后输入一个 hello world 结束我们的1/100

print("hello,world")

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Python爬虫入门教程 1-100 C

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

Python爬虫入门教程 1-100 C

简介你好,当你打开这个文档的时候,我知道,你想要的是什么! Python爬虫,如何快速的学会Python爬虫,是你最期待的事情,可是这个事情应该没有想象中的那么容易,况且你的编程底子还不一定好,这套课程,没有你想要的Python基础,没有变
2023-01-30

Python爬虫入门教程 15-100

石家庄政民互动数据爬取-写在前面今天,咱抓取一个网站,这个网站呢,涉及的内容就是 网友留言和回复,特别简单,但是网站是gov的。网址为http://www.sjz.gov.cn/col/1490066682000/index.html首先声
2023-01-30

Python爬虫入门教程 19-100

从今天开始的几篇文章,我将就国内目前比较主流的一些在线学习平台数据进行抓取,如果时间充足的情况下,会对他们进行一些简单的分析,好了,平台大概有51CTO学院,CSDN学院,网易云课堂,慕课网等平台,数据统一抓取到mongodb里面,如果对上
2023-01-30

Python爬虫入门教程 29-100

1. 手机APP数据----写在前面继续练习pyspider的使用,最近搜索了一些这个框架的一些使用技巧,发现文档竟然挺难理解的,不过使用起来暂时没有障碍,估摸着,要在写个5篇左右关于这个框架的教程。今天教程中增加了图片的处理,你可以重点学
2023-01-30

Python爬虫入门教程 32-100

1. B站博人传评论数据爬取简介今天想了半天不知道抓啥,去B站看跳舞的小姐姐,忽然看到了评论,那就抓取一下B站的评论数据,视频动画那么多,也不知道抓取哪个,选了一个博人传跟火影相关的,抓取看看。网址: https://www.bilibil
2023-01-30

Python爬虫入门教程 38-100

爬前叨叨今天要爬取一下正规大学名单,这些名单是教育部公布具有招生资格的高校名单,除了这些学校以外,其他招生的单位,其所招学生的学籍、发放的毕业证书国家均不予承认,也就是俗称的野鸡大学!网址是 https://daxue.eol.cn/min
2023-01-30

Python爬虫入门教程 59-100

图片比对昨天的博客已经将图片存储到了本地,今天要做的第一件事情,就是需要在两张图片中进行比对,将图片缺口定位出来缺口图片完整图片计算缺口坐标对比两张图片的所有RBG像素点,得到不一样像素点的x值,即要移动的距离 def get_dis
2023-01-31

Python爬虫入门教程 61-100

python3爬虫遇到了反爬当你兴冲冲的打开一个网页,发现里面的资源好棒,能批量下载就好了,然后感谢写个爬虫down一下,结果,一顿操作之后,发现网站竟然有反爬措施,尴尬了。接下来的几篇文章,我们研究一下各种反爬虫套路,当然互联网没有100
2023-01-31

Python爬虫入门教程 10-100

图虫网-写在前面经历了一顿噼里啪啦的操作之后,终于我把博客写到了第10篇,后面,慢慢的会涉及到更多的爬虫模块,有人问scrapy 啥时候开始用,这个我预计要在30篇以后了吧,后面的套路依旧慢节奏的,所以莫着急了,100篇呢,预计4~5个月写
2023-01-30

Python爬虫入门教程 18-100

很高兴我这系列的文章写道第18篇了,今天写一个爬虫爱好者特别喜欢的网站煎蛋网http://jandan.net/ooxx,这个网站其实还是有点意思的,网站很多人写了N多的教程了,各种方式的都有,当然网站本身在爬虫爱好者的不断进攻下,也在不断
2023-01-30

Python爬虫入门教程 20-100

美好的一天又开始了,今天咱继续爬取IT在线教育类网站,慕课网,这个平台的数据量并不是很多,所以爬取起来还是比较简单的打开我们要爬取的页面,寻找分页点和查看是否是异步加载的数据。进行了一些相应的分析,发现并没有异步数据,只需要模拟翻页就,在进
2023-01-30

Python爬虫入门教程 36-100

爬前叨叨2018年就要结束了,还有4天,就要开始写2019年的教程了,没啥感动的,一年就这么过去了,今天要爬取一个网站叫做酷安,是一个应用商店,大家可以尝试从手机APP爬取,不过爬取APP的博客,我打算在50篇博客之后在写,所以现在就放一放
2023-01-30

Python爬虫入门教程 46-100

1. 手机收音机-爬前叨叨今天选了一下,咱盘哪个APP呢,原计划是弄荔枝APP,结果发现竟然没有抓到数据,很遗憾,只能找个没那么圆润的了。搜了一下,找到一个手机收音机 下载量也是不错的。2. 爬虫套路爬虫基本套路抓包获取链接分析数据抓数据使
2023-01-30

Python爬虫入门教程 37-100

爬前叨叨2019年开始了,今年计划写一整年的博客呢~,第一篇博客写一下 一个外包网站的爬虫,万一你从这个外包网站弄点外快呢,呵呵哒数据分析官方网址为 https://www.clouderwork.com/进入全部项目列表页面,很容易分辨出
2023-01-30

Python爬虫入门教程 45-100

1. Charles抓取兔儿故事背景介绍之前已经安装了Charles,接下来我将用两篇博客简单写一下关于Charles的使用,今天抓取一下兔儿故事里面关于小猪佩奇的故事。爬虫编写起来核心的重点是分析到链接,只要把链接分析到,剩下的就好办了。
2023-01-30

Python爬虫入门教程 55-100

验证码探究如果你是一个数据挖掘爱好者,那么验证码是你避免不过去的一个天坑,和各种验证码斗争,必然是你成长的一条道路,接下来的几篇文章,我会尽量的找到各种验证码,并且去尝试解决掉它,中间有些技术甚至我都没有见过,来吧,一起Coding吧数字+
2023-01-31

Python爬虫入门教程 57-100

滑动验证码介绍本篇博客涉及到的验证码为滑动验证码,不同于极验证,本验证码难度略低,需要的将滑块拖动到矩形区域右侧即可完成。这类验证码不常见了,官方介绍地址为:https://promotion.aliyun.com/ntms/act/cap
2023-01-31

Python爬虫入门教程 40-100

爬前叨叨第40篇博客吹响号角,爬取博客园博客~本文最终抓取到了从2010年1月1日到2019年1月7日的37W+文章,后面可以分析好多东西了呢经常看博客的同志知道,博客园每个栏目下面有200页,多了的数据他就不显示了,最多显示4000篇博客
2023-01-30

Python爬虫入门教程 25-100

1. 知乎文章图片写在前面今天开始尝试爬取一下知乎,看一下这个网站都有什么好玩的内容可以爬取到,可能断断续续会写几篇文章,今天首先爬取最简单的,单一文章的所有回答,爬取这个没有什么难度。找到我们要爬取的页面,我随便选了一个https://w
2023-01-30

Python爬虫入门教程 30-100

1. 高考派大学数据----写在前面终于写到了scrapy爬虫框架了,这个框架可以说是python爬虫框架里面出镜率最高的一个了,我们接下来重点研究一下它的使用规则。安装过程自己百度一下,就能找到3种以上的安装手法,哪一个都可以安装上可以参
2023-01-30

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录