2、接下来,选择下一步,基本上不用多说,下面介绍一下配置环境变量,a. 鼠标右击桌面“计算机”(WindowsXp是“偶的电脑”)->“属性” b. WindowsXP时,在新弹出的属性窗口,选择“高级”->“环境变量”。
Windows7时,在新弹出的属性窗口,选择左侧的“高级系统设置”,在新弹出的属性窗口,选择“高级”->“环境变量
3、把python安装目录的路径追加到PATH里,然后确定。(注意:箭头指的两个分号一定要加上并且分号一定要在英文输入模式下输入)。
4、最后在CMD中输入python,看看有没有安装成功,如果出现一下画面说明安装成功
Python,可以帮忙抢票,可以爬虫东西,关于Python爬虫怎么做?今天教大家一个案例,python爬虫多线程实战:爬取美桌1080p壁纸图片 | 技术
技术点分析
· 爬虫requests
· 多线程threading
· 文件io读写操作
· xpath 提取ur
· 正则
实战
· 分析url
搞清楚各个url 的关联win4000.com/wallpaper_205_0_10_1.html
URL中与分类的关系:
wallpaper : 桌面壁纸
205 :壁纸分类对应大陆明星
10 :图片尺寸对应1920*1080
分析到这一部,大家知道 ,如果要需要其他类型的壁纸,只需要更改网站分类代码就可以了。
· 谷歌 charme ,通过右键检查
chrame 浏览器右键提示。
按图顺序,依次找到对应的html标签。
通过查看,大家发现 中间展示 的图片是由一个ul 标签包裹的 多个Li
大家所要跳转的链接 就在 Li 标签中, 这时就需要使用xpath进行数据的提取。
到此,大家第一层url 的分析就完成了。可以写出以下代码段。
此时通过xpath 获到当前页面中的 ul 中所有li 标签了。
那单个明星的跳转链接只需要再次xpath 进行提取就Ok了。
完成到这里你的代码运行结果应该如下:是两个列表list。
运行结果
准备下载图片
到这,完成第一步,你已经成功获到 每个明星的跳转链接 :
url: win4000.com/wallpaper_detail_153895.html
再次进行url 的分析:
初步分析
通过上图的分析,可以找到这张图,是大家要 1080规格的。但很可惜,一共9张,现在只能找到一张图片的url。
选其中两张图片地址对比:
pic1.win4000.com/wallpaper/2018-12-26/5c22eb195abe8.jpg
pic1.win4000.com/wallpaper/2018-12-26/5c22eb1c722dc.jpg
好像就是后面文件名不同。如果一张张取是不是很麻烦?
不信你自己去试一下。点再分析一下页面,有个 【查看原图】 选项,点一下试试呢?
点击上图出,点完发现了url的变化。
再看看有没有惊喜的地方 :
上图为url分析。
通过上图的分析 ,大家发现原来这个big页面有大家想要的所有 1080P的图片,而且,全是用ul 包裹,放到单个Li 标签中 。那简单了,用之前的办法 再提取一次,就出来了。代码如下:
到这里,大家第一步就完成了一页24个明星图片的地址url的爬取。第二步,完成了单个明星的1080图片地址url的爬取。下一步,大家把图片保存到本地就顺利结束。
图片保存
按需求,要单独到一个文件夹内。那大家就需要在本地路径内 创建对应的文件夹。此处使用 star_img_name 列表中的值。需要使用到i/o读写操作。
顺利完成 这个需求:
源码展示
代码运行结果若不同,可看一眼源码:
运行起来是不是很慢(完善版使用多线程),而且这样看代码,是不是有种:干干巴巴的,麻麻咧咧的,一点都不圆润,盘他!!
完善版是可以完成可选分类,可选规格 ,多线程版。希望这个小实战案例可以帮到大家。
有关于Python爬虫的课程:
Python爬虫数据挖掘基础教程
python网络爬虫第一天
python网络爬虫第二天
有想学习的小伙伴,可以关注黑马程序员,后台回复“Python爬虫”哦!
其实楼主提出这个问题还有两个问题需要楼主自己考量。
1、楼主现在处于什么阶段。
2、楼主认为学会是什么。
如果楼主有一定的语言基础,或者说目前本身就是一个开发工程师,那么Python算是比较简单的一种,可以很快上手。你看这个图:http://down.51cto.com/data/2338280 有编程基础的人30分钟就能知道Python的具体用法。偶身边的很多朋友都在学Python,在他们有一定基础的情况下用不了三个月都能学的差不多了。
关于楼主对于学会的界定,个人的观点是凡是入门容易的。越是高深就反而更难。
对了,这里有一些适合初学Python的一些资料楼主可以抽时间下载下来看一下:http://down.51cto.com/zt/10311
学习是一件自觉的事情,希望题主成功
题主说的手机编程python吧,其实完全没有必要,对于专业的开发人员来说,日常代码的编写以及调试都是在电脑上进行,手机来说,主要是一些小程序的阅读和验证,下面偶简单介绍3个非常不错的手机编程软件,对于python学习来说非常合适,感兴趣的朋友可以尝试一下:
高级终端—Termux这是一个非常轻便灵活的手机终端软件,类似于一个轻量级的linux系统(非常小),常见的各种shell命令都能支持并运行,编程python的话,只需要输入命令“pkg install python”安装python插件,之后在终端命令行输入python,即可进入python shell环境,缺点是编辑麻烦,而且无法进行程序调试,偶尔使用一下来说,还不错:
轻巧灵活—Python编译器这是一个非常小巧的手机python编程软件,安装包也就4.75M,相比较termux来说,自带有文本编辑器,因此阅读代码更方便,编辑起来也更快捷,支持代码高亮、自动缩进、语法检查等常见功能,如果你需要快速验证一个小程序,而手边又没有合适的电脑环境,可以使用一下这个软件,非常不错,运行程序的话,需要单独下载编译模块:
专业全能—QPython3这是安卓手机下一个非常不错的python编程软件,自带有python解释器,支持终端和文本2种编辑方式,因此使用上更灵活,常见的代码高亮、语法检查、自动缩进等功能这个软件都能很好兼容,除此之外,还支持numpy、pandas、keras等第三方库安装,小型的安卓程序开发也不在话下,如果你需要一个比较全能的手机python编程软件,可以使用一下这个软件,总体来说,效果还是非常不错的:
当然,除了以上3个手机python编程软件,还有许多其他软件,基本使用方式类似,只要你熟悉一下使用过程,很快就能掌握的,不过来说,手机编程python,建议还是不要这样做,不方便也不好调试代码,电脑更合适,网上也有相关教程和资料,介绍的非常详细,感兴趣的话,可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言进行补充。