这里为了更好的说明实验过程,以爬取B站的TED演讲为例,如下:
1.首先,爬取视频的url地址信息,B站视频的信息是动态加载的,存储在一个json文件中,所以需要进行抓包分析,按F12调出开发者,F5刷新页面,查看所有抓包信息,如下,可以看到json格式加载的视频信息:
2.接着就是获取上面的json文件,解析这个json文件,提取到大家所需要的视频信息,这里主要是获取到url地址信息,代码如下,主要用到requests和json这2个模块,其中requests用于获取json文件,json用于解析json文件:
运行程序,效果如下,已经成功获取到视频信息:
3.最后就是根据视频url地址批量下载视频了,这里主要用到you-get这个模块,安装的话,直接在cmd窗口输入命令“pipinstallyou-get”就行,基本使用方式“you-get视频URL地址-o视频存放目录”,这里大家直接使用os.system执行这个命令就行,主要代码如下,非常简单:
运行程序,截图如下,已经开始下载视频:
接着打开对应的视频存放目录,就可以看到正在下载的文件,如下:
至此,大家就完成了利用python爬取并批量下载B站视频。总的来说,整个过程非常简单,就是步骤有些繁琐,只要你有一定的python爬虫基础,熟悉一下上面代码,多调试几遍程序,很快就能掌握的,网上也有相关教程和资料,非常丰富详细,感兴趣的话,可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言。