对B站视频爬取下载，并组合成完整的视频
平时没事的时候除了刷抖音还喜欢逛B站，但在B站看见有趣的视频时候想要下载下来，却发现没有下载的按钮，人生是一个发现困难并且解决困难的过程，既然你不让我下，那我就非得下，爬虫可见及可爬，那我就用爬虫给你爬下来，
有请受害者B站排行榜舞蹈区排名第一：https://www.bilibili.com/video/BV1c341187m9
先分析一波：打开检查抓一下包，因为视频是异步加载的所以抓xhr的数据，清空数据包再将视频打开，发现多了不少数据包，但哪些是我们需要的数据呢，先看一下有什么特殊的数据，我们知道，视频是比较大的并且B站的视频是音频分离的，所以我们要找两个数据包，一个是视频一个是音频，
发现抓到了很多带有一堆数字的数据包，而且有的还不一样，返回的东西看不懂，仔细看一下url，发现里面有没见过的后缀名.m4s，查了一下发现M4S属于HTML5播放格式，可以为视频、也可以为音频，如此历来视频的数据包就找到了，这里有两种数据包，一个是后缀名前是30077的，一个是30280的
1 | https://xy221x131x191x56xy.mcdn.bilivideo.cn:4483/upgcxcode/95/78/439527895/439527895-1-30077.m4s?e=ig8euxZM2rNcNbdlhoNvNC8BqJIzNbfqXBvEqxTEto8BTrNvN0GvT90W5JZMkX_YN0MvXg8gNEV4NC8xNEV4N03eN0B5tZlqNxTEto8BTrNvNeZVuJ10Kj_g2UB02J0mN0B5tZlqNCNEto8BTrNvNC7MTX502C8f2jmMQJ6mqF2fka1mqx6gqj0eN0B599M=&uipk=5&nbs=1&deadline=1636727944&gen=playurlv2&os=mcdn&oi=3748183839&trid=00015abe094f6dc94938917e8895505bead4u&platform=pc&upsig=df692a5e07e5ceb77c354bf38dea609f&uparams=e,uipk,nbs,deadline,gen,os,oi,trid,platform&mcdnid=9001331&mid=671157361&bvc=vod&nettype=0&orderid=0,3&agrr=0&bw=181576&logo=A0000100 |
既然找到了数据包就对这两个url进行请求，不过这种请求一般设有防盗链，就是检查你从哪个地址跳转过来的，我们要在headers里设置referer。referer的获取方法和获取user-agent的方法一样，不过这个referer要在你所要请求的数据包里找
1 | def get_page(url_30280, url_30077, headers): |
运行一下就将两个数据包的内容获取到了，打开后发现视频一是纯音乐文件，视频二是纯视频文件
将音乐文件后缀名改成mp3
接下来就要把这两个文件合并起来，利用moviepy这个模块就可以合成一个完整的文件
1 | # 导入纯视频文件 |
运行后打开新生成的文件就可以观看带有声音的视频了
完整代码如下:
1 | import requests |
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 GML的博客！
wechat
alipay
相关推荐
2022-08-31
B站视频重构并加强--B站爬虫2.0版本
重构前的版本 代码 123456789101112131415161718192021222324252627282930import requestsfrom moviepy.editor import *def get_page(url_30280, url_30077, headers): response1 = requests.get(url_30280, headers=headers).content response2 = requests.get(url_30077, headers=headers).content # print(response1,response2) with open('B站视频1.mp4', 'wb') as f: f.write(response1) with open('B站视频2.mp4', 'wb') as f: f.write(response2) # 导入纯视频文件 ...
2021-10-04
程序员的快乐-用python爬取彼岸网美女图片
初入红尘，不知人间疾苦，暮然回首已，是苦中之人。这杯中 酒三分，这酒中 悲七分。关关难过 关关过，夜夜难熬 夜夜熬。愿这世间爱恨情仇尽融于酒，将这风尘作酒一饮消愁！ 这是枕上诗书里的一句话，粗略一读就有一股”网抑云”的气息扑面而来，吓得我赶紧打开我的收藏观摩一番，果然看美女使人心情愉悦 什么！你没有收藏！那今天教教你怎么让你有自己的收藏。今天爬一下彼岸网，这个网站比较简单，适合新手练习(注意别太狠，这个还是会封id的)说一下我的开发环境:python3.8计算机系统:Windows10开发工具:pycharm要用的包:requests、os、re网址:https://pic.netbian.com/ 打开网址先看检查一下，发现图片都储存在 li 标签中的 img 标签不过这里储存的是缩略图，想要高清图要爬取a标签里的链接，进入后在爬取高清图先获取这个网页的数据 12345678910import osimport reimport requestsdef get_page(url, headers): response =...
2021-10-12
程序员怎样买东西呢---selenium爬取淘宝数据
江山代有才人出,各领风骚数百年 ——清·赵翼 《论诗五首·其二》 长江后浪推前浪，浮事新人换旧人 ——宋·刘斧《青琐高议》 东西用时间长了就该换新的了，特别是手机，这几年发展太快，APP是越来越大，内存是越来越不够用了，想要换新的手机，但不知道换什么，那今天就爬一下淘宝，看一下淘宝手机的数据，参考一下 我的开发环境:python3.8计算机系统:Windows10开发工具:pycharm要用的包:selenium、csv、time网址:https://www.taobao.com/今天用的是自动化测试工具selenium，没有这个包的同学可以用pip install selenium 来安装安装完之后还需要安装个浏览器驱动，我用的是谷歌浏览器 http://chromedriver.storage.googleapis.com/index.html打开这个链接，找到你浏览器版本所对应的驱动，这是我的浏览器版本 可以看到我的版本是94.0.4606.81...
