自从学习了爬虫就想在B站爬取點什么数据,最近看到一些个up主涨粉很快于是对up主的粉丝数量产生了好奇,所以就有了标题~
首先我天真的以为通过up主个人空间的地址僦能爬到
但事与愿违,给这个地址发送请求返回来的并不是我们想要的页面数据而是一个类似于要求用户更换浏览器的错误页面
我们可鉯使用postman来模拟发送这个请求
让我们再用postman来测试一下
由图可见,返回的json串就是我们想要的数据
接下来我们就用Java的爬虫框架WebMagic来编写爬虫程序,爬取1~1000的用户信息(粉丝数 >= 10000)
go语言在语言层面天生支持多线程,只要在前面加上go关键字就能使用协程了 go func(){}
运行程序(运行之前需要先开mongodb):
这里输入的两个数字就是B站用户的uid,图中是1~10000
经测试速度比Java的WebMagic快了好几个层级,所以爬虫程序就选用go语言的了web项目还是采用springboot的。
最后奉上Uid从1~10000的up主粉丝大于1W的用户数据:
web页面展示前十名:
DuangDuangDuangDuang由于篇幅有限,未能展示所有UP主毕竟有好几十亿的用户啊(这得爬到什么时候呢。。)
不过后续还会推出更多的排名慢慢地接近爬取所有UP主粉丝数
标题:报!B站开了声入人心接口普通版加长版都有!目前还搞不清这是什么操作! |
应该用PC端就可以刷b站弹幕
小糊综真是要火了~这是招到商了。地址我也找不到怎么发我就是手机端搜声入人心,影视那里有三版分别是声入人心,加长版和剧情升级版然后你点开都是要跳转到芒果TV的。不知道这是什麼操作?希望后续能开个b站通道
送给大家一个视频剪辑晚上直播见~