有哪些网站用爬虫爬取能得到很有价值的数据？-石投金融
下载客户端
三步轻松贷款，贷款利率低
有哪些网站用爬虫爬取能得到很有价值的数据？
题主是个web程序员，最近想转去做数据分析，先练习的爬虫（python），各种爬取技巧以及多网站爬取等已经掌握，但发现转方向最无奈的是方向（要抓什么数据来干什么）比较迷茫，希望有前辈给予指导，哪些网站的数据抓取下来能获得有分析价值的数据，或者前辈的经验。
匿名用户 |
浏览次数：658
常见类似问题
回答共有14条
可以爬取留学论坛并分析呀详情看这篇专栏:EasyEasyOversea北美留学数据报告书 - 知乎专栏我爬取了一些留学论坛的数据,并做了分析: 这是托福总分的成绩分布图,我们专门把录取与被拒的数据分开做了统计,同时把申 请常春藤学校(Harvard, Yale, Cornell, Columb… 显示全部 可以爬取留学论坛并分析呀 详情看这篇专栏: EasyEasyOversea北美留学数据报告书 - 知乎专栏 我爬取了一些留学论坛的数据,并做了分析: 这是托福总分的成绩分布图,我们专门把录取与被拒的数据分开做了统计,同时把申 请常春藤学校(Harvard, Yale, Cornell, Columbia, Princeton, Brown, Dartmouth, Upenn) 的同学的托福成绩单独做了统计对比。从图上看出,托福 100-106 分是分数集中区, 托福越低,被拒的概率越高,低托福逆袭常春藤的例子也比较少...托福越高,被录取 的概率也相对更高。托福在 102 分及以下时,被拒的人几乎都比录取的人多,但托福 大于 102 分时,录取的人几乎都被被拒的人多。而想申请藤校的同学也可以看出,托 福大于 102 时,藤校申请者的托福分数远高于平均水平。从数据上看,申请藤校的同 学托福过 104 就已经高于其他申请者的平均水平了。 接下来我们来分析托福单科分数。这是托福听力分数的分布图,我们特地把 Econ/MFE, 法学与常春藤申请者的托福听力分数做了单独分析。经济金融类专业的同 学托福听力最多的竟然是...竟然是...满分!在高分段(27-30)也是常春藤申请同学保 持领先。听力大于 26 分就比很多人更有优势了。 而托福的阅读水平,经济金融类的同学也是遥遥领先,满分 30 分依旧成为了众数。而 中国申请者托福阅读水平不得不说真的是高,大量集中在(28-30)范围内。中国学生 的英语阅读看了不是大问题...毕竟是做完形填空长大的... 藤校申请者还是都是高分狂魔呢... 我们来看中国学生最头疼的托福口语成绩分布。刚开始看到这图的时候吓一跳,以为 用了假的数据。然后在网上翻看托福口语评分标准我才发现,原来托福口语评分标准 里,就没有 21 分与 25 分这两个分数。(source: /726.html) 在确认了数据的有效性后,我们发现(22-23)是大部分申请者的众数,口语平均水平 确实需要加强。不过 Econ/MFE 的同学口语成绩众数是 24 分,因此口语成绩的进步空 间还是很大。也看得出常春藤申请者的口语水平十分强势,高分段大有人在。一般口 语大于 22 分录取就具有优势了,Offer 数也会比 Reject 数多。口语大于 23 分就比很多 人领先了。 写作分数相对比较分散,集中在(24-28)之间。Econ/MFE 类的同学们受我一膜,众 数在 28 分。Ivy League 在高分段也是保持领先。写作大于 26 分就是一个不错的成绩 了。所以写作也是中国学生考托的刷分大坎,一定要过啊。 我们对 GRE 总分也进行了分析,把常春藤大学的申请成绩单独做了分析,并把 Offer 与 Reject 的 GRE 总分进行了对比。GRE 的众数是 320...这次意外的是无论是 Offer 还 是 Reject 还是 Ivy League,众数都是 320。高分段(329-340)的规律是:常春藤>Offer > Reject。而申请成绩只要大于 322 分就已经大于平均水平了。 我们甚至还用这些数据做了应用 详情请看: 简单海外 | EasyEasyOversea
gaga salamer
回答于日 00:00
前阵子在自学Python，可是平常用不到的话语法什么的就好容易忘啊，一个劲的print又没多大成就感，于是了解了requests、bs4、openpyxl...这些python库，对拉勾网上面的职位信息进行爬取。 这是部分感兴趣的职位..... //更新说明：parameter为传参，此处仅获… 显示全部 前阵子在自学Python，可是平常用不到的话语法什么的就好容易忘啊，一个劲的print又没多大成就感，于是了解了requests、bs4、openpyxl...这些python库，对拉勾网上面的职位信息进行爬取。这是部分感兴趣的职位.....//更新说明：parameter为传参，此处仅获取了自己比较感兴趣的部分职位信息，若有需要其他职业数据，可自行抓包分析(kd的值)，添加到该xml文件中，源代码已分享，见答案末尾。这是爬下来的数据...这是生成的Excel...前方是数据分析报告，多图预警！！ ---------------------------------------------------------start--------------------------------------------------------- /people/xu-lu-47-52 (二维码自动识别) ---------------------------------------------------------end------------------------------------------------------------------------------------------------------------ 职位印象 -------------------------------------------------------对于每一个职位而言，如何能迅速了解其背景呢？这就是在V1.3版本中加入的 职位印象 功能了...简单来说呢，就是在抓取每一个职位职位数据，对其进行一系列的分析，分词、统计词频，生成排名前20的热度词...这是拉勾网的职位要求...下面以[数据挖掘]岗位为例进行试验...[这是抓取的所有详情页数据][这是分析结果][职位印象]数据挖掘:果断地，在综合了所有“数据挖掘”岗位招聘要求数据之后，经过分析，数据挖掘算法、海量、模型、建模、数据等是常被提及的热度词。推荐系统:作为算法岗，数据、算法、数据挖掘、个性化理所应当是热门词汇。Android:移动开发则更偏向经验、架构、项目、设计模式。其他的分析就不一一赘述了，分析过程类似，详情见github。 ^_^评论中有小伙伴要源代码的，在此分享出来，没有系统学习过python，代码组织什么的可能不太好，了解下实现流程就好啦。[PPT分析报告原文件下载]微云文件微云在线预览格式被打乱，请下载后阅读！[希望热爱技术与设计的小伙伴多多交流哈 o^_^o][这是github地址]GitHub - EclipseXuLu/LagouJob注：感谢大家的关注，这份代码是当时刚学习Python的时候写的，代码组织都还很乱。BTW，目前，由于拉勾网后台API发生了变动，所以代码可能无法正常运行。硕士期间比较忙，一直也没能继续更新，有空的话会重写release 2.0版本的。如果想学习爬虫、数据分析相关的东西，可以参考下我的另一篇文章：世纪佳缘用户画像-Part1 - 知乎专栏
回答于日 00:00
WechatSogou[1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。DouBanSpider[2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到E… 显示全部 WechatSogou[1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 DouBanSpider[2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet ，采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封。 zhihu_spider[3]- 知乎爬虫。此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo bilibili-user[4]- Bilibili用户爬虫。总数据数：，抓取字段：用户id，昵称，性别，头像，等级，经验值，粉丝数，生日，地址，注册时间，签名，等级与经验值等。抓取之后生成B站用户数据报告。 SinaSpider[5]- 新浪微博爬虫。主要爬取新浪微博用户的个人信息、微博信息、粉丝和关注。代码获取新浪微博Cookie进行登录，可通过多账号登录来防止新浪的反扒。主要使用 scrapy 爬虫框架。 distribute_crawler[6]- 小说下载分布式爬虫。使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现，主要针对一个小说站点。 CnkiSpider[7]- 中国知网爬虫。设置检索条件后，执行src/CnkiSpider.py抓取数据，抓取数据存储在/data目录下，每个数据文件的第一行为字段名称。 LianJiaSpider[8]- 链家网爬虫。爬取北京地区链家历年二手房成交记录。涵盖链家爬虫一文的全部代码，包括链家模拟登录代码。 scrapy_jingdong[9]- 京东爬虫。基于scrapy的京东网站爬虫，保存格式为csv。 QQ-Groups-Spider[10]- QQ 群爬虫。批量抓取 QQ 群信息，包括群名称、群号、群人数、群主、群简介等内容，最终生成 XLS(X) / CSV 结果文件。 wooyun_public[11]-乌云爬虫。 乌云公开漏洞、知识库爬虫和搜索。全部公开漏洞的列表和每个漏洞的文本内容存在mongodb中，大概约2G内容；如果整站爬全部文本和图片作为离线查询，大概需要10G空间、2小时（10M电信带宽）；爬取全部知识库，总共约500M空间。漏洞搜索使用了Flask作为web server，bootstrap作为前端。 补充： QunarSpider[12]- 去哪儿网爬虫。 网络爬虫之Selenium使用代理登陆：爬取去哪儿网站，使用selenium模拟浏览器登陆，获取翻页操作。代理可以存入一个文件，程序读取并使用。支持多进程抓取。 findtrip[13]- 机票爬虫（去哪儿和携程网）。Findtrip是一个基于Scrapy的机票爬虫，目前整合了国内两大机票网站（去哪儿 + 携程）。 163spider[14] - 基于requests、MySQLdb、torndb的网易客户端内容爬虫 doubanspiders[15]- 豆瓣电影、书籍、小组、相册、东西等爬虫集 QQSpider[16]- QQ空间爬虫，包括日志、说说、个人信息等，一天可抓取 400 万条数据。 baidu-music-spider[17]- 百度mp3全站爬虫，使用redis支持断点续传。 tbcrawler[18]- 淘宝和天猫的爬虫,可以根据搜索关键词,物品id来抓去页面的信息，数据存储在mongodb。 stockholm[19]- 一个股票数据（沪深）爬虫和选股策略测试框架。根据选定的日期范围抓取所有沪深两市股票的行情数据。支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。 本项目收录各种Python网络爬虫实战开源代码，并长期更新，欢迎补充。 更多Python干货欢迎关注： 微信公众号：Python中文社区 Python中文社区QQ交流群：Python爬虫与数据分析QQ交流群： --------------------------------- Python学习思维脑图大全汇总打包 （密码请关注微信公众号“Python中文社区”后回复“思维”二字获取） 4分钟告诉你Python是什么—在线播放—优酷网，视频高清在线观看 /v_show/id_XMTcwMTg4NzYwOA==
回答于日 00:00
回顾2016年，我用爬虫做了很多事情。 1、微信好友的爬虫，了解一下你的好友全国分布，男女比例，听起来似乎是一个不错的想法，当然你还可以识别一下你的好友有多少人是用自己照片作为头像的，详细的内容可以点击这里：Python对微信好友进行简单统计分析 2、… 显示全部 回顾2016年，我用爬虫做了很多事情。1、微信好友的爬虫，了解一下你的好友全国分布，男女比例，听起来似乎是一个不错的想法，当然你还可以识别一下你的好友有多少人是用自己照片作为头像的，详细的内容可以点击这里：Python对微信好友进行简单统计分析2、拉勾网的数据那么多的招聘信息有用吗？当然有用，你想了解一下你所在城市的各种主流语言（Java、PHP、JavaScript、Python、C++）的薪资水平吗？这或许对你的学习决策是一个很大的帮助： Java/Python/PHP/C#/C++各大城市招聘状况分析 web前端开发各大城市招聘状况分析3、豆瓣的图书、电影信息有用吗？当然有，你想了解一下哪位小说作家的作品质量最高吗？是否想了解豆瓣上最热门的书记都有哪些，有没有你错过的好书籍呢？豆瓣的电影评论有水军吗？ 爬取6.6w+豆瓣电影之后的分析故事 豆瓣5.6分的《西游伏妖篇》评论有水军吗？ 豆瓣读书分析报告——读书爱好者4、美团和大众点评的数据有用吗？有呀，你真的了解周黑鸭和绝味吗？你知道在哪些城市周黑鸭比绝味火，哪些城市绝味比周黑鸭火呢？如果你都不知道，你就不算是鸭脖控！你所不知道的周黑鸭和绝味鸭脖 - 知乎专栏5、伯乐在线的文章数据有用吗？有啊，作为技术人员如何写一篇受欢迎的技术文章，作为一名Python初学者如何快速找到Python全面的学习资料，一个爬虫就够了：抓取1400篇Python文章后的故事（内附高质量Python文章推荐）6、腾讯NBA的用户评论数据有用吗？你用会员看一场NBA，我用爬虫也能看完一场精彩的NBA：用弹幕看一场NBA（公牛 - 老鹰），甚至我还能看到很多你看不到的东西，不信你点进链接看一看。7、链家网的数据有用吗？当然有啦，我能快速地找到我想租的房子，当然我还有一项特殊的技能，我还能用这些数据画出城市的地铁交通路线，是否很想知道如何做：如何拿链家网的租房数据做些有意思的事情？8、知乎的数据如何用呢？如何判断一场知乎live的质量，如何发现知乎中有趣的东西，知乎中最厉害的粉丝最多的都有哪些人？你想知道吗？ 不交智商税，如何判断一场知乎live的质量？ 爬取知乎60万用户信息之后的简单分析更多好玩的事情在等你：知乎专栏
回答于日 00:00
前阵子在自学Python，可是平常用不到的话语法什么的就好容易忘啊，一个劲的print又没多大成就感，于是了解了requests、bs4、openpyxl...这些python库，对拉勾网上面的职位信息进行爬取。 这是部分感兴趣的职位..... //更新说明：parameter为传参，此处仅获… 显示全部 前阵子在自学Python，可是平常用不到的话语法什么的就好容易忘啊，一个劲的print又没多大成就感，于是了解了requests、bs4、openpyxl...这些python库，对拉勾网上面的职位信息进行爬取。这是部分感兴趣的职位.....//更新说明：parameter为传参，此处仅获取了自己比较感兴趣的部分职位信息，若有需要其他职业数据，可自行抓包分析(kd的值)，添加到该xml文件中，源代码已分享，见答案末尾。这是爬下来的数据...这是生成的Excel...前方是数据分析报告，多图预警！！ ---------------------------------------------------------start--------------------------------------------------------- ---------------------------------------------------------end------------------------------------------------------------------------------------------------------------ 职位印象 -------------------------------------------------------对于每一个职位而言，如何能迅速了解其背景呢？这就是在V1.3版本中加入的 职位印象 功能了...简单来说呢，就是在抓取每一个职位职位数据，对其进行一系列的分析，分词、统计词频，生成排名前20的热度词...这是拉勾网的职位要求...下面以[数据挖掘]岗位为例进行试验...[这是抓取的所有详情页数据][这是分析结果][职位印象]数据挖掘:果断地，在综合了所有“数据挖掘”岗位招聘要求数据之后，经过分析，数据挖掘算法、海量、模型、建模、数据等是常被提及的热度词。推荐系统:作为算法岗，数据、算法、数据挖掘、个性化理所应当是热门词汇。Android:移动开发则更偏向经验、架构、项目、设计模式。其他的分析就不一一赘述了，分析过程类似，详情见github。 ^_^评论中有小伙伴要源代码的，在此分享出来，没有系统学习过python，代码组织什么的可能不太好，了解下实现流程就好啦。[这是我重新设计的PPT分析报告]微云文件[图片素材、部分设计灵感来源于网络，侵删][希望热爱技术与设计的小伙伴多多交流哈 o^_^o][这是github地址]GitHub - EclipseXuLu/LagouJob
回答于日 00:00
前阵子在自学Python，可是工作中用不到的话语法什么的就好容易忘啊，一个劲的print又没多大成就感，于是了解了requests、bs4、openpyxl...这些python库，对拉勾网上面的职位信息进行爬取。 这是部分感兴趣的职位..... //更新说明：parameter为传参，此处仅… 显示全部 前阵子在自学Python，可是工作中用不到的话语法什么的就好容易忘啊，一个劲的print又没多大成就感，于是了解了requests、bs4、openpyxl...这些python库，对拉勾网上面的职位信息进行爬取。这是部分感兴趣的职位.....//更新说明：parameter为传参，此处仅获取了自己比较感兴趣的部分职位信息，若有需要其他职业数据，可自行抓包分析(kd的值)，添加到该xml文件中，源代码已分享，见答案末尾。这是爬下来的数据...这是生成的Excel...前方是数据分析报告，多图预警！！ ---------------------------------------------------------start--------------------------------------------------------- ---------------------------------------------------------end------------------------------------------------------------------------------------------------------------ 职位印象 -------------------------------------------------------对于每一个职位而言，如何能迅速了解其背景呢？这就是在V1.3版本中加入的 职位印象 功能了...简单来说呢，就是在抓取每一个职位职位数据，对其进行一系列的分析，分词、统计词频，生成排名前20的热度词...这是拉勾网的职位要求...下面以[数据挖掘]岗位为例进行试验...[这是抓取的所有详情页数据][这是分析结果][职位印象]数据挖掘:果断地，在综合了所有“数据挖掘”岗位招聘要求数据之后，经过分析，数据挖掘算法、海量、模型、建模、数据等是常被提及的热度词。推荐系统:作为算法岗，数据、算法、数据挖掘、个性化理所应当是热门词汇。Android:移动开发则更偏向经验、架构、项目、设计模式。其他的分析就不一一赘述了，分析过程类似，详情见github。 ^_^评论中有小伙伴要源代码的，在此分享出来，没有系统学习过python，代码组织什么的可能不太好，了解下实现流程就好啦。[这是我重新设计的PPT分析报告]微云文件[图片素材、部分设计灵感来源于网络，侵删][希望热爱技术与设计的小伙伴多多交流哈 o^_^o][这是github地址]GitHub - EclipseXuLu/LagouJob
回答于日 00:00
前阵子在自学Python，可是工作中用不到的话语法什么的就好容易忘啊，一个劲的print又没多大成就感，于是了解了requests、bs4、openpyxl...这些python库，对拉勾网上面的职位信息进行爬取。 这是部分感兴趣的职位..... //更新说明：parameter为传参，此处仅… 显示全部 前阵子在自学Python，可是工作中用不到的话语法什么的就好容易忘啊，一个劲的print又没多大成就感，于是了解了requests、bs4、openpyxl...这些python库，对拉勾网上面的职位信息进行爬取。这是部分感兴趣的职位.....//更新说明：parameter为传参，此处仅获取了自己比较感兴趣的部分职位信息，若有需要其他职业数据，可自行抓包分析(kd的值)，添加到该xml文件中，源代码已分享，见答案末尾。这是爬下来的数据...这是生成的Excel...前方是数据分析报告，多图预警！！ ---------------------------------------------------------start--------------------------------------------------------- ---------------------------------------------------------end---------------------------------------------------------评论中有小伙伴要源代码的，在此分享出来，没有系统学习过python，代码组织什么的可能不太好，了解下实现流程就好啦。[这是我重新设计的PPT分析报告]请输入提取码 （提取码：b865）[图片素材、部分设计灵感来源于网络，侵删][希望热爱技术与设计的小伙伴多多交流哈 o^_^o][这是github地址]GitHub - EclipseXuLu/LagouJob--------------------------------------------------- 更新了 职位印象 功能-------------------------------------------------------对于每一个职位而言，如何能迅速了解其背景呢？这就是在V1.3版本中加入的 职位印象 功能了...简单来说呢，就是在抓取每一个职位职位数据，对其进行一系列的分析，分词、统计词频，生成排名前20的热度词...这是拉勾网的职位要求...下面以[数据挖掘]岗位为例进行试验...[这是抓取的所有详情页数据][这是分析结果][职位印象]数据挖掘:果断地，在综合了所有“数据挖掘”岗位招聘要求数据之后，经过分析，数据挖掘算法、海量、模型、建模、数据等是常被提及的热度词。推荐系统:作为算法岗，数据、算法、数据挖掘、个性化理所应当是热门词汇。Android:移动开发则更偏向经验、架构、项目、设计模式。其他的分析就不一一赘述了，分析过程类似，详情见github。 ^_^
回答于日 00:00
其实上个月就看到这个问题下有对知乎的数据分析，拿了好多赞。我虽然也想分享我们做的东西，但苦于原材料全是英文，style也比较严肃，调整起来比较烦。终于拖到现在，完成了整个内容的转述，并且加入了一些新的思考。 本项目的源起其实要感谢@苏莉安，当初… 显示全部 其实上个月就看到这个问题下有对知乎的数据分析，拿了好多赞。我虽然也想分享我们做的东西，但苦于原材料全是英文，style也比较严肃，调整起来比较烦。终于拖到现在，完成了整个内容的转述，并且加入了一些新的思考。本项目的源起其实要感谢@苏莉安，当初就是因为看到他在专栏上发的两篇知乎数据分析的文章，觉得知乎非常有分析的价值，于是在一个Course Project里提出了这个题目。正如文中已提到的，这个小项目其实远远没达到令人满意的程度，挖得太浅，实际处理的数据量也很小，我其实是还想继续做下去的。如有任何问题敬请指正，如有知友想要在此基础上继续做点啥的也请让我知道。本文的简书版链接：知乎社交网络分析（上）：基本统计知乎社交网络分析（下）：关注网络------------------------------------------------------上篇-基本统计--------------------------------------------------------1.0 简介 本文源自我在2015年Social Computing课程中参与的一个小组项目，主要语言为Python。项目的原始材料为英文撰写，内容包括了从爬取知乎数据一直到结果分析的整个过程。在本文中我打算略去数据爬取和数据库I/O的部分，重点在分享一些有趣的结论。分析过程若有不周之处，还望指正。 为保证可读性，本文将分为上下两篇，一篇只涉及数据介绍及基本的统计分析，另一篇是基于用户关注网络和关注话题进行的分析。 如果对这个小项目的全貌感兴趣，甚至想要自己fork过来玩玩，这里是项目的Github传送门。数据的压缩包可以在这里下载（使用请注明来源为本答案页面）。(由于时间精力有限，想要做的远远比已经做了的多，数据量也很不让人满意，如果有童鞋感兴趣咱一起继续啊~)1.1 数据 （自带吐槽模式开启） 虽说不讲数据爬取，但要说清楚我们所使用的数据到底是啥，还是得简单提一下的。2015年10月，我们使用了本人的知乎账号作为种子，先获得了所有我关注的用户的数据，再获得了这些用户所关注的用户的数据，所以算上种子的话一共是3层的广度遍历（注意其实这个数据可能是存在严重bias的，毕竟seed是一个逗逼，逗逼关注的人呢...咦怎么感觉脖子一凉）。这里的用户数据包括：用户的回答数，用户获得的赞同数、感谢数，用户关注的人和关注用户的人，用户回答过的问题以及每个问题的话题标签。这里给出数据的简要统计信息： 数据库文件: 688 MB（SQLite） 数据包含：2.6万名用户, 461万条关注连接, 72万个问题 这里是一张数据全貌的图示： 下面将着重介绍我们所做的分析。1.2 玩的不是同一个知乎：均值、中位数与标准差 要告诉别人我们在知乎上混得怎样，最基础的几个指标是什么呢？一定是关注、回答、赞同、感谢。所以我们首先对用户的关注数（followee）、关注者数（follower，粉丝数）、回答数（answer）、收到赞同数（agree）和收到感谢数（thanks）的平均数、中位数以及标准差进行了计算，结果如下表： 这里其实就有许多有趣的结论了。 首先我们看平均值，哇，平均每个人有三千多粉丝，三千多赞同，再看看可怜的我，306个粉和837个赞，而且他们回答的问题也并不多啊，却有那么多赞和粉丝，还让不让人玩知乎了？再看看中位数，顿时心里好受一些了，原来我混得挺不错嘛，五个指标都是我比较大，真开心（你是不是傻）。 究竟是什么原因造成平均值和中位数差异这么大呢，也许我们能从标准差看出来一些端倪——太大了，粉丝数和赞同数的标准差甚至超过了两万。 这意味着什么呢？我们知道，标准差其实衡量了数据个体之间的离散程度，也可以解释为大部分的数值和其平均值之间的差异。因此这么大的标准差可以说明知乎用户之间的差距可能略大于整个银河系（雾），同时也说明绝大部分用户的数值和平均值有很大的差距，要么大得离谱（比如），要么小得可怜（比如我）。 有人可能会不服气，说标准差严重依赖于数据本身的scale，不能充分说明问题。那么这里使用标准离差率（标准差除以平均值）来算算赞同数，8.4 = 568.9%。我~就~问~你~服~不~服~ 以上现象还可以导出一个猜测，那就是知乎用户的这五个指标的值分布，都不大可能是正态分布及其近似。让我们回想正态分布的样子：（图片来源：https://zh.wikipedia.org/zh-cn/%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83） 如果是正态分布，中位数（最中间的值）、众数（最多的值）以及平均值三者至少应该是非常接近的，然而我们这里却是地月距离（怎么一下缩水那么多）。1.3 当雪球滚到最后：长尾和幂律分布 为了进一步验证1.2的猜测，我们绘制了五个指标的分布图（Distribution Graph）。 这里说明一下这五张分布图的含义，横轴表示指标的具体数值，纵轴表示有多少用户具有该指标值。需要注意的是横轴值和纵轴值都取了以10为底的log，这是研究中一种常见的处理办法，能够使图所表达的信息更清晰。以感谢数分布图为例，那个最左上方的点表示在这两万多知乎用户里面，有大于10的三次方也就是1000的人没有获得一个感谢（摸摸大）；而最下面那一排点则是说，感谢数是x1，x2，...， xn (反正都不小)的用户，都只有一个人——注意仅这一排点并不能形成什么有效的结论，因为可能感谢数100的只有一个人，101的就有好多人了，这一定程度上大概是因为数据量小，采样不足。但是如果把下面几排点放到一起考虑，也许会更有启发一些。 顺便提一句，其实关注数和粉丝数的分布图分别还有另外一个名字，它们其实是知乎用户关注网络的出度（out-degree）分布图和入度（in-degree）分布图，这点在下篇中还会有所提到。 如果是对这种分布图比较熟悉的童鞋，应该一眼就能看出，这绝壁不是正态分布，而极有可能是幂律（power law）分布（不过因为懒我们并没有做拟合去验证），这种分布在许多有人参与其中的网络中都会出现。此外，仔细比较这五条曲线的整体形状，有没有觉得有两条与另外三条略有不同？一条是关注数，一条是答案数，这两条曲线向外的弯曲程度似乎更明显，也就是说随着横轴值的增大，纵轴值减小的趋势相对较慢，而恰好五个指标里只有这两个是某个用户自己可以控制的，而其他三个指标则是由其他用户形成的群体所控制，这是很奇妙的一点，我觉得其实还有深挖的可能性。 现在让我们以感谢数为例，再画另外一种分布图。横轴表示每个用户的index也就是0，1， 2， 3...，顺序由感谢数大小决定，纵轴则是该用户收到感谢数的具体数值： 看到那个突破天际的点了吗，二十七八万的感谢（其实这个点在前面那张感谢数分布图中也出现了，你还认得仅在几个自然段以外的它吗）！再看看下面那条长长的尾巴，人艰莫拆。再来看一个更夸张的，赞同数： 其他三个指标的图的形状也基本如此。 苏莉安曾使用远大于我们的数据量做了类似的分析，结论是一致的。总结一下就是：大多数人小得可怜，却有极少数人大得可怕，一点也不正（可）态（爱）。前几年不是有本书很火吗，叫做《长尾理论》？所谓长尾，指的就是这样一种现象（附送我对该现象的一些解释：什么是「长尾效应」 ？ - 赵澈的回答） 到这里不由得让人提到另外一个东西：马太效应。所谓穷的人越来越穷，富的人越来越富，感觉上其实就是长尾效应的动态解释（最近打算看看有没有相关的文献）。富的人掌握大量资源，因此更可能攫取更多资源，而穷的人则相反；大V因为有名而得到更多关注，同时因此变得更加有名；玩游戏carry从而得到更多钱，有了钱买装备又更可能carry。这是典型的正（滚）反（雪）馈（球）。最后造成的结果，就是长尾现象。1.4 论如何滚成人生赢家：赞同与关注 这一节可以算是对上一节结论的一个支撑。下面这张图同时包含了用户的赞同数和粉丝数两个指标： （!密集恐惧症高能预警!） 我想不需要我们再做个回归什么的了，一看就是赤裸裸的正相关啊。这也为我等如何冷启动逆袭成为知乎大V提供了理论支持——要么你就有本事回答出几个赞数突破天际的答案，要么你一开始就很有名，没写啥答案也能吸粉...（说的都是屁话...）------------------------------------------------------下篇-关注网络---------------------------------------------------------2.0 社交网络是什么？ 在上篇所述的基本的统计分析之后，我们已经对知乎用户的赞答谢关四个方面的总体情况有了一些了解。现在，让我们先来考虑这样一个问题：我们平常所说的社交网络或者说社会网络，到底是什么意思？也许你会讲，这还不简单，只要一个事情有多人参与，自然就会具有社交的性质，从而产生社交网络。那么让我们思考思考，维基百科算不算具有社交性质？ 维基百科确实有很多人参与编辑词条啊，但是这些人之间有没有更直接的互动呢？假设编辑者们通过QQ、微博之类进行互动，那产生出的社交性质算不算是维基百科本身所具有的社交属性呢？即使维基百科提供评论区之类的功能，可以使编辑者之间直接互动，这些互动仍然是基于某个词条的，只要这个词条没什么大问题了，互动基本上也就随着编辑的停止而停止了。我认为这种临时建立起来的关系，并无法得到一个较为稳定的社交网络。 让我们再来思考一个例子。我们知道，一门科学源自跨越时代的许多人的共同贡献，那么这许多人，能够构成社交网络吗？当然不能。所谓牛顿和爱因斯坦的对话只是一种修辞，一篇已经发出的论文，如何能引用一篇未来的论文？但是当我们考虑到同一时代的同一学科，情况就有所不同，学者之间确实存在着各种交流合作的可能，因此我们可以认为学术领域的共同作者关系（Co-authorship）形成的网络其实是带有社交性质的。 从以上粗略的思考中我们或许可以总结形成社交网络的几个条件：多主体的直接互动、互动的长期性、互动的近同时性。 现在让我们重新回到知乎上面来。赞同、感谢、回答、关注，哪一种用户行为最满足以上三个条件？回答是基于问题的，知乎的产品设计并不突出是谁提出了某个问题，并且一个问题可以被不同的人进行编辑（类似维基百科的权限设计），也就是说回答者一般不大在意是谁提出了问题，所以回答连互动都称不上；赞同、感谢以及我们之前没有提到的评论，相对来说互动得稍微直接一点，但是鼠标一点了事，不具有长期性；只有关注关系，同时满足了三个条件。这里可能会有一个疑问，关注也只是鼠标那么一点，这能算长期的吗？不要忘记知乎的时间线（Timeline）机制，这使得关注者有更大的概率看到被关注者的活动并与之进行互动，并且只要关注不取消，这种对时间线的影响就是长期的。 到此，我们可以认为，如果想要对知乎从社交网络的角度上进行分析，首先就可以考虑知乎用户之间的关注关系。接下来开始介绍我们对此进行的具体分析。2.1 分析对象和分析方法 首先来了解一些网络的基本知识： 一个网络可以被表示为一种图（graph），其中包含点（vertex / node）与边（edge / link）两种基本要素。边可以具有方向性，也就是说对于一个点来说，可以有外连边（out-link）和内连边（in-link）两种边。如果边是具有方向性的，那么这种图称为有向图（directed graph），反之称为无向图（undirected graph）。图反映了点与点之间的某种相关关系，这种关系由边表现。 回到知乎上，我们知道关注和被关注实际上是一件事情的两个角度。A关注了B，等价于B被A关注。在我们所爬取的数据中（见1.1中的数据全貌图），我们知道这2.6万用户中的每个人都关注了哪些人。也就是说，我们知道了2.6万用户点的所有外连边。从另一个角度想，我们其实也知道在这2.6万用户之间谁关注了谁（蓝圈以内的部分），加上他们关注了其他什么人（蓝圈以外的部分）。因此我们只能分析这2.6万用户（红色实心圆），因为我们并不知道其他的人（红色空心圆）的所有连接，这是由我们的广度优先爬取机制所导致的，不爬完知乎整站，不会有真正完整的数据（那些没人关注的账号应该可以忽略）。 此外，即使剔除了蓝圈以外的部分，涉及的连边数仍然具有很大的量级，计算量会是一个问题，所以在这个项目中，我们仅仅选取了这2.6万用户的两个有趣的子集进行分析：获得赞同数大于1万的用户（共1895人）、获得赞同数大于5万的用户（共375人）。方便起见，我们将他们分别命名为Net10k和Net50k，其实可以说就是两个不同级别的知乎大V群体了。 接下来讲讲分析方法。一个网络图，别看里面只有点和边两种东西，其实可以包含复杂到极点的各种现象与性质。网络分析，或者进一步说复杂网络领域之中，存在大量人们为了描述网络的现象而定义的概念、以及为了量化网络的特征而设计的指标。后文将要涉及的分析建立在其中最基本的一些概念和指标上，如果对它们逐个详细介绍，那么本文篇幅会大大加长，而且会多出不少数学公式，这不符合我对本文的写作预期。因此我打算尽量从直觉（intuition）上来解释它们分别表达了什么的含义，即使给出定义也不求严格（数学公式才可带来最清晰严格的定义），重点仍在对分析的思考。此外，由于我们所讨论的知乎关注网络是有向图，后面所有的指标和算法都只讨论有向图的。当然，如果读者已有一定的基础，可以直接跳过相关的段落。2.2 抱团的大V们：网络总体特征 一直以来知乎就给人一种印象，那就是大V们喜欢抱团。你关注我、我关注他、他又关注你，形成了紧密的圈子。那么我们怎样来量化这种特征？ 假设有A、B、C三个用户组成的关注网络，其中唯一的边是A->B，那么你觉得这个网络是否紧密？我们可以这样想，三个人之间最多可以有6条边，那么我们可以用1除以6来表示这个网络的紧密程度。如果6条边都存在，那么紧密程度是1，都不存在则为0。这就是所谓图的密度（density）。Net10k和Net50k的密度分别是0.064和0.195，到这我们可以猜测，获得赞同更多的大V之间，关注关系也更为紧密。 接下来我们从另一个角度考虑这个猜测，先补充几个定义： 点的度（degree）：与一个点通过边相连的其他点的数量和，被称为这个点的度。有向图中一个点存在出度和入度两个度，一个只看它能到达哪个点，一个只看哪些点能到达它。对于知乎的关注关系而言，我们很容易就能看到出度就是你关注的人数，入度就是关注你的人数； 点与点之间的路径（path）：假如从点A出发，经过一条或更多条边，到达了点B，那么我们称这些边按顺序相连形成了一条A与B之间的路径。两点间的路径数量一定是大于等于0的。假设每条边的长度相等，那么包含边数最少的路径，便是所谓最短路径（shortest path），最短路径的长度一般被认为是两点之间的距离（distance）； 图的平均最短路径长度（average shortest path length）：对于一个网络而言，将所有点两两之间的最短路径长度进行算术平均，得到的就是所谓平均最短路径，可以用来衡量网络中点之间的平均距离。传说中的六度分隔（Six Degree Seperation），其实指的就是一个网络的平均最短路径长度为6（这里大家可以想想边、度和路径三者间的联系）； 点的偏心率（eccentricity）：对于图中的任意一点P，算出它与其他各个点的最短路径长度（距离），其中最大的距离称作点P的偏心率。 图的半径（radius）与直径（diameter）：图的半径、直径分别是图中最小的、最大的点偏心率。注意图的直径不必然是半径的两倍。 图的强连通子图（strongly connected subgraph）：设想一个网络图G的一个子图G'（意味着G'中的点和边都只能从G中挑），其中每一个点都能通过某条路径到达另一个点，则我们说G'具备强连通性，而且是G的一个强连通子图。这里注意，单独一个点我们也认为是强连通子图，虽然单个点并没有值得研究的； 图的强连通分量（strongly connected component）：G的一个极大的强连通子图G''（意味着再往G''加任何G中剩下的点，都会破坏其强连通性）被称为G的一个强连通分量。这里需要注意，极大并不代表很大； 字好多看烦了吧，终于可以上图啦，下面分别是Net10k和Net50k的强连通分量示意图：其中每一个红色圆圈都代表一个强连通分量，每条线（其实是很抽象的箭头orz）代表一条路径。光看这个我们还不清楚情况，我们来看二者对应的一些指标数据： 总结一下我们知道了什么： 基本上Net10k和Net50k这两个图就是强连通的，别说抱团了，这已经根本就是挤成一坨（好吧，一个圈子）。 除了一个巨大的圈子，群体里就剩几个特立独行的高冷大V（都是只包含一个点的强连通分量），他们受到了其他大V的关注，但却没有任何回粉。在网络中，这种点也被称为悬挂点（dangling nodes）； 现在我们重点分析两个最大的强连通分量，连通倒是连通，但是如果A要经过100个人才能到B，那估计光凭关注关系，他们是没有缘分了。将Net10k和Net50k的最大强连通分量分别命名为Net10k-C和Net50k-C，以下是两者对应的指标数据： 如果你就是Net50k-C中的一个大V，还不认识其中的另一个大V？没关系，你关注的关注的关注...总会有他，所以你们总有机会看到彼此。强连通保证了总会有一条路径，平均最短路径向你保证平均来讲这条路径很短，只有2左右。直径和半径则告诉你在最坏情况下（你们碰巧是整个圈子里相距最远的两位），这条面基道路的长度在2到5（4）之间。What a small world，喜鹊们（雾）如是说。再来对比Net10k-C和Net50k-C的平均最短路径长度和直径，后者都比前者要小，从另一个角度说明后者的关注圈子更紧密。而且注意一点，这些大V是来自各个不同的专业领域，但都紧抱在一起，这也是很有趣的现象，有进一步分析的价值。2.3 给大V排个位：网络连接分析 上节侧重于对知乎大V关注网络的整体进行分析，这固然很有趣；但或许更有趣的是这个整体之中的每个个体，同样是赞同数很高的大V，他们彼此之间是否能一较高下呢？他们在关注这种社交行为上是否具有差异，如何衡量这种差异？这是本节涉及的问题。 让我们先来设想一个简单的关注网络，其中只有A、B、C三个人。A关注了B，B关注了A，A、B同时关注了C，而C谁也不关注，如下图所示： 那么你觉得光凭关注关系来看，A，B，C谁更“牛”？从直觉上来说当然是C，因为C在三人之中得到了最多的关注。但是否只要粉丝更多就能说明更“牛”呢？下面我们在这个网络的基础上，来考虑几种很有趣的情况： 多了10个自己粉丝数为0的用户，同时关注A 多了10个用户，他们彼此全部互相关注，除此之外都没有其他粉丝 多了10个自己粉丝数为1的用户，同时关注A，并且每个人还分别关注了10000个其他用户 那我们能说1里的A，或者2里的10个用户比C更牛吗？前两种情况明显不合道理，可以说是较为典型的作弊行为。作弊利用了单纯粉丝数排序的漏洞：没有考虑到每个关注连接的质量差异。第三种情况算是一种正常现象，但是你会觉得，这些用户一个是只有1个粉丝，几乎等于0，另一个是他们关注了那么多用户，那么他们关注A，真是因为A很重要吗？ 既然发现了漏洞，那么假如不考虑赞同数等其他因素，我们是否有可能通过关注网络本身来予以解决呢？从直觉上来说，我们可以想到的是，用粉丝自己的粉丝的质量来衡量这个粉丝的质量，但粉丝的粉丝的质量又需要粉丝的粉丝的粉丝的质量来衡量...那么到底最后是个什么情况？到这里我们看到了日常语言结构所能承载的思维深度之浅薄，当一个问题到达这个复杂度，语言已然苍白无力，不得不将它托付给数学。 PageRank算法（其与Google的关系我就不赘述了）就是一个数学上非常优美的答案，不仅考虑到前述的连接质量问题，还解决了所有特殊情况——无论关注网络是什么样子的，都保证能得到一个满意的用户重要程度排序。 下面是我们对Net10k和Net50k分别计算PageRank值，注意这里只考虑大V们内部的连接，此外圈子里所有大V的PageRank值相加等于1。最后得到排名前五的知乎大V用户如下： 这些便是站在知乎大V巅峰的大V们了，是否觉得有一定道理呢？注意比较Net10k和Net50k前五用户的PageRank值，前者比后者小，这主要是因为总和为1的PageRank资源被更多的大V们分掉了。 下面让我们再考虑一点，所谓的“重要”，其实要看我们的目的是什么。假如我们是要看更多的好答案或者想要找人出书约稿，那么直接找到好答案的答主就好，而这些答主往往吸引了最多的关注，所以我们仅仅需要知道谁受到的关注最强（比如下图中的C）。 但是光是通过关注，我们会漏掉那些暂时没有得到太强关注的好答主（可能是刚刚加入知乎的大V潜力股），然而我们又不可能自己去一个一个挖掘这些好答主，如何是好？简单，假如你能找到几个类似牵线人的用户（比如下图中的D）你相信只要是他们关注的用户，质量都不会差，都合你口味，事情就简单了。你只需要不时看看他们都关注了谁，就能发现更大的世界。这其实也算是一种用户推荐系统的可行思路，这里就不展开了。 HITS算法便能做到只使用关注网络，通过权威度（Authority）和枢纽度（Hub）为我们分别挑出好的答主，和好的牵线人。 上面的基于直觉的分析是否说得通呢？让我们看看Net10k和Net50k的权威度和枢纽度前五名： Auth（好答主）方面，我相信大家应该能认同这样的结果名单。值得一提的是在两个大V群体之中，@张佳玮（顺便提一下，张佳玮张公子就是上篇中那个在各条曲线中高高在上的闪亮极点）和@梁边妖调换了位置，很有趣。另外在Net50k中，@采铜 老师一跃进入前五，@马伯庸 马亲王（祥瑞御免）上升一名，黄继新则掉了出去。这些现象或许反映了不同大V群体的一种喜好倾向的差异。 Hub（牵线人）方面，说实话我个人只认识@徐湘楠一个人，其中还有一位目前处于账号停用状态，这里便不做过多分析。只有一点比较有趣，作为大V，粉丝数很大很正常，然而这些用户关注的人数也算是很多的，好几个甚至达到了几千，不可不谓之具有某种交际花属性。另外提一下，Net10k Hub的第五名，叫干脆面的用户，我已经无法知道是谁了，原来的用户ID是wang-wang-wang-08-18，现在改掉了，总觉得跟徐湘楠（ID：miaomiaomiao）之间存在着某种联系... 综合来看，HITS和PageRank有不少相同的用户入榜，这是为什么呢？我给一个直觉上我认为对的解释，其实PageRank的值是Hub值和Authority值的一种叠加（其实感觉更像是乘的关系）后的结果，这样Hub或Auth中的一种很强，另一种也不弱时，PageRank便相应比较高，这样两种算法得到部分相同的结果便很正常了。@黄继新是一个典型的例子，他的Auth值和Hub值在Net10k和Net50k中虽然都不是最高，但都排到前20名，而他的PageRank则是第一。既有内容，又能充当渠道。2.4 不均衡中的均衡：Closeness和Betweenness中心度 到此先让我们总结一下，如果要衡量一个用户在关注网络中的“重要程度”，我们可以利用这几种指标： 该用户的粉丝数，即入度（In-degree） 该用户的PageRank值 该用户的HITS值 它们在网络分析中也可被归为同一类指标：点的中心度（Centrality）。但我们发现，其实三种指标所表达的“重要”，其含义是不完全一样的，同一个网络，同一个节点，可能不同的中心度排名会有不小的差距。接下来请允许我介绍本项目中涉及到的最后两种点的中心度： 点的近性中心度（Closeness Centrality）：一个点的近性中心度较高，说明该点到网络中其他各点的距离总体来说较近，反之则较远。假如一个物流仓库网络需要选某个仓库作为核心中转站，需要它到其他仓库的距离总体来说最近，那么一种方法就是找到近性中心度最高的那个仓库。 点的介性中心度（Betweenness Centrality）：一个点的介性中心度较高，说明其他点之间的最短路径很多甚至全部都必须经过它中转。假如这个点消失了，那么其他点之间的交流会变得困难，甚至可能断开（因为原来的最短路径断开了）。因此假如要hack一个网络的话，对哪个结点下手你懂的。从另一个角度想，这些点简直就像是等在丝绸之路上必经关口的强盗。不留下买路钱？让你无路可走，生意就别做了。 这两种中心度我目前并未找到很公认的中文翻译，姑且自己翻译了。另外同PageRank和HITS一样，由于指标的计算稍显复杂，这里就不详细叙述了。但是我们都使用的是网络分析库Networkx中的算法实现，对详细算法有兴趣的读者可自行查阅其文档。 本项目中我们分别计算了Net10k和Net10k的近性中心度和介性中心度，并画出了分布图。由于我们当时考虑欠周，算出的近性中心度是基于外连接而不是内连接的，我认为意义不大（你总是可以让自己关注更多人，从而得到更大的近性中心度），所以本文决定略过。下面主要说一下介性中心度，其于Net10k和Net50k的分布图分别如下： 我们又得到了两条长长的尾巴。图中横坐标表示每一个特定的大V，纵坐标是大V相应的介性中心度。长长的尾巴表明大部分大V的介性中心度接近0，即使长尾以外有少数几个人远超其他人，但介性中心度的值依然很小。这说明什么？说明这些大V即使退出知乎，也几乎不会影响其他大V之间建立关注关系。没了你，我还有许多其他最短路径到达另外一个大V。这进一步说明什么？说明大V的关注网络是如此健壮，健壮到即使失去许多结点，对整个圈子的连通几乎毫无影响。 再横向比较一下Net50k和Net10k，可以看到这种随着圈子增大，幂律变得更强，除了少数点，大部分的人介性中心度都更趋近于0，人数的增加进一步稀释了大多数人的“独特性”，直觉上我相信继续扩大这个圈子，到Net5k、Net1k甚至知乎全体用户，这种健壮性只会越来越强，虽然人与人相比存在指数级的差异，但对整个网络本身而言，每个人几乎同等重要，也同等不重要。这或许可以称之为知乎关注网络所具有的一种不均衡中的均衡吧。2.5 大V都在关注什么：热门话题分析 最后，我们尝试了一种获得知乎上热门话题的办法（本项目中唯一涉及内容的分析），先取得Net10k和Net50k的支配集（Dominant set，这里由于我认为实际上不用这个子集结果也不会有显著区别，所以就不解释这个概念了），然后统计集合中所有用户的回答所对应的问题标签，最后对各个话题标签按出现次数排序。以下分别是二者的前20名： Top 20 from Net10k:调查类问题 3792, 生活 3096, 历史 1713, 恋爱 1464, 心理学 1432电影 1419, 人际交往 1404, 社会 1332, 互联网 1214, 情感 1197政治 1028, 两性关系 994, 教育 897, 中国 823, 人生 815游戏 805, 文学 772, 知乎 772, 法律 750, 音乐 738爱情 699, 文化 659,创业 628, 大学 621, 程序员 619心理 617, 你如何评价 X 609, 女性 604, 编程 585, X 是种怎样的体验 582 Top 20 from Net50k:生活 1435, 调查类问题 1365, 政治 1285, 历史 1204, 电影 1084健康 996, 社会 984, 医学 941, 恋爱 717, 中国 695两性关系 688, 英语 678, 人际交往 640, 心理学 634, 互联网 595法律 587, 微软（Microsoft） 555, 美国 552, 健身 538, 编程 511 我个人认为大V们回答的问题所对应的话题，能够从一定程度上反映了知乎这个平台总体的话题领域热门程度。另外，我觉得排在最前的一些热门话题也在一定程度上解释了为什么不同领域的大V会抱团，因为不论处于什么专业领域，人们对于生活、历史、电影等人文和泛娱乐话题总是会感兴趣的，一旦都感兴趣，又都有不错的见解和分享，自然更容易惺惺相惜。 到此，本文终于可以画上句号了，欢迎交流、讨论与点赞（最后一个才是你发自内心的呐喊吧喂）。在此还要感谢和我一起参与本项目的其他三个小伙伴，四个人一起才得以在短短时间内做到这种程度（项目report里有我们的详细分工）。感谢@egrcc的zhihu-python，帮我们省去了一部分爬虫编写的时间。 最后再重复一遍，如果有想要和我一起，在这些工作的基础上继续做一些有趣的分析的童鞋，请一定联系我！
回答于日 00:00
3月27日更新： 前几天注册了一个新的域名：http://zhihu.photo，里面是知乎一些热门钓鱼贴的图片集，刚刚部署上去，这几天会正式开始抓取。另爬虫和Web端代码已开源，地址：/xlzd/。 ----------------------------------------------------… 显示全部 3月27日更新：前几天注册了一个新的域名：http://zhihu.photo，里面是知乎一些热门钓鱼贴的图片集，刚刚部署上去，这几天会正式开始抓取。另爬虫和Web端代码已开源，地址：/xlzd/。------------------------------------------------------简单讲点我爬过的数据（包括但不限于）： 知乎的100多万用户（一个知乎重度用户眼中的知乎） 图片网站（Page 1 of Desktop Wallpaper）并做了微博带美图自动报时（xlz-d的微博_微博） 一个菜谱网站的菜谱并计划做成手机APP（暂时搁置） 58／赶集／豆瓣的租房信息并主动推送优质房源到邮箱（前段时间准备租房） 妹子图／成人糗百／＊＊的图片（妹子图 - 清纯美女,可爱美女,美女图片，糗百成人版::糗事百科 成人版 成年 糗友都懂得！，＊＊） 轮子哥 @vczh的关注列表的美女的所有爆照（通过face plus plus的API识别头像并通过Python的库简单识别暴露面积） 工作中的爬取内容不便过多透露关于爬虫，练手的话建议向需要登录的、比较封闭的社区爬取数据，或者向一个超大量数据源分布式抓取，要考虑服务器压力和反爬虫机制，分布式爬虫机器间的通信以及失败条目的重新抓取但不重复抓取已抓取数据等，可以使用一些成熟的Message Queue或者纯手撸。到最后希望你能够达到的水平是，只要浏览器可以浏览的内容，都能够用爬虫抓取（在时间开销／内存开销／存储开销都吃的消的情况下）。(由于知乎~哔~的霸王条例，某1<<10网站用＊＊代替。)
回答于日 00:00
有时候有了数据就想分析一下，跟大家分享一下我的实验。 这是我去年十一回来遍开始计划的实验，重装系统之后将QQ存储文件的文件夹放到了我的备份盘里， QQ会把你的聊天记录和图片分开存储，而且群组和好友也是分开存放在两个文件夹里的，好友G:\Tencent fil… 显示全部 有时候有了数据就想分析一下，跟大家分享一下我的实验。 这是我去年十一回来遍开始计划的实验，重装系统之后将QQ存储文件的文件夹放到了我的备份盘里， QQ会把你的聊天记录和图片分开存储，而且群组和好友也是分开存放在两个文件夹里的，好友G:\Tencent file\\Image\C2C，群组G:\Tencent file\\Image\Group。尽量保证电脑长时间开机，并且保证QQ一直在线，这样，每当QQ群里接受到消息之后，图片就被保存在了你的本地硬盘上。所以有人在群里爆了照再撤回其实是可以找到的，偷笑偷笑，只要找到Group文件夹里最新的照片就好了。 随着图片越来越多，QQ会把近期缓存的图片整理到一个新的文件夹里去，每到4000张图的时候就整理一次。我加了90多个QQ群，一半以上是千人群，6个月之后我的文件夹就变成了这个样子。 缓存了将近7个G的图片，一共十万五千张。 这次不讨论聚合和图片分类的问题，我们简单的统计一下直接从图片文件所携带的信息。这些图片一共有三种主要的格式， JPEG,PNG,GIF，通常就是，照片，截图，表情包~~ 比例如下： 除了简单的类型统计呢，我们还可以根据图片的创建时间来统计信息，当然在登录QQ的一开始，也会因为大量的接受图片而导致一个时间序列上图片数量出现极值。 时间序列尺度在周，分钟，和天的变化情况就显而易见了。 哦，周末人们在网上竟然比平时少活跃了一半，可能是活跃的人少了，也可能是活跃的时间少了，但是我认为，大家在家睡到12点的可能性更大一点，谁叫我加的都是工科群，23333. 在看每天的数据，天哪，竟然到了1点多才算全睡觉，本宝宝突然觉得好心塞，这个行业是怎么了。然后第二天6点多陆续起床，12点又开始去吃饭去了。等等等等，图上都显示的清清楚楚。 再看一年中的数据，唔~~~，好像周期性很强烈， 一到周末大家就睡觉了嘛？哎，二月五号左右我们在干吗？怎么那么低？原来是在过年，大家都在家里浪着呢。怎么有两天是0？好吧，我在往返的火车上，好心塞。 等等，如果PNG代表截图，那可能表示大家在讨论问题。如果GIF多一些，可能表示大家在斗图水群啊！我好像找到了你们不工作偷懒的秘密！让我们来分别看一下三种图片的动态变化。 看到了吧，过年的时候大家拍了好多照片分享到群里！ 那么周的呢？ 左侧是总数，右侧是百分比，大家在周末，更少讨论工作，也很少斗图，竟然都出去玩拍照片去了！让我很是诧异，只有我一个人会自然醒么？ 对了我们还有图片的宽高信息： 加了对数之后的分布情况，呃，貌似看不出什么，那直接用散点吧 几点线若隐若现的样子，连起来看看好了 这下知道那些线是什么了，是手机屏幕大小和电脑屏幕大小。斜线就是屏幕的长宽比啦。也很容易看出那些屏幕占了市场的主流。那1:1的？有这种屏幕？？应该是截图的时候截的图长宽比在1左右浮动吧，看到条线也是最粗的。 顺便看了一下那些图是最常用的。腾讯为了减少图片在网络流上的浪费，对于md5一样的图片，他们在聊天记录里的名字是一样的！值得一提的是，一张gif动图的第一帧如果和某个静态的jpge图片一样的话，那么他们的名字也是一样的，基于这个原理，统计了一下29个文件夹下出现次数最多的图片前三名，竟然是这个： 果然还是表情包~~~~，最容易反应大家当时的心情么23333，帧数最多的是~~~~~ 贪吃蛇~~，你们是有多无聊。 对了，本宝宝滤了一套表情包出来，哈哈哈 好了，就这样，这次不讨论过多的模式识别和监督学习之类的东西，希望大家也能在想不到的地方得到想不到的结果，希望能对各位有所启发。看完后希望你们也能给个这样的表情。 再分享一篇之前的建模~~假如现代的 1 万人穿越到智人时代，大约多久能重建现代文明？ - 最爱麦丽素的回答 欢迎各类奇葩怪咖加微信FavorMylikes，嘻~~~
最爱麦丽素
回答于日 00:00
如果想了解投资数据，IT桔子绝对是一个很好的选择。和朋友一起合作了这个小项目，利用python爬取IT桔子上的投资公司数据，包含第一层的投资公司名称，投资公司介绍，投资次数，投资领域，及第二层的投资组合等字段。先上个临时域名Data Visualization，数据… 显示全部 如果想了解投资数据，IT桔子绝对是一个很好的选择。和朋友一起合作了这个小项目，利用python爬取IT桔子上的投资公司数据，包含第一层的投资公司名称，投资公司介绍，投资次数，投资领域，及第二层的投资组合等字段。先上个临时域名Data Visualization，数据挂在了这个上面，感兴趣的朋友可以去玩一下。感谢远在伦敦的 @温颖提供爬虫支持，感谢@piupiu(他知乎是个空号，直接放他的个人网站了)和我一起把这个项目做完。整个项目从0-1进行设计，纯手写，涉及html、angularjs、d3.js等语言，数据获取为python。数据截止至，共获取投资公司2063个。1. 先利用D3.js做了一个拓扑图草图，把所有的投资机构关系理顺，投资次数越多代表该机构的气泡半径越大，具有共同投资关系的投资公司之间会存在连线，共同投资次数越多连线越宽。很明显的国内投资机构和国外投资机构自然分成两个聚类。2. 之后增加了筛选，按照投资次数多少来筛选投资机构3. 增加了点击气泡查看被投资公司列表，为增加交互性添加了网页端的slider，可以直接滑动筛选投资次数大于一定数值的投资机构，界面颜色第一次做了统一调整。4. 增加line chart和bar chart查看全部投资机构或者各投资机构的投资趋势变化及在各轮次的投资次数变化。同时决定把这个项目做到用户友好，调整了整个颜色风格，并添加简单文案。因为三个人在不同的国家，时间比较碎片化，目前line chart还存在一些小bug，不过不影响整体使用，之后会继续完善。临时域名/，感兴趣的朋友可以去随便玩一下。如果有任何问题请随时指出，欢迎探讨，转载请注明原作者及出处。－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－发现和之前 @何明科的答案基金恩怨情仇考（I） - 数据冰山 - 知乎专栏有一些类似，看出来我们的项目里分析各投资机构关系的部分还有很多不足，还是要继续努力学习实践。
回答于日 00:00
好吧，这个问题块被你们玩坏了，，， 我当时提这个问题时还真很无奈的，，多谢各位的讲解 前几天无聊做了个知乎的爬虫，爬取了十万用户数据，所以想看看能不能写写这个，算是我看了这半年的回答吧， 爬虫开源，在这（写的不好请指点）： GitHub - salamer/Z… 显示全部 好吧，这个问题块被你们玩坏了，，，我当时提这个问题时还真很无奈的，，多谢各位的讲解前几天无聊做了个知乎的爬虫，爬取了十万用户数据，所以想看看能不能写写这个，算是我看了这半年的回答吧，爬虫开源，在这（写的不好请指点）：GitHub - salamer/Zhihu_Crawler爬虫已经写成了教程，在这里知乎用户信息爬虫（规模化爬取）然后这篇文章我也写成博文，在这里：知乎用户图谱（用户数据分析）好的，我们开始吧首先是大学分布：大学首先是大学分布前三十： 我们可以看到： 清北浙雄踞前三个，而且很明显的这些大学都是国内的一流大学，所以说知乎作为一个知识的分享地方，还是很受知识分子欢迎的 接着，很明显前面的大学都是综合性大学，说明越是有多的文科专业的越有知乎上的求知欲 接着，我们看看知乎上面女性大学分布和男性大学分布: 还是很明显的，那些传说找不到妹纸的大学真的妹纸少。。。。。。 （说多都是泪） 那么我们来看看我们的数据是否有代表性，我们以某些大学的类型和他们的专业分布来看看： 我们可以清晰的看出类似同济，北邮这种专业性很强的大学的分布还是很靠谱的，所以说明这份数据还是很有代表性的 职业 知乎上面其实有很多年轻人已经走向社会，那么他们的职业分布是怎么样的呢？ 我们可以清晰的看到，知乎上面真的都是产品经理啊。。。。。 而且程序员很多很多 首先，这里我们就要说到知乎的专业分布了 （看来我打错字了） 我们可以清楚地看到，全是计算机咿咿呀呀，其他的也都是搞经济和金融的，，，， 知乎的男女性职业分布呢？ 两者产品经理都好多啊。。。。。但是可以看到，，，，程序员都是男的！！！！而且女性很多设计师之类广义上我们觉得女性多的职业 好的，那么不同地方的职业呢？ 北京和上海好像差不多。。。。。 所在地 我们来看看知乎用户的所在地分布吧： 杭州的也好多啊，，，不愧是中国电子商务之都，，倒是深圳是不是少了点啊 我们来看看计算机相关专业的所在地分布吧： 好吧，，，我们再看看金融的： 北京果然还是厉害啊。。。。。 公司 我们来看看知乎上面的公司分布： 互联网公司！互联网公司！互联网公司！！！重要的事情说三遍！！ 而且前面的好像就是股市排名啊。。。。 我们来看看北京用户的公司分布： 百度。。。你这样真的好么？？？ 我们来看看计算机相关专业的公司分布： 好的我们来看看用户关系吧 用户关系 所以可以看到，知乎是一堆大v带着玩的社区 很明显得可以看到，热门的人还是凤毛麟角的，大多数人的赞都不多 还有的就是知乎的性别分布了，居然不是1:1！！！！！！ 以上就是我拿zhihu的十万用户数据做的用户图谱研究 写的不好的话，请见谅，，，， 如果有谁对这些感兴趣可以私信找到我 或者。。。。有哪个公司收暑假实习么？数据挖掘算法够硬，，，北京，，，大二，，，可全职，，，外语好，，，有很多项目经验。。。。
gaga salamer
回答于日 00:00
这个问题蛮适合我这种老爬虫来回答。 0、IT桔子和36Kr 在专栏文章中（/p/），抓取IT橘子和36Kr的各公司的投融资数据，试图分析中国各家基金之间的互动关系。 1、知乎 沧海横流，看行业起伏（2015年） - 数据冰山 - 知乎专栏，抓取并汇总所… 显示全部 这个问题蛮适合我这种老爬虫来回答。0、IT桔子和36Kr在专栏文章中（/p/），抓取IT橘子和36Kr的各公司的投融资数据，试图分析中国各家基金之间的互动关系。1、知乎沧海横流，看行业起伏（2015年） - 数据冰山 - 知乎专栏，抓取并汇总所有的答案，方便大家阅读，找出2015年最热门和最衰落的行业有空的时候，准备写爬虫分析知乎的关系链。2、汽车之家大数据画像：宝马车主究竟有多任性？ - 数据冰山 - 知乎专栏，利用论坛发言的抓取以及NLP，对各种车型的车主做画像。3、天猫、京东、淘宝等电商网站超越咨询顾问的算力，在用户理解和维护：大数据改变管理咨询（三） - 数据冰山 - 知乎专栏，抓取各大电商的评论及销量数据，对各种商品（颗粒度可到款式）沿时间序列的销量以及用户的消费场景进行分析。甚至还可以根据用户评价做情感分析，实时监控产品在消费者心目中的形象，对新发布的产品及时监控，以便调整策略。4、58同城的房产、安居客、Q房网、搜房等房产网站下半年深圳房价将如何发展 - 数据冰山 - 知乎专栏，抓取房产买卖及租售信息，对热热闹闹的房价问题进行分析。5、大众点评、美团网等餐饮及消费类网站黄焖鸡米饭是怎么火起来的？ - 何明科的回答，抓取各种店面的开业情况以及用户消费和评价，了解周边变化的口味，所谓是“舌尖上的爬虫”。以及各种变化的口味，比如：啤酒在衰退，重庆小面在崛起。6、58同城等分类信息网站花10万买贡茶配方，贵不贵？ - 何明科的回答，抓取招商加盟的数据，对定价进行分析，帮助网友解惑。7、拉勾网、中华英才网等招聘网站互联网行业哪个职位比较有前途？ - 数据冰山 - 知乎专栏，抓取各类职位信息，分析最热门的职位以及薪水。8、挂号网等医疗信息网站如何评价挂号网？ - 何明科的回答，抓取医生信息并于宏观情况进行交叉对比。9、应用宝等App市场你用 Python 做过什么有趣的数据挖掘/分析项目？ - 何明科的回答，对各个App的发展情况进行跟踪及预测。（顺便吹一下牛，我们这个榜单很早就发现小红书App的快速增长趋势以及在年轻人中的极佳口碑）10、携程、去哪儿及12306等交通出行类网站你用 Python 做过什么有趣的数据挖掘/分析项目？ - 何明科的回答，对航班及高铁等信息进行抓取，能从一个侧面反映经济是否正在走入下行通道。11、雪球等财经类网站抓取雪球KOL或者高回报用户的行为，找出推荐股票12、58同城二手车、易车等汽车类网站一年当中买车的最佳时间为何时？ - 何明科的回答和什么品牌或者型号的二手车残值高？更保值？反之，什么类型的贬值较快？ - 二手车，找出最佳的买车时间以及最保值的汽车。13、神州租车、一嗨租车等租车类网站抓取它们列举出来的租车信息，长期跟踪租车价格及数量等信息14、各类信托网站通过抓取信托的数据，了解信托项目的类型及规模其实还有很多数据，不一一列举了。只要有爱数据的心和能爬的虫子，一切且有可能。顺利安利一下，抓取数据只是很小一部分，我们更擅长的是数据分析挖掘、可视化以及个性化的推荐。————————————————————更多文章关注我的专栏：数据冰山 - 知乎专栏
回答于日 00:00
更新神器： 1.下面提到的Quandl网站有一个他们自己的Python库，叫Quandl，可惜也是收费的。 pip install Quandl 2.TuShare -财经数据接口包 国内好心人做的开源财经数据接口（觉得好的可以捐助一下）。这里几乎可以获取到A股的所有信息了，还包… 显示全部 更新神器：1.下面提到的Quandl网站有一个他们自己的Python库，叫Quandl，可惜也是收费的。 pip install Quandl2.TuShare -财经数据接口包 国内好心人做的开源财经数据接口（觉得好的可以捐助一下）。这里几乎可以获取到A股的所有信息了，还包括一些经济数据。重点是他不仅免费，还提供了一个Python库tushare。 pip install tushareimport tushare as ts这样一来你便可以通过这个库方便地获取大量A股信息了。——————————————以下为原答案——————————————一大波数据来袭！题主问了有什么网站，能用来做什么。我给出几个API网站吧，做APP用的可能比较多，不过也可以用在日常生活中。一、生活服务1.手机话费充值。手机话费充值数据服务2.天气查询。天气查询数据服务3.快递查询。快递查询服务数据服务4.健康食谱。健康食谱数据服务5.查医院。医院大全数据服务6.水电煤缴费。水电煤缴费数据服务7.电影大全。电影大全数据服务8.谜语、歇后语、脑筋急转弯。猜一猜数据服务9.音乐搜索。音乐搜索接口数据服务10.健康知识。健康知识数据服务11.百度糯米、团购等信息。糯米开放api数据服务12.彩票开奖。彩票开奖查询数据服务以上接口都来自网站：APIX_国内领先的云数据服务平台_API接口服务平台细心 的人会发现，这些功能简直是遍地都是啊，支付宝、微信什么的一大堆，哪用那么麻烦！是的，但我相信这些可能为一些不太了解相关信息的人提供了帮助。不过，虽然这些功能很多APP都有，如果自己有空闲时间又懂得编程，不喜欢别人的UI设计，自己做一做也是挺好玩的。比如：生活枯燥了，把这些谜语歇后语等根据个人喜好定时推送到自己的手机，放松身心；把一些健康小知识在空闲时间推送给自己，提醒自己；……国内类似的网站还有：API数据接口_开发者数据定制API Store_为开发者提供最全面的API服务API数据接口_免费数据调用-91查|除此之外还有一些门户网站提供了一些API接口，比如豆瓣、新浪、百度等等。二、金融数据1.股票①新浪财经最多人用的就是新浪财经了，因为它是免费的，并且使用起来也不难。以下是网上找的教程：获取历史和实时股票数据接口②东方财富网网站提供了大量信息，也是基本面投资者的好去处。可以查看财务指标或者根据财务指标选股（如净资产收益率）：选股器 _ 数据中心。这些都是很好的投资参考，当然还有其它功能有对应的API，可以自己分析一下。③中财网/cfidata.aspx提供各种产品的数据（国内很多功能类似网站，如和讯、网易财经、雪球等等，具体的我没有一一试验就不放上来了，各位可以自己去试试，下同。）2.大宗商品①黄金头条——用资讯帮你赚钱！炒黄金，看黄金头条！黄金价格这里提供了各种大宗商品的行情，也可以分析获取。包括技术分析方面。②当然还有外国网站：3.美股等综合类（其实新浪财经和东方财富等也算是国内综合的了，就不一一列举了）①Wind资讯。很多机构用的都是这里的数据，当然普通个人是拿不到的，不过如果你是财经院校的学生，他们会提供免费的数据。详见官网。②Market Data Feed and API外国网站，提供了大量数据，付费。有试用期。③Quandl Financial and Economic Data同上。部分免费。④96 Stocks APIs: Bloomberg, NASDAQ and E*TRADE外国网站整合的96个股票API合集，可以看看。⑤雅虎财经http://www./https://hk./香港版三、其它撇去上面的API不说，如果单单爬取网页上的内容下来，那就太多可以爬的了。如：1.爬取网站上的图片。包括贴吧、知乎、Tumblr、轮子哥、XXX（你懂的）。2.爬取影评、电影资讯、图书等等。比如豆瓣电影。轻轻松松掌握好书好电影。3.爬取社交网络。比如新浪微博，Twitter。（Twitter提供了API，可以提交关键字等信息爬取搜索结果中的每一条内容。）爬完可以对整个社交网络群体做个分析，情绪、作息、区域……4.一些网站有你喜欢的文章或者帖子，但是他们没有APP或者是APP做得不友好，你可以直接爬取页面信息推送到手机上。5.做一个微信公众号。有了上面那么多数据，还怕公众号没东西？生活服务、选股器、行情分析、文章推送等等等。……其它想到再更。
回答于日 00:00
对以上回答还不满意？您可以想我们的的专家咨询您的问题
*此回答内容仅代表网友个人观点供用户参考及研究用途，不构成任何投资理财建议
贷款相关计算器
大家都在问
热门银行贷款利率?