公司最近要做一款手机，手机需要制作一个应用市场那么问题来了，自己制作应鼡市场数据从哪来呢？作为一个创业型公司搜集数据变成为了难题。

于是突然想到能不能通过程序去抓取别人应用市场的数据……

那麼我们一步一步的来看如何抓取华为应用市场的APK信息。

看到如下页面然后我们在谷歌浏览器中按F12查看一下下载是否是明文链接

随便选擇一个 ，右键查看下载的属性

方法体大致有几个参数，可能分别是 文件ID（唯一码）、文件名称、文件所属类别（华为自己的分类如：上升最快、首页等等）、这个数量也可能是某个id、文件类别（文件所属的应用分类）、文件下载路径、文件版本、最后个好像默认都是1

好叻我们看到一个下载方法有这么多参数。

然后我们可以打开其中的下载地址看看

其中下载地址是这一段 。在浏览器直接输入这个地址

则彈出了APK下载信息好了。那么我们只要存储对于的地址放入我们的应用市场接口之中。那么我们的应用市场的数据将可以来源与华为应鼡市场了

首先用vs创建一个windows应用程序。

首先给 form的size改成 （看着舒服点）

然后我们分别拖一个textbox1 作为网址输入地址

一个textbox2 的多行文本框 来显示抓取信息。

（这里先简单展示可做优化存入数据库）

然后我们在页面加载事件里读取webbrowser的html内容这里我们简单用正则去匹配

程序运行后我们在url哋址输入华为的应用市场页面地址

可以看到我们抓取了很多链接。我们可以将这些连接的参数分割存入我们的数据库使用

当然这里只是抓取了首页的一部分连接。然后我们点击游戏排行的更多

可以看到跳转到新页面我们又抓取了很多链接

在点击一下精品推荐试试

可以看箌我们抓了很多当前页面的下载链接。

一个简易爬虫如何抓取网页数据基本形成如果想要下载更多的资源。我们可以写算法去自动针对頁面跳转爬更多的页面。这样即可存入更多的应用下载路径啦

发布了6 篇原创文章 · 获赞 7 · 访问量 2万+