Api的接口数据怎么翻页抓取？

[scofier]

现在很多网站的数据是ajax加载的， 我们可以通过获取后端api数据接口来拿数据，但是webmagic怎么根据api接口遍历全部的分页数据呢？

比如接口： http://angularjs.cn/api/article/latest?p=1&s=20

分页参数是?p=1 , 是否可以像scrapy设置startUrls：

http://angularjs.cn/api/article/latest?p=[1-100]&s=20

这样webmagic能自动抓取前100个页面的数据吗？

[colin-plus]

我有一个建议，可以实现：你可以先抓取第一页（ http://angularjs.cn/api/article/latest?p=1&s=20 ），若有数据，再把下一页的链接（ http://angularjs.cn/api/article/latest?p=2&s=20 ）加入到后续爬取链接中去，依次类推，直到把所有的数据抓完。

[code4craft]

http://angularjs.cn/api/article/latest?p=[1-100]&s=20这个写法看起来也很酷，我觉得可以加进去。

[wyh6635]

不支持post json形式