求一份java爬虫的需求文档,最好是亚马逊的

首先,爬虫和编程语言关系不大。不要用过Java就只会Java。去了解一下相关其他语言,只到能干活儿水平的话,花不了多少时间。

关于爬虫,网上有很多例子,从小白到基本会爬,这个过程也很快。随便说几个进阶问题:

爬虫如何伪装成你想要的终端和浏览器?比如,想爬网页版的,还是想爬手机版的。爬到的结果会有不同。

如何解决网站识别出来你是机器人、须输入验证码,这些问题?

如何设计“重试”机制?

这些问题,网上可能都有答案。

0 thoughts on “求一份java爬虫的需求文档,最好是亚马逊的”

Leave a Comment