crawler-boss

用Go实现抓取Boss直聘职位数据。有几个特点

1.代理防IP被封

2.模拟浏览器,反识别爬虫。

3.控制爬取频率。

4.多协程爬取。

不足之处

1.爬取失败,没有进行重试以及更换IP处理。

2.错误处理

3.代码结构方面进行优化。

交流 && 疑问

如果有任何错误或不懂的地方欢迎给我提问 https://github.com/githubw2015/crawler-boss

如果对你有所帮助，请给个Star，你的支持，是我最大的动力。