职位详情
+ 善于解决实际问题,上机熟练
+能完善制定和运颖爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,网页抓取的效率和质量高。
+丰富的Scrapy,Python 或Apache Nutch等爬虫经验2年以上。
+ 掌握二种以上开源爬虫框架(scrapy、selenium、pyppeteer等);
+ 熟悉APP去壳、反编译等逆向工程能力,优先考虑;能应对大型电商平台反爬。
+ 熟练使用mysql/postgresQL、MongoDB/redis、sqlserver等数据库,或熟练使用一种。
+ 熟悉动态网页抓取、浏览器模拟抓取,熟悉fiddler等
进行网络数据合法采集。
工作地址
上海-闵行区漕河泾浦江高科技园F区新骏环路188弄8B3楼(楼下有星巴克)