职位详情
Python
Shell
SQL
爬虫开发
反爬虫
分布式爬虫
Kafka
岗位内容:
1. 负责爬虫系统的设计和开发,实现高效稳定的数据采集和分析处理。
2. 进行数据清洗、去重、格式化等操作,确保数据质量满足业务需求。
3. 优化爬虫程序,提高爬取效率和成功率,降低误差率以及被封禁的风险。
4. 开发自动化测试脚本,保证爬虫系统的稳定性和可靠性。
任职要求:
1. 熟练掌握 Python 语言,了解 HTTP 协议及常见的反爬虫算法。
2. 具备良好的算法和数据结构基础,熟悉多线程、异步编程等技术。
3. 精通各类数据库,如 MySQL、Redis、MongoDB 等,并有实际项目应用经验。
工作地址
熙汇商务中心D座(西北门)四楼电梯左拐C座406
点击查看地图