爬虫开发工程师
6000-8000元/月
更新 2025-12-27 14:37:22
浏览 472
职位详情
爬虫工程师
1-3年
岗位职责:
爬虫系统开发:构建分布式爬取架构,实现对千万级数据的高效采集,应对反爬机制(如验证码、IP封锁、接口加密),持续优化采集速度与系统稳定性。
数据处理流程:规划数据清洗、去重及存储策略,建立自动化采集链路与监控体系,确保数据准确性与采集时效。
系统监控维护:实时跟踪爬虫运行情况,及时发现并处理采集故障,保障系统高可用与持续运行能力。
反爬策略研究:深入分析目标站点防护逻辑,制定合规可行的应对方案,确保数据获取过程合法稳定。
任职要求:
1.精通python语言,熟悉scrapy、requests等主流爬虫工具。
2.熟练掌握js语言,具备扎实的js逆向实战经验。
3.拥有大量数据抓取实践经历,具备客户端逆向开发能力,熟练运用各类抓包、反编译、hook技术工具。
4.能够有效应对多种验证码类型,包括字符类、滑块类等常见形式。
5.具备良好的协作精神,工作积极主动,自我驱动力强。
基本要求:
大专及以上学历,计算机相关专业优先,具备爬虫开发背景者优先考虑。
具有较强的团队配合意识和技术探索热情。
爬虫系统开发:构建分布式爬取架构,实现对千万级数据的高效采集,应对反爬机制(如验证码、IP封锁、接口加密),持续优化采集速度与系统稳定性。
数据处理流程:规划数据清洗、去重及存储策略,建立自动化采集链路与监控体系,确保数据准确性与采集时效。
系统监控维护:实时跟踪爬虫运行情况,及时发现并处理采集故障,保障系统高可用与持续运行能力。
反爬策略研究:深入分析目标站点防护逻辑,制定合规可行的应对方案,确保数据获取过程合法稳定。
任职要求:
1.精通python语言,熟悉scrapy、requests等主流爬虫工具。
2.熟练掌握js语言,具备扎实的js逆向实战经验。
3.拥有大量数据抓取实践经历,具备客户端逆向开发能力,熟练运用各类抓包、反编译、hook技术工具。
4.能够有效应对多种验证码类型,包括字符类、滑块类等常见形式。
5.具备良好的协作精神,工作积极主动,自我驱动力强。
基本要求:
大专及以上学历,计算机相关专业优先,具备爬虫开发背景者优先考虑。
具有较强的团队配合意识和技术探索热情。
相似职位
很抱歉,暂无相似职位!