一、工作职责
1.负责网络爬虫系统的设计、开发与性能优化，实现大规模数据的采集与处理；
2.深入分析各类反爬策略，制定有效应对方案，保障数据抓取的持续稳定；
3.对采集数据进行质量监控，完成数据清洗、存储及初步分析工作；
4.持续维护现有爬虫架构，优化运行效率与数据获取精度；
5.跟进前沿爬虫技术，探索分布式抓取、动态页面解析等手段，增强整体采集能力；
6.应对IP封锁、验证码拦截等访问限制，迭代优化爬取逻辑与调度策略；

二、任职要求
1.本科及以上学历，计算机或软件工程相关专业背景，具备2年以上开发经验；
2.精通至少一种编程语言：GO、PHP、JAVA、python等，编码规范良好，基础扎实；
3.有分布式爬虫实际项目经验，熟练使用主流爬虫框架，掌握HTTP协议、网页解析及动态内容抓取技术；
4.了解常见网站反爬机制，熟悉代理IP切换、验证码处理、User-Agent伪装等应对方法；
5.具备数据清洗与结构化存储能力，掌握MySQL、MongoDB、Elasticsearch等数据库技术；
6.具备良好的代码管理意识和团队协作能力，工作积极主动，沟通能力强。