工作职责
1.构建并维护高并发、高可用的分布式爬虫架构，高效采集结构化与非结构化数据。
2.针对复杂页面环境（如JS动态渲染、加密接口、反爬策略）设计定制化抓取方案。
3.提升爬虫运行效率，涵盖请求调度优化、并发管理、IP资源调配、验证码处理及动态代理技术实现。
4.对接数据存储、清洗和任务调度系统，为上层数据应用和分析提供稳定支持。
5.持续监控目标站点变化，快速响应网站结构调整或反爬机制升级。

任职资格
1.具备5年以上实际爬虫开发经验，精通Scrapy、Playwright、Selenium、Requests等主流采集工具。
2.深入理解各类反爬技术，可逆向解析网页加密接口，熟练使用抓包工具、JS代码分析、ChromeDevTools调试，具备处理AJAX异步加载、验证码验证、签名参数校验等复杂场景的能力，能独立完成js加密逻辑的纯算法还原。
3.掌握常见反检测手段，包括IP代理池构建、浏览器指纹规避、User-Agent伪装、Cookie管理等实践技巧。
4.有成功逆向主流电商平台、营销平台及社交类APP（如抖音、小红书、快手、微博、视频号）的经验，熟悉分布式爬虫架构、任务调度机制及大数据清洗流程。
5.熟练操作MySQL、PostgreSQL、Clickhouse等常用数据库。
6.熟悉iOS逆向与Android逆向技术，具备丰富的风控对抗实战经历。
7.具备基于深度学习的验证码识别开发能力

【加分项】
*掌握JAVA编程技能，且愿意后续向JAVA工程师方向发展
*有搭建和运维爬虫集群的实际经验