岗位职责：
1.根据项目要求对目标站点实施数据采集、抓取及数据清洗工作；
2.负责站点API接口的算法逆向分析；
3.梳理站点反爬机制，并在项目调用API时实现反爬策略的有效规避；
4.承担爬虫API的设计与开发任务；
5.完成上级交办的其他相关工作。

任职资格：
1.具备不少于2年爬虫开发实际经验。
2.具备较强的逻辑分析与问题处理能力。
3.具备良好的沟通协作意识，热衷于前沿技术研究与探索。
4.算法与数据结构基础扎实，精通Python编程语言，熟练运用爬虫常用库（如Scrapy、BeautifulSoup、Requests），掌握并发编程技术；能熟练使用Scrapy框架和Pyspider框架，配合Fiddler工具进行抓包分析。
5.熟练掌握正则表达式，具备数据提取与清洗能力；熟悉主流数据库操作，了解索引机制及SQL优化方法。