岗位要求：
1、负责电商平台、内容平台及短视频类网站的数据抓取，进行链接解析、转码处理等工作；
2、深入研究各类反爬策略，突破技术限制，持续优化爬虫效率，确保系统运行的稳定性与高效性；
3、完成数据的提取、清洗、结构化处理，以及入库和统计分析等相关开发任务；
4、主导爬虫系统的架构设计与核心功能开发；
5、具备独立应对和解决开发过程中各类技术难题的能力。

职位要求：
1、本科及以上学历，计算机、信息技术等相关专业背景，具备数据挖掘、自然语言处理、信息检索或机器学习经验者优先考虑；
2、三年以上开发工作经验，熟悉Linux操作系统，有大规模网页爬虫项目经历或分布式爬虫架构实践经验者优先；
3、熟练掌握主流Python爬虫框架，如pyspider、scrapy等；
4、了解常见反爬机制，具备实际应对能力，包括但不限于IP封禁、指纹识别、数据加密、请求参数混淆等情况的解决方案；
5、具备出色的分析与问题解决能力；
6、责任心强，具备良好的沟通协作意识和团队合作精神。