岗位职责：
1.负责从多个平台采集信息，并对网页内容进行提取与分析；
2.研究各类网站、页面及链接的结构特征，总结其构成规律与表现形式；
3.攻克技术难点，应对反爬机制、请求频率控制等挑战；
4.设计高效策略与算法，优化数据抓取效率，合理利用带宽资源，规避访问限制；
5.同时支持报表开发及AIGC相关需求的技术实现；

职位要求：
1.精通Python编程，掌握多线程技术，熟悉HTML、JS/CSS等相关前端技术，具备扎实的编码与调试能力，能编写高质量且易于维护的代码；
2.了解并实际应用过主流爬虫框架之一，如Scrapy、Gocolly、Webmagic等；
3.深入理解网页抓取机制，熟练运用XPath、CSS选择器等数据抽取技术；
4.具备丰富的Linux系统操作经验，熟悉MySQL、MongoDB、Redis等数据库技术，掌握TCP/IP、HTTP等基础网络协议；
5.能有效应对账号封禁、IP封锁、验证码识别、图像解析等采集难题，具备构建完整网络数据采集系统的能力；
6.有大规模采集电商平台（如京东、唯品会、Shein）或社交平台（如Instagram、小红书）或第三方电商数据系统（如知衣、大作）经验者优先；
7.熟练掌握JavaScript逆向技术，了解代码混淆原理，熟悉常见前端反爬手段，具备海量数据处理能力和分布式爬虫架构实践经验者优先；
8.对chatGPT等大语言模型有一定认知，掌握大模型prompt设计与调优者优先考虑；