岗位职责：
爬虫架构设计与优化：主导公司现有爬虫系统的技术演进，持续优化数据采集架构，提升系统的稳定性、可扩展性及运行效率。
策略规划与实施：结合业务发展需要，制定中长期数据采集战略，保障所获取数据具备高时效性与高价值，有效支持采购决策分析。
反爬机制分析与应对：深入研究目标站点的反爬技术手段，输出有效的技术对策，涵盖代理池构建、验证码识别、动态页面渲染处理等关键环节。
数据质量保障：确保采集数据的完整、准确与一致，提供数据清洗、存储结构设计及索引优化方面的标准化实践指导。
分布式采集与性能调优：设计并落地分布式爬取方案，优化资源利用率，减少服务器负载，加快任务执行周期。
技术前瞻与经验沉淀：密切关注爬虫领域前沿动态，结合实际业务场景，推动先进采集与分析技术的应用落地。
合规与安全评估：评估数据抓取过程中的法律边界，规避潜在风险，提出符合行业规范的数据采集建议。

任职要求：
扎实的爬虫开发背景：具备多年爬虫项目实战经验，熟练掌握Python语言，精通Scrapy、Selenium、BeautifulSoup、Playwright等主流采集框架。
反爬对抗能力：深刻理解各类网站反爬机制，能够灵活运用代理IP、UA伪装、JavaScript解析、动态内容加载处理、验证码破解等技术手段。
数据处理与存储优化能力：拥有大规模数据处理实战经验，熟悉MySQL、MongoDB、Elasticsearch、Redis等数据库技术，擅长存储结构与查询性能优化。
分布式采集实践经验：掌握Celery、Kafka、RabbitMQ等分布式任务调度工具，具备高并发、大规模数据抓取系统的调优经验。
团队协作与技术引领：具备良好的沟通协调能力，能高效带领开发团队，提升整体爬虫技术水平与交付质量。
行业相关背景：有电子元器件、建材、家居、电商等领域数据采集经验者优先，能根据具体业务场景定制化设计采集策略。
合规意识强：熟悉爬虫相关法律法规，具备合法合规开展数据采集工作的实操经验。

优先考虑：
具有大型数据采集平台或市场情报系统架构经验者。
具备机器学习或数据挖掘能力，能从海量采集数据中提炼高价值信息。
拥有海外电商平台或外贸领域数据采集经验，熟悉国际信息获取方式与规则。