一、岗位职责：
1.运用Python开展数据治理工作，优化数据质量，支撑业务发展需求；
2.编写Python自动化程序，提升日常操作效率；
3.负责爬虫项目中的数据存储方案设计，参与制定数据高效利用策略，并从数据完整性与合理性角度提出优化建议；
4.承担大规模数据的清洗与维护更新任务；
5.完成上级交办的其他临时性工作任务；

二、岗位要求：
1.计算机类相关专业背景，至少熟练掌握两种数据库，精通MySQL，熟悉MongoDB；
2.具备扎实的计算机基础知识，熟练使用Python语言，具备良好的编程习惯与开发能力；
3.熟悉Web数据采集的基本原理与实施流程者优先考虑；
4.使用过两种及以上主流爬虫框架，具备异步任务框架使用经验者优先；
5.了解RabbitMQ、Kafka等消息中间件技术者优先；
6.有ETL工具使用经验，从事过数据抽取、清洗、转换与集成工作，或具备数据仓库开发经历者优先；

加分项：掌握Java语言，了解统计学、算法及大数据处理相关知识