一、岗位职责：
1.运用Python实现数据治理，优化数据质量，支撑业务发展需求；
2.编写Python自动化程序，提升日常操作效率；
3.参与爬虫数据存储方案设计，制定数据高效利用策略，并从数据完整性与合理性方面提出专业建议；
4.负责大规模数据的清洗与维护更新；
5.完成上级交办的其他临时性工作任务；

二、岗位要求：
1.计算机类相关专业背景，需至少掌握两种及以上数据库，熟练使用mysql，了解mongodb；
2.具备扎实的计算机基础知识，精通Python编程语言，具备良好的代码规范与开发能力；
3.熟悉web数据采集原理与流程者优先考虑；
4.有至少两种爬虫框架实际使用经验，具备异步任务框架应用经验者优先；
5.对rabbitmq、kafka等消息中间件有一定了解者优先；
6.有使用ETL工具进行数据抽取、清洗、转换与整合的经验，或具备数据仓库开发背景者优先；

加分项：掌握java语言，熟悉统计学、算法及大数据相关技术方向