hadoop大数据开发工程师
1.5-3万元/月
更新 2025-12-26 14:24:34
浏览 771
职位详情
运维工程师
3-5年
Java · Ansible/Salt/Puppet · MySQL/Oracle · 大数据运维经验 · Python/Shell · Kubernetes
岗位职责:
1.集群管理:负责Hadoop集群的部署、配置、日常维护与性能优化,保障系统持续稳定运行。
2.性能调优:持续监控集群运行状态,针对性地进行参数调整与资源配置优化,提升数据处理效率与资源使用率。
3.故障排查:及时响应系统异常,精准定位故障根源,并采取有效措施恢复服务。
4.安全管理:构建并完善安全防护体系,确保数据完整性与机密性,防范非法访问行为。
5.技术选型:结合实际业务场景,评估并选用合适的Hadoop生态组件及相关技术方案。
6.项目支持:为业务部门提供专业技术支撑,参与需求讨论,协同设计高效的数据处理架构。
7.文档编写:整理输出各类技术文档,包括操作规范、问题处理流程等,促进团队知识沉淀与共享。
任职要求:
1.教育背景:计算机科学或相关专业本科及以上学历。
2.经验要求:具备3年以上大数据平台运维实践经验,熟悉Hadoop生态系统运作机制。
3.技术技能:精通Hadoop架构及核心模块(如HDFS、YARN);熟练掌握Hadoop生态常用工具(如Kerberos、LDAP、Hive、Spark、Flink、Kyuubi、Kafka、HBase、ES等);熟悉Linux环境;掌握Shell脚本编写;具备Python、Java或Scala中至少一种语言的实际开发能力。
4.软技能:具备良好的沟通协调能力与团队协作意识;能独立分析和解决复杂问题;对新兴技术有持续学习的热情。
5.加分项:有AmbariMpack开发经验,或拥有百台以上服务器、PB级数据量环境下的运维实战经历。
1.集群管理:负责Hadoop集群的部署、配置、日常维护与性能优化,保障系统持续稳定运行。
2.性能调优:持续监控集群运行状态,针对性地进行参数调整与资源配置优化,提升数据处理效率与资源使用率。
3.故障排查:及时响应系统异常,精准定位故障根源,并采取有效措施恢复服务。
4.安全管理:构建并完善安全防护体系,确保数据完整性与机密性,防范非法访问行为。
5.技术选型:结合实际业务场景,评估并选用合适的Hadoop生态组件及相关技术方案。
6.项目支持:为业务部门提供专业技术支撑,参与需求讨论,协同设计高效的数据处理架构。
7.文档编写:整理输出各类技术文档,包括操作规范、问题处理流程等,促进团队知识沉淀与共享。
任职要求:
1.教育背景:计算机科学或相关专业本科及以上学历。
2.经验要求:具备3年以上大数据平台运维实践经验,熟悉Hadoop生态系统运作机制。
3.技术技能:精通Hadoop架构及核心模块(如HDFS、YARN);熟练掌握Hadoop生态常用工具(如Kerberos、LDAP、Hive、Spark、Flink、Kyuubi、Kafka、HBase、ES等);熟悉Linux环境;掌握Shell脚本编写;具备Python、Java或Scala中至少一种语言的实际开发能力。
4.软技能:具备良好的沟通协调能力与团队协作意识;能独立分析和解决复杂问题;对新兴技术有持续学习的热情。
5.加分项:有AmbariMpack开发经验,或拥有百台以上服务器、PB级数据量环境下的运维实战经历。
相似职位
很抱歉,暂无相似职位!