hadoop大数据开发工程师
1.5-3万元/月
更新 2025-10-14 03:45:41
浏览 784
职位详情
数据开发
3-5年
Java · Ansible/Salt/Puppet · MySQL
岗位职责:
1.集群管理:负责Hadoop集群的部署、配置、日常维护与性能优化,保障系统持续稳定运行。
2.性能调优:持续监控集群运行状态,针对性地进行参数调整与资源配置优化,提升数据处理效率和资源使用率。
3.故障排查:及时响应并处理系统异常,精准定位故障根源,采取有效措施恢复服务。
4.安全管理:构建并完善集群安全策略,落实数据保护机制,防范非法访问与数据泄露风险。
5.技术选型:结合业务发展需求,评估并选用适配的Hadoop生态组件及相关技术方案。
6.项目支持:为业务部门提供专业技术支撑,参与需求讨论,协同设计高效的数据处理架构。
7.文档编写:整理编写各类技术文档,包括操作规范、排错手册等,促进团队知识沉淀与共享。
任职要求:
1.教育背景:计算机科学或相关专业本科及以上学历。
2.经验要求:具备3年以上大数据平台运维经验,熟练掌握Hadoop生态系统。
3.技术技能:精通Hadoop体系架构及核心模块(如HDFS、YARN);熟悉Hadoop生态常用组件(如Kerberos、LDAP、Hive、Spark、Flink、Kyuubi、Kafka、HBase、ES等);熟练使用Linux系统;掌握Shell脚本编写;具备Python、Java或Scala中至少一种语言的实际开发能力。
4.软技能:具备良好的沟通协调能力与团队协作意识;能独立分析和解决问题;持续关注新技术并保持学习热情。
5.加分项:有AmbariMpack开发经验,或拥有百台以上服务器、PB级数据规模的运维实践经验。
1.集群管理:负责Hadoop集群的部署、配置、日常维护与性能优化,保障系统持续稳定运行。
2.性能调优:持续监控集群运行状态,针对性地进行参数调整与资源配置优化,提升数据处理效率和资源使用率。
3.故障排查:及时响应并处理系统异常,精准定位故障根源,采取有效措施恢复服务。
4.安全管理:构建并完善集群安全策略,落实数据保护机制,防范非法访问与数据泄露风险。
5.技术选型:结合业务发展需求,评估并选用适配的Hadoop生态组件及相关技术方案。
6.项目支持:为业务部门提供专业技术支撑,参与需求讨论,协同设计高效的数据处理架构。
7.文档编写:整理编写各类技术文档,包括操作规范、排错手册等,促进团队知识沉淀与共享。
任职要求:
1.教育背景:计算机科学或相关专业本科及以上学历。
2.经验要求:具备3年以上大数据平台运维经验,熟练掌握Hadoop生态系统。
3.技术技能:精通Hadoop体系架构及核心模块(如HDFS、YARN);熟悉Hadoop生态常用组件(如Kerberos、LDAP、Hive、Spark、Flink、Kyuubi、Kafka、HBase、ES等);熟练使用Linux系统;掌握Shell脚本编写;具备Python、Java或Scala中至少一种语言的实际开发能力。
4.软技能:具备良好的沟通协调能力与团队协作意识;能独立分析和解决问题;持续关注新技术并保持学习热情。
5.加分项:有AmbariMpack开发经验,或拥有百台以上服务器、PB级数据规模的运维实践经验。
相似职位