返回 职位详情 登录/注册
hadoop大数据开发工程师
1.5-3万元/月
定位 北京西城区天银大厦5楼
更新 2025-12-25 14:40:11 浏览 786
职位详情
运维工程师 3-5年 Java · Ansible/Salt/Puppet · MySQL/Oracle · 大数据运维经验 · Python/Shell · Kubernetes
岗位职责:
1.集群管理:负责Hadoop集群的部署、配置、日常维护与性能优化,保障系统运行的高可用性与稳定性。
2.性能调优:持续监控集群运行状态,通过参数调整与资源配置优化数据处理效率和资源使用率。
3.故障排查:及时响应系统异常,精准定位故障根源,并执行有效的修复措施。
4.安全管理:构建并完善集群安全策略,强化数据防护机制,防范非法访问与数据泄露风险。
5.技术选型:结合业务发展需要,评估并选用适配的Hadoop生态组件及相关技术方案。
6.项目支持:为业务部门提供大数据技术支持,参与需求讨论,协同设计高效的数据处理架构。
7.文档编写:整理输出各类技术文档,包括操作规范、问题处理手册等,促进团队知识沉淀与共享。

任职要求:
1.教育背景:计算机科学或相关专业本科及以上学历。
2.经验要求:具备3年以上大数据平台运维实践经验,熟悉Hadoop生态系统运作。
3.技术技能:精通Hadoop体系架构及核心模块(如HDFS、YARN);熟练掌握Kerberos、LDAP、Hive、Spark、Flink、Kyuubi、Kafka、HBase、ES等生态工具;熟悉Linux环境;具备Shell脚本编写能力;掌握Python、Java或Scala中至少一种编程语言。
4.软技能:具备良好的沟通协作能力;能独立分析和解决复杂问题;保持对新兴技术的关注与学习热情。
5.加分项:有AmbariMpack开发经验,或拥有百台以上服务器、PB级数据规模的运维实战经历。
公司信息
天翼支付科技有限公司
明细
北京市西城区阜成门外大街31号4层429D
南沙人才网温馨提示
求职过程请勿缴纳费用,谨防诈骗!若信息不实请举报。
相似职位
很抱歉,暂无相似职位!