当前位置:范文帮文秘写作内容页

大数据运维工程师的主要职责说明

2023-09-17 10:40:21文秘写作访问手机版

大数据运维工程师的主要职责说明 篇1

职责:

1、负责大数据运维体系中的监控工作;

2、负责处理用户服务请求事件;

3、负责监控报警事件的处理;

4、负责协助完善监控体系;

5、负责监控平台运维工作,持续优化监控体系;

6、按时完成领导交办的其他相关工作。

任职要求:

1、大专及以上学历,计算机相关专业,1年以上大数据系统运维经验;

2、熟悉linux操作系统,熟悉hadoop、hive、hbase、yarn、spark、storm等组件的原理及运维方式;

3、熟悉中间件工作原理,对TOMCAT/jetty/nginx/微服务有一定了解,具备一定的操作能力;

4、至少熟悉python/bash/shell一种或多种语言,可独立编写维护及监控脚本;

5、有强烈的求知欲和钻研技巧,具有良好的独立分析问题与迅速解决问题的能力;

6、有良好的职业责任心和团队协作意识;

7、能适应7*24小时三班倒工作时间。

大数据运维工程师的主要职责说明 篇2

网络方向:

1.掌握数据中心网络环境与拓扑情况,并定期备份各网络设备配置,记录设备配置参数变更情况;

2.负责实时监控数据中心整个网络的运转和网络通信流量情况;负责对机房、网络布线、网络配线架的日常巡检;

3.负责项目实施过程中网络建设的技术支持等。

应用软件方向:

1.协助部门部署应用系统、中间件、数据库等;

2.协助部门承接的软硬件、网络维护项目;

3.综合协调应用系统维护疑难问题的会诊、沟通和解决等。

平台硬件方向:

1.Windows Server、Linux业务服务器的配置,维护,监控,调优,故障排除等;

2.负责数据备份、平台监控、应急响应、故障排除、编写分析报告等;

3.Vmware,Openstack的配置,维护,监控,调优,故障排除等。

大数据运维工程师的主要职责说明 篇3

职责:

1、对新项目系统数据初始化、系统联调及问题处理;

2、对软件后台进行配置管理,项目审核验收,流程定制及落实跟进;

3、根据系统监测的故障和客服反馈的信息,进行故障排查修复,针对严重影响用户问题进行应急处置,使其快速恢复正常;

4、对服务器集群初始化、配置、管理、实时监控,及时发现问题并自行处理或报告相关人员;

5、日常服务器进行例行巡检、维护、调整、配置、监控、数据分析、及时发现隐患,及时处理故障,保证服务稳定对外提供服务、注重用户体验,解决用户问题;

6、在linux环境下完成服务部署、升级、配置、调试、应用环境及配置调优等。

任职要求:

1、大学本科及以上学历,计算机科学、软件工程等专业毕业;

2、熟悉windows、linux环境,具备基本办公能力,熟练操作office,具有基础英语能力,懂得应用、系统、网络基本知识;

3、熟悉MySQL数据库及常用中间件,如MyCAT、ProxySQL等,熟悉数据库的备份与恢复工作,熟练使用增删查改,关联查询;

4、熟悉常用 web 服务器,例如 tomcat、jetty 等;

5、熟悉Nginx、Haproxy及LVS常用负载均衡配置及调度算法;

6、熟悉HDFS常用操作;

7、熟悉Ambari或CDH自动化部署工具;

8、熟悉Zabbix开源监控工具;

9、有独立分析问题和解决问题的能力,可以分析定位程序问题、日志排查、堆栈分析者优先;

10、对技术有较强的兴趣和好奇心,能够不断的自我提升、学习,工作责任心强,具备较强的团队精神;

11、具备良好的抗压能力及任务组织协调能力,能够在复杂任务面前有条不紊的推进;

12、在linux环境,可熟练维护应用服务、搭建环境、部署、安装数据库、tomcat等应用经验者优先;

13、熟悉虚拟化技术、至少熟悉一种云管控平台(阿里云、华为云)

大数据运维工程师的主要职责说明 篇4

职责:

1. 管理公司大数据集群,提供高可用、高性能大数据集群系统,并保障系统稳定运行

2. 负责大数据集群性能监控与优化,故障处理,数据备份及灾难恢复

3. 负责大数据集群自助平台的高可用架构设计和负载均衡的设计和实现

4. 负责业务系统大数据集群管理,包括数据库日常维护,系统数据安全以及权限管理、故障处理、日常错误情况处理等

5. 负责依据业务需求优化数据存储结构,负责数据库系统部署方案的计划、设计和实施

6. 负责系统大数据集群定期检查,进行性能分析与调优,充分保证信息系统数据的安全及系统高效运行

任职资格:

1. 全日制本科及以上学历,计算机或相关专业,1年以上hadoop运维经验

2. 熟悉Hadoop生态圈Hadoop、Kafka、Zookeeper、HBase、Spark、hive等的安装配置和优化

3. 熟悉MySQL等关系型数据库的部署与优化,了解MongoDB或Cassandra等NoSQL数据库

4. 熟悉Linux类操作系统的基础命令操作,能够编写脚本开展日常运维工作

5. 熟悉Linux开发环境,会使用Shell/Java/Python中的一门脚本语言

6. 熟悉常见开源工具如Nginx、Zabbix、Grafana等的安装配置和使用

大数据运维工程师的主要职责说明 篇5

职责:

1.负责参与公司大数据基础架构平台规划,运维,监控和优化工作,保障数据平台服务的稳定性和可用性;

2.研究大数据前沿技术,改进现有系统的服务和运维架构,提升系统可靠性和可运维性;

3.负责公司Hadoop核心技术组件HDFS、Yarn、MapReduce、HBase、Storm大数据存储计算核心的监控和日常运维工作。

4.独立完成大数据运维过程中问题定位、问题解决、并进行总结及部门的大数据基础技能培训;

任职要求:

1. 计算机、信息系统、数学或相近专业本科以上学历;

2. 拥有至少3年以上Hadoop运维经验、具备基于CDH与HDP的维护经验;

3. 熟悉Hadoop大数据生态圈服务的工作原理,具备相关实战维护经验,包括但不限于HDFS、YARN、Hive、HBase、ELK、Spark、Kafka、Zookeeper、Flume等;

4. 至少独立维护过中大型Hadoop集群系统服务;

5. 至少精通Python,shell中的一种,了解JAVA;有良好的系统性能优化及故障排除能力;

6. 有大数据架构师工作经验更佳;

大数据运维工程师的主要职责说明 篇6

职责:

1.负责弱电集成系统日常维护,解答客户提出的技术问题,负责产品工程安装,包括产品安装调试,故障排除,日常维护,产品演示等;

2.负责用户培训和指导等技术支持工作;收集、汇总用户的各种需求或建议,并及时提交需求任务或建议措施;

职位要求:

1、计算机、网络相关专业,大专以上学历,有技术支持服务工作经验者优先;

2、熟悉企业it环境,包括网络,操作系统,应用程序等,有华为、cisco等认证证书优先;

3、良好的沟通能力,有亲和力和强烈的责任感,以及很好的团队合作精神,具备独立分析问题和解决问题的能力。

4、具有较强的服务意识,时间观念、耐心和责任心、良好的团队合作精神。

大数据运维工程师的主要职责说明 篇7

职责:

1、参与客户现场产品部署、升级维护、日常巡检等工作;

2、有较强的应变和解决问题的能力,积极应对上级和客户的任务安排;

3、有一定的沟通能力。对客户提出的需求、系统问题,积极调研、并能排查解决一些设备、系统的常见问题。

任职要求:

1、本科及以上学历,计算机相关专业;

2、熟练Linux操作系统常用命令,能够安装常见服务器软件,如:NGINX\MEMCACHED\TOMCAT等;

3、熟悉Oracle数据库安装配置,备份恢复;

4、熟悉shell、python等脚本语言,能编写相关的服务器维护脚本;

5、了解常用的运维工具,负载均衡技术;

6、至少1年以上运维工作经验。

大数据运维工程师的主要职责说明 篇8

职责:

1.负责公司内部运维工具或系统的开发与维护

2.参与运维工具、系统的功能设计

3.对运维工具和系统做持续改进以不断提升系统性能、易用性与稳定性

4.结合运维工具、系统,参与公司产品架构设计,优化部署,提升产品高可用性

5.配合运维人员要求,进行实现各种报表的脚本的要求,实现自动化操作

6.实现系统非功能性要求,日志、分布式缓存、链接方式、并发、多线程

7.确保项目的设计部署包能够支持自动化部署

任职资格:

1.4年以上大中型互联网产品在线系统运维经验,对运维平台建设有深入理解

2.2年以上Azure平台自动化运维工具开发经验,熟练使用PowerShell等Windows平台自动化脚本语言

3.深入理解Azure云平台,具有系统调优经验

4.高度的责任感,擅长分析问题、解决问题,对新技术敏感,乐于尝试,沟通能力强,擅长团队作战。

大数据运维工程师的主要职责说明 篇9

职责:

1、支持业务系统上线实施及业务系统的安装、调试、维护、监控和故障处理。

2、负责配合开发测试环境的搭建、应用的发布,以及对业务系统问题的跟踪与反馈。

3、负责服务器的规划、调试优化、日常监控、故障处理、数据备份、日志分析等工作。

4、参与运维流程制定,确保任何突发情况都能高效响应,负责服务器的规划部署,对服务器构架和网络进行优化和改进。

5、负责技术运维相关的文档、手册、流程编写整理。

6、维护阿里云计算架构。

7、维护docker和jenkins持续集成。

任职要求:

1、本科以上学历。

2、5年以上Linux运维经验,有丰富的Linux系统参数设置、性能调优、系统安全、故障定位处理经验。

3、精通常用服务的安装及配置(Nginx/Tomcat/Redis/OpenVPN/Docker)。

4、具有大型系统平台的运维/架构经验、了解自动化运维和监控工具,在网络安全方面有一定经验。

5、精通Docker、Git的使用和jenkins持续集成。

6、熟悉WINDOWS SERVER/LINUX/UNIX操作系统,熟悉MYSQL、ORACLE、SQL SERVER等主流数据库。

7、熟悉shell编程或脚本语言(例如shell,Python,Perl等),能编写自动化运维脚本优先。

8、熟悉腾讯云计算架构、VMEsxi虚拟化。

9、对Linux和云计算安全有一定的认识,能够做到安全加固,随时留意最新漏洞等。

大数据运维工程师的主要职责说明 篇10

职责:

1、负责中心机房设备、服务器设备、网络交换机与存储系统的维护管理,保障其安全稳定运行;

2、公司各信息系统的日常维护与管理,如安全加固、故障分析、性能优化、数据备份等;

3、规划运维制度,监督运维管理规范的执行情况;

4、协助信息安全工程师做好网络安全管理工作;

5、完成上级交办的工作。

任职要求

1、 具有丰富的IT维护管理工作经验;

2、精通微软软件产品(Windows系列操作系统)的安装部署、维护、故障排除;

3、精通大型、多层级windows域控管理与维护,有集团化部署经验;

4、熟悉unix、linux系统安装调试、配置管理以及故障排除;

5、熟悉常见网络协议,熟悉日常监控软件的使用;

6、能独立设计及维护大中型以太网,能搭建并维护FTP,MAIL等服务器,熟悉路由器、交换机、磁盘存储等设备的配置及维护,熟悉主流虚拟化平台;

7、能够独立判断并排除服务器、虚拟化平台和网络的各种故障,了解计算机病毒的传播途径及防治方法,能处理防范查常见计算机病毒、修复操作系统漏洞;

8、具备较强的计划、组织管理能力、沟通协调能力和问题解决能力。

9、具备MCSE、VCP、RHCE认证优先。

大数据运维工程师的主要职责说明 篇11

职责:

1、POS机销售系统、HR管理系统、仓库管理系统等公司IT系统的管理、维护及优化;

2、公司电子设备(计算机、打印机、扫描仪、传真机、复印机、投影仪等)软硬件的日常维护及管理;

3、公司网路和服务器升级,备份、恢复和问题解决;

4、公司电话、门禁、监控等弱电系统管理与维护,确保系统的稳定可靠运行;

职位要求:

1、计算机或IT相关专业,大专以上学历;

2、两年以上的企业网络管理、服务器网络管理等工作经验,能对网络故障进行快速定位和排除;

3、熟悉PC机硬件维护,各种网络设备基本维护;对服务器、路由器、防火墙能够熟练操作及维护,具备故障诊断和处理能力

4、熟悉各类网络协议和服务,比如:TCP/IP协议、各类路由协议、WEB服务、DNS服务、DHCP服务、HTTP服务等;

5、熟悉相关网络安全产品,如防火墙、IDS、防病毒,漏洞评估工具等;

6、熟悉网络布线、公司电话布线、电话主机配置和维护等;

大数据运维工程师的主要职责说明 篇12

职责:

1、响应及解决客户的技术要求、疑问以及系统使用过程中的各种问题;

2、负责服务过程中问题现象和处理方案的收集撰写,形成知识库,并对知识库进行维护更新;

3、及时反馈技术处理过程中的异常情况,及时向上级反馈告警,同时主动协调资源推动问题解决;

4、定期对所有服务问题进行分析,并对服务效率有影响的问题提供反馈意见,提升服务支撑团队专业度。

5、能够独当一面,具备独立思考和处理问题的能力,并能够与客户建立良好的关系。

6、明确工作范围,定期与客户沟通工作量,并获取客户回执,及时归档。

7、能够快速熟悉参与项目中的业务,总结后与研发定期沟通。

岗位要求:

1、3年及以上工作经验,计算机相关专业本科及以上学历;

2、熟悉weblogic中间件的安装部署;

3、熟悉Oracle数据库的增删改查操作;

4、了解ETL相关内容,如Informatica、kettle等,具备基础操作技能;

5、了解BI报表相关内容,如cognos、tableau、自助式分析工具等,具备基础操作技能;

6、掌握基本的windows/linux操作命令;

7、熟练操作Office办公软件;具有较强的文档理解与编写能力,具有较强的语言表达及沟通协调能力;

8、熟悉电网业务优先。

大数据运维工程师的主要职责说明 篇13

职责:

1、负责维护服务器的运行,包括巡检、故障排除、数据备份等业务,保证服务器高质量、高效率运行状态;

2、负责服务器漏洞整改及补丁升级;

3、负责hadoop运维相关工作;

4、负责大数据平台的日常部署、升级、扩容、迁移;

5、负责高并发,大存储和实时流的Hadoop/spark大数据平台规划,运维,监控和优化工作。

任职资格:

1、2年左右服务器运维经验;

2、对linux基础运维命令熟悉,shell,python至少精通一种,如会scala语言可优先考虑;

3、熟悉Linux的维护和管理,熟悉bat及Shell脚本开发,能看懂Python/Scala优先;

4、做过大规模hadoop集群优先;

5、大数据项目:包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大数据生态的平台搭建,监控,运维,调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。

大数据运维工程师的主要职责说明 篇14

职责:

1、负责数据中心的日常维护、升级与部署、故障处理,保障数据中心的稳定运行;

2、负责制定与改进数据中心的、监控与冗余策略等,提高运维服务质量;

3、改进数据中心的服务架构,提高数据中心的性能和健壮性;

4、研究技术架构,发现潜在问题,制定数据中心系统调整和优化方案,提高系统的健壮性和效率;

岗位要求:

1. 本科及以上学历,理工科相关专业优先;

2. 具有3年以上相关工作经验;

3. 精通Linux系统如Redhat、Centos、Ubuntu 精通Apache、NginX、MySQL、FTP、 DNS等常用服务的安装、配置、调优和维护,及相应的集群、容灾、单点故障等解决方案;

4. 具备脚本编写能力,掌握常用脚本语言(shell,python,perl)中的一种或多种;

5. 熟悉sql语句,了解oracle的基本操作和优化;

6. 了解zabbix等运维监控和部署工具;

7. 了解lvs,nginx,proxy,cdn等web端技术,熟悉TCP/IP协议;

8. 有较强的语言沟通能力,具备较强学习能力; 工作态度认真、细致、负责;

9. 具有良好的文档写作能力,沟通协调能力、学习能力、团队精神和服务意识。

大数据运维工程师的主要职责说明 篇15

职责:

1、负责公司产品系统的运维,包括系统部署上线、日常维护、平台优化、容量规划

2、监控业务的运行状态,及时处理项目运行中出现的故障,保障项目服务长期稳定运行

3、负责服务器的资源调配和系统安全、数据备份

4、版本库工具的使用和维护(git,svn,rsync)

任职资格:

1、熟悉互联网公有云服务(AWS、阿里云、Ucloud) AWS 实际运维经验者优先

2、熟练使用Shell/Python,Python优先

3、对Linux操作系统原理有深入了解;熟悉TCP/IP以及常用的网络协议

4、熟悉MySQL,Redis等存储的高可用、容灾、备份恢复、数据迁移等技术

5、熟悉nginx,openresty,tomcat等WEB,应用服务器

6、熟悉 Docker/K8s等容器化技术,具备容器化项目实践经验优先

大数据运维工程师的主要职责说明 篇16

1、参与设计、审核、优化公司IT系统以及各应用系统的体系架构;

2、全面负责公司运维项目的系统升级、扩容需求与资源落实,配合开发需求,测试、调整运维平台;

3、负责网络以及服务器的网络设置、维护和优化、网络的安全监控、系统性能管理和优化、网络性能管理和优化;

4、建立面向开发部门,业务部门的服务流程和服务标准;

5、负责IT运维相关流程的规划、设计、推行、实施和持续改进;

6、负责内部分派下发,对实施结果负责。

7、负责日常网络及各子系统管理维护。

8、负责设计并部署相关应用平台,并提出平台的实施、运行报告。

9、负责配合开发搭建测试平台,协助开发设计、推行、实施和持续改进。

10、负责相关故障、疑难问题排查处理,编制汇总故障、问题,定期提交汇总报告。

11、负责网络监控和应急反应,以确保网络系统有7*24小时的持续运作能力。

12、负责日常系统维护,及监控,提供IT软硬件方面的服务和支持,保证系统的稳定。

大数据运维工程师的主要职责说明 篇17

职责:

1、负责公司大数据集群的构建,任务调度、监控预警,持续完善大数据平台,保证稳定性、安全性;

2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守,参与大数据基础环境的架构设计与改进;

3、深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的Hadoop、Spark运维技术及发展方向;

4、具备ownership,故障排查能力,有很好的技术敏感度和风险识别能力;

5、良好的服务意识,主动思考,自我驱动力。

任职资格:

1、熟悉RedHat、CentOS、Ubuntu系列Linux系统的配置、管理、内核优化。能够独立编写(Shell/Python)脚本语言,脚本开展日常服务器的运维;

2、熟悉hadoop生态圈Hadoop, Kafka, Zookeeper, Hbase, Spark、YARN、Elasticsearch、Storm、Tomcat的安装、调试和运维经验; 熟悉分布式日志分析系统ELK及相关技术;

3、熟悉软硬件设备,网络原理,有丰富的大数据平台部署,性能优化和运维经验; 了解运维高容量、大流量、大并发Web系统的业务知识以及解决方案;

4、工作认真负责,有较强的学习能力,动手能力和分析解决问题的能力;

5、能够利用各种开源监控工具、运维工具,HA、负载均衡软件完成工作任务;

6、mongodb、mysql等配置、调优和备份。

大数据运维工程师的主要职责说明 篇18

职责:

1.负责项目系统部署实施的过程执行;

2.负责日常系统维护、产品上线实施和故障处理;

3.负责收集系统维护过程中的系统缺陷和软件缺陷,提出合理化改进建议和意见;

4.为目标客户提供系统技术培训和技术支持,完善系统维护知识库建设。

任职要求:

1.具备专科及以上学历,计算机、软件等相关专业毕业,5年以上相关工作经验;

2.具备千万级用户量/设备的大型互联网/物联网系统建设运维经验及项目管理经验,熟悉互联网/物联网系统主流架构;

3.熟悉Tomcat、Nginx、IIS、Redis、MQTT和Apache等主流中间件及Docker等容器技术;

4.熟悉windows server、Linux等主流操作系统的使用;

5.掌握Postgresql(主要)、Oracle、Mysql等主流数据库的使用,包括存储过程开发,能编写高效SQL。

6.熟悉Zabbix、Telegraf+InfluxDB+Grafana等监控工具使用及Python脚本优化;

7.掌握SVN/Git/Puppet/jenkins等自动化运维工具,具备应用服务安装配置、管理维护、故障分析和系统性能分析优化经验。

大数据运维工程师的主要职责说明 篇19

职责:

1. 完成大数据平台日常运维工作(上线/日常监控/问题定位/脚本开发),涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等开源组件;

2. 完成大数据自研平台工具运营,比如报表平台、调度平台和性能监控平台;

3. 提升系统可靠性,完善监控策略,优化运维流程,提升部门运维效率,保证7*24服务;

4. 参与开源社区建设,提升公司开源影响力;

任职条件:

1. 熟悉Hadoop工作原理,熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等开源组件的搭建、维护以及问题定位;

2. 熟悉Linux操作系统,熟练掌握Linux常用命令,了解ansible/puppet;

3. 熟练掌握shell/python/java;

4. 熟悉hive/spark sql工作原理,熟悉SQL语法,掌握数据库的维护工作;

5. 对自动化运维有一定见解,使用过各种开源工具完成日常运维工作;

6. 有大数据平台维护经验优先;

7. 掌握dockerfile,了解大数据与k8s结合者优先;

8. 参与开源社区,有代码贡献或者高质量博客文章者优先;

大数据运维工程师的主要职责说明 篇20

职责:

1、负责系统管理与安全维护及日常数据和报表的维护、监控、内部服务器的运维管理;

2、负责服务器系统部署方案的制定及实施;保障服务器与数据库安全,检查并消除安全漏洞;日常系统巡检、数据备份、数据监控、应急响应、故障排除等;

3、对Linux下各种网络服务、应用系统、监控系统等进行自动化脚本的工作;

4、负责项目中Linux服务器的部署与维护,服务器安全管控,并根据项目对系统进行性能优化;

5、处理IT日常维护和管理。

任职资格:

1、计算机相关专业,1年以上服务器运维工作经历,优秀应届生亦可考虑;

2、精通linux操作系统,熟练部署和维护服务器以及linux服务器上架设各种服务;

3、熟悉Oracle、MySql管理和维护,数据备份;

4、熟悉常用Linux服务器软件的配置,如Docker、Nginx、Tomcat、JDK等应用,能够熟练部署;

5、熟练掌握各类工具实现运维自动化;

6、掌握shell/perl/php/python中的一种或两种脚本编程语言;

7、具有较强的责任心及良好的团队合作精神,能够在一定压力下工作,积极主动、认真踏实、有良好自学能力和独立解决问题的能力。