职位职责/Job Responsibilities:
1、负责交付大数据产品的架构、设计、规划工作，制定技术路线；
2、跟踪、掌握主流大数据技术路线，组织大数据领域技术研究；
3、针对客户提出的大数据需求提供技术解决方案，推进大数据平台交付；
4、负责大数据产品的建设与运维，包括稳定性保障、性能优化、资源优化；
5、参与培养团队潜力人才，带教团队，提升公司整体数据研发能力。

职位要求/Job Requirements:
1、统招硕士及以上学历，3S、计算机、电子信息相关专业，具备一定硬件基础；
2、具备7年以上全栈或后端开发经验，包含4年以上大数据架构、系统架构开发相关工作经验；
3、熟悉spark/hadoop全栈开发，具备大数据平台开发经验；使用hadoop及hadoop生态圈中的常用组件，如Spark、Hive、Kafka、Yarn、HBase等全部或者部分组件，精通其中1-2个；
4、拥有实际的Hadoop/spark的项目经验，具有相关系统的调优、运维、开发经验；
5、深刻理解hadoop相关技术的原理和开发方法，熟练hadoop平台的搭建部署、调优、故障诊断、运行维护的方法和工具；
6、具有项目方案编写能力，能够主导大数据相关项目的方案编写。

大数据开发工程师
基本要求：
1.5以上Java开发经验，熟悉Spring相关框架使用，同时熟悉JVM调优。
2.一般中间件Redis、RMQ、Kafka等等的搭建与使用经验。
3.具备Hadoop生态系服务搭建与维护经验(如HDFS、Hbase)，熟悉Spark框架，并能对Spark-Streaming代码进行调优。
4.熟悉RDBMS数据库原理，如MySQL、Oracle、MongoDB等等，并能对SQL进行优化。
5.熟悉大数据数据库原理，如Elasticsearch、Clickhouse、Apache Doris、Kylin等等，并能搭建与维护服务。
6.负责ElasticSearch集群版本升级，配置优化，提升ES集群稳定性和可用性。 深入理解领域需求和业务痛点，不断优化索引、检索、排序等功能，构建高可靠、高性能、高可扩展的分布式检索系统.