· 如果您有任何疑问,请与我们联系 ·
岗位职责:
• 负责公司数据中台的ETL开发。 完成数据接入、清洗、分析等开发工作;完成数据安全,加密存储及传输等开发工作;
• 根据业务和产品,抽象业务逻辑,设计、实现数据接入等模块。
岗位要求:
• 熟悉大数据开发流程,有大数据开发经验,熟练编写MR,Spark,Spark Streaming,Flink等相关程序
• 精通ETL等数据接入层技术,包括不限于Sqoop、Kettle、Informatica等工具,进行数据采集、数据加工、清洗等流程
• 熟悉数据湖架构,具有存储/计算优化等经验
• 精通spring boot、spring cloud等。熟悉docker、kubernetes等容器仓库、容器编排、容器弹性伸缩等技术
• 熟悉常用关系型及非关系型数据库;
• 熟悉Airflow,Azkaban等任务调度框架。
• 精通JAVA/Python/Scala,至少一种程序语言;
• 熟悉Linux平台,编码基本功扎实
微信咨询
返回顶部