首頁 > 制度大全 > 數(shù)據(jù)平臺開發(fā)工程師職位描述與崗位職責(zé)任職要求

數(shù)據(jù)平臺開發(fā)工程師職位描述與崗位職責(zé)任職要求

2024-07-26 閱讀 1685

職位描述

職位描述

1.負(fù)責(zé)大數(shù)據(jù)平臺的設(shè)計(jì)與開發(fā)實(shí)現(xiàn)

2.負(fù)責(zé)大數(shù)據(jù)應(yīng)用相關(guān)產(chǎn)品需求分析、架構(gòu)設(shè)計(jì)以及開發(fā)實(shí)現(xiàn)

3.負(fù)責(zé)數(shù)據(jù)產(chǎn)品的服務(wù)接口開發(fā)和維護(hù)

職位要求:

1.本科及以上學(xué)歷,2年及以上大數(shù)據(jù)相關(guān)技術(shù)背景

2.熟練進(jìn)行Java/Scala/Python/PHP的代碼編寫,良好的代碼編寫素養(yǎng),良好的數(shù)據(jù)結(jié)構(gòu)算法技能。

3.熟悉springboot、mbatis、dubbo等開發(fā)框架,熟悉前后端分離開發(fā)流程

4.有數(shù)據(jù)平臺開發(fā)經(jīng)驗(yàn),包括但不限于離線開發(fā)平臺、數(shù)據(jù)質(zhì)量中心、元數(shù)據(jù)管理、數(shù)據(jù)資產(chǎn)管理,實(shí)時(shí)流平臺等

5、熟悉使用Spark/Flink、Storm等數(shù)據(jù)實(shí)時(shí)流式處理技術(shù)。

6、熟悉數(shù)據(jù)倉庫理論,對多維數(shù)據(jù)建模有深入理解和實(shí)際經(jīng)驗(yàn)。

7、熟悉開源大數(shù)據(jù)平臺如HBase、ES、Kylin、Druid等,有實(shí)際的報(bào)表平臺、多維度分析工具、etl平臺、調(diào)度平臺中至少一種工具的實(shí)際建設(shè)經(jīng)驗(yàn)。

8、有過使用flink做實(shí)時(shí)計(jì)算平臺成功案例者和用過hera系統(tǒng)做過離線任務(wù)平臺者優(yōu)先。

有機(jī)會接觸千億級海量數(shù)據(jù)的離線和實(shí)時(shí)的數(shù)據(jù)處理,涉及Java,Spark,Hive,Sparkstreaming,Hbase,Elasticsearch,Flink等大數(shù)據(jù)的前沿技術(shù)和多云的統(tǒng)一架構(gòu)。

篇2:數(shù)據(jù)平臺開發(fā)工程師崗位職責(zé)

資深數(shù)據(jù)平臺開發(fā)工程師(嚴(yán)選)-郵件事業(yè)部172網(wǎng)易集團(tuán)網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司,杭州網(wǎng)易,網(wǎng)易,網(wǎng)易杭州,網(wǎng)易游戲,網(wǎng)易網(wǎng)絡(luò),網(wǎng)易集團(tuán),網(wǎng)易工作職責(zé):

1、負(fù)責(zé)離線計(jì)算平臺的開發(fā)和維護(hù)工作;

2、負(fù)責(zé)HBase/TiDB的開發(fā)與維護(hù)工作;

3、負(fù)責(zé)Alluxio/Arrow等開發(fā)與維護(hù)工作。

任職要求:

1、5年以上相關(guān)領(lǐng)域開發(fā)經(jīng)驗(yàn),熟悉Java/Go/C++的一種;

2、對數(shù)據(jù)庫系統(tǒng)或分布式系統(tǒng)的原理和架構(gòu)有較好的了解;

3、優(yōu)秀的發(fā)現(xiàn)和解決問題能力,良好的溝通能力和團(tuán)隊(duì)意識。

加分項(xiàng):

1、熟悉Hadoop生態(tài),參加過開源項(xiàng)目;

2、熟悉Hive、Spark、HDFS、HBase、TiDB中至少一種產(chǎn)品的實(shí)現(xiàn)細(xì)節(jié);

3、有數(shù)據(jù)庫/數(shù)據(jù)治理產(chǎn)品的開發(fā)和運(yùn)維經(jīng)驗(yàn)。

篇3:高級資深數(shù)據(jù)平臺開發(fā)工程師網(wǎng)易考拉250職位描述與崗位職責(zé)任職要求

職位描述

工作職責(zé)

1、搭建數(shù)據(jù)內(nèi)容分析,診斷平臺產(chǎn)品,推動業(yè)務(wù)數(shù)據(jù)化;

2、搭建智能數(shù)據(jù)運(yùn)營平臺,推動數(shù)據(jù)智能化、業(yè)務(wù)化;

3、搭建數(shù)據(jù)管理監(jiān)控平臺,提升數(shù)據(jù)管理服務(wù)質(zhì)量。

任職要求

1、本科及以上學(xué)歷,3年以上Java開發(fā)經(jīng)驗(yàn)。

2、掌握J(rèn)ava開發(fā)語言,對Java底層原理有一定理解,了解后端分布式系統(tǒng)常用技術(shù)。

3、有Web服務(wù)端,分布式計(jì)算、中間件等開發(fā)經(jīng)驗(yàn)。

4、熟悉大數(shù)據(jù)生態(tài)圈(Hadoop,Hive,HBase,Spark,Storm,F(xiàn)link等相關(guān)技術(shù)),有一定開發(fā)數(shù)據(jù)服務(wù)系統(tǒng)的經(jīng)驗(yàn)。

5、對數(shù)據(jù)技術(shù)有極強(qiáng)的興趣和熱情