職位描述：

工作職責(zé):

1、根據(jù)公司數(shù)據(jù)分析需求進(jìn)行基于Hadoop平臺(tái)的項(xiàng)目開(kāi)發(fā)；

2、根據(jù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)，熟練使用kettle工具進(jìn)行ETL程序的開(kāi)發(fā)；包括實(shí)時(shí)數(shù)據(jù)加工，計(jì)算，ETL，管理，監(jiān)控等；

3、負(fù)責(zé)針對(duì)源系統(tǒng)進(jìn)行數(shù)據(jù)抽取、處理、分析等相關(guān)工作，及項(xiàng)目中涉及到的數(shù)據(jù)庫(kù)創(chuàng)建、維護(hù)及提供數(shù)據(jù)接口工作；

4、負(fù)責(zé)設(shè)計(jì)并優(yōu)化基于Hive的數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)；

5、制定數(shù)據(jù)庫(kù)備份和恢復(fù)策略及工作流程與規(guī)范。

6、能出具消費(fèi)品品牌制造行業(yè)應(yīng)用的數(shù)據(jù)分析技術(shù)解決方案，并落地。

任職資格:

1．從事數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域至少2年以上，熟悉數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)與ETL開(kāi)發(fā)經(jīng)驗(yàn)，具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗(yàn)；

2.熟悉數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域知識(shí)和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開(kāi)發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理；

3．有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)，熟悉Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先，重點(diǎn)考察Hive、Hdfs、Hbase;

4.熟練掌握kettlesqoop、datax、airflow等;

5.有消費(fèi)品品牌制造、零售行業(yè)經(jīng)驗(yàn)，尤其快消品行業(yè)和財(cái)務(wù)領(lǐng)域數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;

6.熟悉分布式計(jì)算Presto/Imapa優(yōu)先;

7．有實(shí)時(shí)計(jì)算方面的經(jīng)驗(yàn)的優(yōu)先。

篇2:高級(jí)大數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1.基于公司大數(shù)據(jù)產(chǎn)品進(jìn)行數(shù)據(jù)開(kāi)發(fā)，包括數(shù)據(jù)的采集，清洗，預(yù)處理，存儲(chǔ)，建模，分析挖掘等

2.根據(jù)業(yè)務(wù)用戶需要分析數(shù)據(jù)，提供數(shù)據(jù)支持

3.參與公司大數(shù)據(jù)產(chǎn)品的運(yùn)維和監(jiān)控，保障數(shù)據(jù)質(zhì)量和服務(wù)穩(wěn)定性

任職要求：

1.具備本科以上學(xué)歷,計(jì)算機(jī),軟件以及相關(guān)專業(yè),5年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)

2.熟悉數(shù)據(jù)倉(cāng)庫(kù)維度建模,并能根據(jù)客戶需求進(jìn)行數(shù)據(jù)開(kāi)發(fā),向模型更新數(shù)據(jù)

3.使用過(guò)至少一種以上的ETL工具

4.熟練掌握J(rèn)ava,對(duì)Hadoop相關(guān)的技術(shù)和組件(HDFS,MR,Hbase,Hive,Spark,Storm,Kafka等）有全面深入了解

5.熟練掌握Shell或者Python中的一種

6.具備Spark開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先

7.具備實(shí)時(shí)計(jì)算(Kafka+Storm/SparkStreaming)經(jīng)驗(yàn)者優(yōu)先

8.具備數(shù)據(jù)分析和數(shù)據(jù)挖掘方面經(jīng)驗(yàn)者優(yōu)先

篇3:中級(jí)大數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1、參與公司商業(yè)智能平臺(tái)的研發(fā)工作；

2、參與公司商業(yè)智能平臺(tái)的升級(jí)改造工作，包括運(yùn)維工作。

任職要求：

1、正規(guī)院校本科及以上學(xué)歷，軟件、計(jì)算機(jī)、通信、信息安全、網(wǎng)絡(luò)工程等相關(guān)專業(yè)；

2、良好的Java開(kāi)發(fā)背景，熟悉Spring/MyBatis技術(shù)體系；

3、良好的SQL功底，熟悉MySQL或Oracle數(shù)據(jù)庫(kù)；

4、熟悉Linux；

5、了解開(kāi)源Pentaho產(chǎn)品，包括PRD、Mondrian、SaiKu、Kettle等；

6、熟悉Hadoop、Hive、HBase、Storm、Spark等大數(shù)據(jù)平臺(tái)；

7、溝通能力強(qiáng)，有較強(qiáng)的學(xué)習(xí)能力，有較強(qiáng)的責(zé)任心與良好的團(tuán)隊(duì)協(xié)作能力。