職位描述：

職責(zé)描述：

1、負責(zé)全域數(shù)據(jù)和應(yīng)用產(chǎn)品的數(shù)據(jù)體系的建設(shè)，通過數(shù)據(jù)+算法+工程化能力，處理和萃取數(shù)據(jù)，讓其成為應(yīng)用和產(chǎn)品的能源；

2、參與大數(shù)據(jù)基礎(chǔ)架構(gòu)和技術(shù)體系的規(guī)劃建設(shè)，包括數(shù)據(jù)采集平臺、數(shù)據(jù)資產(chǎn)管理與治理平臺、數(shù)據(jù)質(zhì)量及穩(wěn)定性保障體系、數(shù)據(jù)處理智能化和自動化體系的建設(shè)。

3、以上工作職責(zé)有具體的細分，你可以基于你的興趣和愛好選擇不同的方向發(fā)展；

任職要求：

以下能力項不是全部要求，我們有多個細分崗位供您選擇

1、有從事分布式數(shù)據(jù)存儲與計算平臺應(yīng)用開發(fā)經(jīng)驗，熟悉Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)開發(fā)經(jīng)驗，有Spark/Flink的開發(fā)經(jīng)驗尤佳；

2、較為豐富的數(shù)據(jù)倉庫及數(shù)據(jù)平臺的架構(gòu)經(jīng)驗，精通數(shù)據(jù)倉庫建模及ETL設(shè)計開發(fā)；有較為系統(tǒng)的海量數(shù)據(jù)性能處理經(jīng)驗；在大數(shù)據(jù)資產(chǎn)管理與治理有一定成功產(chǎn)品化經(jīng)驗；

3、具備豐富的大型互聯(lián)網(wǎng)日志采集系統(tǒng)設(shè)計或架構(gòu)經(jīng)驗，具備較扎實的理論基礎(chǔ)和工程能力，熟悉HTTP、HTTPS等協(xié)議，有nginx、apache等web服務(wù)器上的模塊開發(fā)或子系統(tǒng)的架構(gòu)設(shè)計能力，有ios或android客戶端SDK及服務(wù)端架構(gòu)設(shè)計經(jīng)驗；

4、具備一定的JAVA、Python語言的開發(fā)能力，具備機器學(xué)習(xí)算法能力尤佳；

5、良好的思維邏輯性、語言表達能力；有較好英語口語能力，將安排海外崗位；

篇2:大數(shù)據(jù)研發(fā)崗位職責(zé)

大數(shù)據(jù)研發(fā)職位描述:

1、理解數(shù)據(jù)的產(chǎn)品應(yīng)用場景邏輯,通過統(tǒng)計方法和通用分布式框架工具語言如hadoop,不斷加強數(shù)據(jù)服務(wù)質(zhì)量;

2、負責(zé)數(shù)據(jù)清洗、轉(zhuǎn)換、建模等工作,對海量用戶行為數(shù)據(jù)通過hadoop/spark等進行離線和實時處理;

3、參與用戶畫像、個性化推薦系統(tǒng)等數(shù)據(jù)產(chǎn)品的開發(fā)工作

4、參與數(shù)據(jù)、工具平臺相關(guān)的功能接口、數(shù)據(jù)接口開發(fā),完成業(yè)務(wù)功能;

崗位要求:

1、精通java或scala語言,具有面向?qū)ο缶幊趟枷?對底層實現(xiàn)有一定研究;

2、精通sparksql、sparkstreaming等編程,具有實際大型分布式集群項目開發(fā)經(jīng)驗;

3、熟悉Linux操作系統(tǒng),熟悉Linuxshell編程;

4、熟悉mysql,redis等常用數(shù)據(jù)庫,jetty等中間件;

5、熟悉分布式存儲或NoSQL數(shù)據(jù)庫技術(shù),如hbase等;

6、熟悉Hadoop生態(tài)環(huán)境,精通以下一種或多種大數(shù)據(jù)技術(shù),如flume、Kafka、Hdfs、MR、elasticsearch;

7、熟悉常用的數(shù)據(jù)挖掘算法優(yōu)先。職位描述:

1、理解數(shù)據(jù)的產(chǎn)品應(yīng)用場景邏輯,通過統(tǒng)計方法和通用分布式框架工具語言如hadoop,不斷加強數(shù)據(jù)服務(wù)質(zhì)量;

2、負責(zé)數(shù)據(jù)清洗、轉(zhuǎn)換、建模等工作,對海量用戶行為數(shù)據(jù)通過hadoop/spark等進行離線和實時處理;

3、參與用戶畫像、個性化推薦系統(tǒng)等數(shù)據(jù)產(chǎn)品的開發(fā)工作

4、參與數(shù)據(jù)、工具平臺相關(guān)的功能接口、數(shù)據(jù)接口開發(fā),完成業(yè)務(wù)功能;

崗位要求:

1、精通java或scala語言,具有面向?qū)ο缶幊趟枷?對底層實現(xiàn)有一定研究;

2、精通sparksql、sparkstreaming等編程,具有實際大型分布式集群項目開發(fā)經(jīng)驗;

3、熟悉Linux操作系統(tǒng),熟悉Linuxshell編程;

4、熟悉mysql,redis等常用數(shù)據(jù)庫,jetty等中間件;

5、熟悉分布式存儲或NoSQL數(shù)據(jù)庫技術(shù),如hbase等;

6、熟悉Hadoop生態(tài)環(huán)境,精通以下一種或多種大數(shù)據(jù)技術(shù),如flume、Kafka、Hdfs、MR、elasticsearch;

7、熟悉常用的數(shù)據(jù)挖掘算法優(yōu)先。

篇3:高級大數(shù)據(jù)產(chǎn)品研發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé):

1.參與公司數(shù)據(jù)開發(fā)平臺、BI產(chǎn)品等大數(shù)據(jù)產(chǎn)品的設(shè)計和開發(fā);

2.負責(zé)數(shù)據(jù)開發(fā)平臺、BI產(chǎn)品等大數(shù)據(jù)產(chǎn)品的部署和維護，保證其穩(wěn)定和可靠;

3.關(guān)注和參與大數(shù)據(jù)方向開源產(chǎn)品的技術(shù)動態(tài)與演進，推動產(chǎn)品與技術(shù)架構(gòu)持續(xù)更新;

任職要求:

1.計算機相關(guān)專業(yè)，本科及以上學(xué)歷，5年以上軟件開發(fā)經(jīng)驗，3年以上互聯(lián)網(wǎng)產(chǎn)品或分布式系統(tǒng)開發(fā)設(shè)計經(jīng)驗;

2.精通Java,Python,Scala等一種或幾種編程語言,并熟悉Linux操作系統(tǒng)及BashShell編程;

3.有Hadoop/Spark/Hive/Presto/HBase/ElasticSearch/Kafka等使用經(jīng)驗,并熟悉上述常用的分布式系統(tǒng)架構(gòu)設(shè)計和原理;

4.熟悉微服務(wù)框架及相關(guān)技術(shù),如Dubbo,SpringCloud等;

5.熟悉MySQL、Redis,并了解或接觸過其他數(shù)據(jù)庫如Oracle,SqlServer,PostgreSQL,MongoDB等;

6.了解容器技術(shù),如Docker,Kubernetes;

7.具有一定的軟件設(shè)計能力,熱愛大數(shù)據(jù)和技術(shù)，相信技術(shù)改變世界，學(xué)習(xí)能力強，認同數(shù)據(jù)價值，有面向業(yè)務(wù)的思維,較強的自主學(xué)習(xí)能力和英文技術(shù)文檔閱讀能力;

8.良好的溝通能力、團隊精神及服務(wù)意識，勇于接受挑戰(zhàn)，能承受較大的工作壓力;

9.有生產(chǎn)環(huán)境快速trouble-shooting的經(jīng)驗和能力者優(yōu)先;

10.有OLAP，多維度數(shù)據(jù)分析經(jīng)驗優(yōu)先，有對數(shù)據(jù)倉庫有較強的理論基礎(chǔ)和理解者優(yōu)先;