職位描述：

工作職責：

1、廣告各類在線業務的離線數據加工與在線數據服務開發與維護；

2、數據服務接口及產品需求研發迭代，代碼review、bug修復及日常服務運維；

3、針對海量數據處理和查詢需求，設計適應業務變化的合理的多維數據分析系統架構，滿足多樣性的需求；

4、海量日志清洗加工，并抽象出可以多業務復用的數據模型。

任職要求：

1、計算機相關專業本科及以上學歷，熟悉Hadoop架構和工作原理，精通MapReduce編程；精通Hive，有HQL優化經驗；

2、熟悉JAVA，python等多種編程技術，編程能力強，有web服務開發經驗，具備獨立完成模塊開發能力；

3、理解基本的設計模式，能將業務需求快速理解成技術需求；

4、熟練使用Mysql，熟練使用ElasticSearch、Druid者優先；熟悉其原理者優先；

5、善于溝通，工作積極主動，責任心強，具備良好的團隊協作能力；

6、具備良好的問題分析與解決能力，有較強學習能力和邏輯思維能力。

額外加分項:：

Github等開源社區貢獻者；

具備大規模分布式服務設計能力和經驗。

篇2:大數據研發崗位職責

大數據研發職位描述:

1、理解數據的產品應用場景邏輯,通過統計方法和通用分布式框架工具語言如hadoop,不斷加強數據服務質量;

2、負責數據清洗、轉換、建模等工作,對海量用戶行為數據通過hadoop/spark等進行離線和實時處理;

3、參與用戶畫像、個性化推薦系統等數據產品的開發工作

4、參與數據、工具平臺相關的功能接口、數據接口開發,完成業務功能;

崗位要求:

1、精通java或scala語言,具有面向對象編程思想,對底層實現有一定研究;

2、精通sparksql、sparkstreaming等編程,具有實際大型分布式集群項目開發經驗;

3、熟悉Linux操作系統,熟悉Linuxshell編程;

4、熟悉mysql,redis等常用數據庫,jetty等中間件;

5、熟悉分布式存儲或NoSQL數據庫技術,如hbase等;

6、熟悉Hadoop生態環境,精通以下一種或多種大數據技術,如flume、Kafka、Hdfs、MR、elasticsearch;

7、熟悉常用的數據挖掘算法優先。職位描述:

1、理解數據的產品應用場景邏輯,通過統計方法和通用分布式框架工具語言如hadoop,不斷加強數據服務質量;

2、負責數據清洗、轉換、建模等工作,對海量用戶行為數據通過hadoop/spark等進行離線和實時處理;

3、參與用戶畫像、個性化推薦系統等數據產品的開發工作

4、參與數據、工具平臺相關的功能接口、數據接口開發,完成業務功能;

崗位要求:

1、精通java或scala語言,具有面向對象編程思想,對底層實現有一定研究;

2、精通sparksql、sparkstreaming等編程,具有實際大型分布式集群項目開發經驗;

3、熟悉Linux操作系統,熟悉Linuxshell編程;

4、熟悉mysql,redis等常用數據庫,jetty等中間件;

5、熟悉分布式存儲或NoSQL數據庫技術,如hbase等;

6、熟悉Hadoop生態環境,精通以下一種或多種大數據技術,如flume、Kafka、Hdfs、MR、elasticsearch;

7、熟悉常用的數據挖掘算法優先。

篇3:高級大數據產品研發工程師職位描述與崗位職責任職要求

職位描述：

崗位職責:

1.參與公司數據開發平臺、BI產品等大數據產品的設計和開發;

2.負責數據開發平臺、BI產品等大數據產品的部署和維護，保證其穩定和可靠;

3.關注和參與大數據方向開源產品的技術動態與演進，推動產品與技術架構持續更新;

任職要求:

1.計算機相關專業，本科及以上學歷，5年以上軟件開發經驗，3年以上互聯網產品或分布式系統開發設計經驗;

2.精通Java,Python,Scala等一種或幾種編程語言,并熟悉Linux操作系統及BashShell編程;

3.有Hadoop/Spark/Hive/Presto/HBase/ElasticSearch/Kafka等使用經驗,并熟悉上述常用的分布式系統架構設計和原理;

4.熟悉微服務框架及相關技術,如Dubbo,SpringCloud等;

5.熟悉MySQL、Redis,并了解或接觸過其他數據庫如Oracle,SqlServer,PostgreSQL,MongoDB等;

6.了解容器技術,如Docker,Kubernetes;

7.具有一定的軟件設計能力,熱愛大數據和技術，相信技術改變世界，學習能力強，認同數據價值，有面向業務的思維,較強的自主學習能力和英文技術文檔閱讀能力;

8.良好的溝通能力、團隊精神及服務意識，勇于接受挑戰，能承受較大的工作壓力;

9.有生產環境快速trouble-shooting的經驗和能力者優先;

10.有OLAP，多維度數據分析經驗優先，有對數據倉庫有較強的理論基礎和理解者優先;