職位描述：

崗位職責：

（1）根據業務進行數據需求的調研、設計、開發及驗證工作，并持續進行數據業務的優化；

（2）負責大數據整體設計和開發工作，包括數據接入、清洗、計算、校驗等數據加工流程，并沉淀文檔；

（3）持續對系統的技術架構進行改進和優化，提升海量數據的查詢性能和用戶體驗。

（4）此崗位需駐場開發半年左右（地點：新疆）

任職資格：

（1）統招本科或以上學歷，計算機、數學等相關專業，工作至少3年以上；

（2）熟悉Java/Scala開發，有腳本語言（shell,python)開發經驗者優先；

（3）至少熟悉一種大數據處理棧技術，如Hadoop、Spark;熟悉流計算應用開發，如sparkstreaming,flink;熟練掌握大數據生態各個工具的原理及使用，如hive,sqoop,kafka等

（4）掌握HBase、Redis、ElasticSearch等開源大數據存儲技術，并能結合不同的業務場景深入使用；

（5）熟悉storm，sparkstreaming，flink，beam至少一種

（6）熟悉kafka，redis，es等相關組件

（7）對解決具有挑戰性的數據問題充滿激情，具有良好的分析問題和解決問題的能力，能夠勝任部分數據分析，挖掘，建模工作。

篇2:高級大數據開發工程師職位描述與崗位職責任職要求

職位描述：

崗位職責：

1.基于公司大數據產品進行數據開發，包括數據的采集，清洗，預處理，存儲，建模，分析挖掘等

2.根據業務用戶需要分析數據，提供數據支持

3.參與公司大數據產品的運維和監控，保障數據質量和服務穩定性

任職要求：

1.具備本科以上學歷,計算機,軟件以及相關專業,5年以上大數據開發經驗

2.熟悉數據倉庫維度建模,并能根據客戶需求進行數據開發,向模型更新數據

3.使用過至少一種以上的ETL工具

4.熟練掌握Java,對Hadoop相關的技術和組件(HDFS,MR,Hbase,Hive,Spark,Storm,Kafka等）有全面深入了解

5.熟練掌握Shell或者Python中的一種

6.具備Spark開發經驗者優先

7.具備實時計算(Kafka+Storm/SparkStreaming)經驗者優先

8.具備數據分析和數據挖掘方面經驗者優先

篇3:中級大數據開發工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1、參與公司商業智能平臺的研發工作；

2、參與公司商業智能平臺的升級改造工作，包括運維工作。

任職要求：

1、正規院校本科及以上學歷，軟件、計算機、通信、信息安全、網絡工程等相關專業；

2、良好的Java開發背景，熟悉Spring/MyBatis技術體系；

3、良好的SQL功底，熟悉MySQL或Oracle數據庫；

4、熟悉Linux；

5、了解開源Pentaho產品，包括PRD、Mondrian、SaiKu、Kettle等；

6、熟悉Hadoop、Hive、HBase、Storm、Spark等大數據平臺；

7、溝通能力強，有較強的學習能力，有較強的責任心與良好的團隊協作能力。