大數據開發人員職位描述與崗位職責任職要求
職位描述:
職責描述:
2、負責數據建模、數據預處理子系統的設計和開發;
3、負責數據倉庫ETL流程的優化及解決ETL相關技術問題;
4、負責數據倉庫系統與業務系統的接口設計和確認工作;
5、負責數據平臺相關的管理工作,如數據研發規范、數據質量及穩定性保證等建設;
6、參與公司各個業務線BI、數據產品與應用的數據研發,挖掘數據潛在價值。
任職要求:
1、統招本一及以上學歷,碩士2年、本科3年以上開發經驗;
2、具有數據倉庫構建實施經驗,熟悉數據倉庫模型設計方法論,并有實際的模型設計經驗;
3、至少熟悉Oracle、Mysql等數據庫中一種,精通SQL的編寫和優化,有存儲過程編寫經驗;
3、熟悉Hadoop生態相關技術并有相關實踐經驗,包括HDFS,MapReduce,Hive,Hbase,Spark等,具備海量數據加工處理(ETL)相關經驗者優先;
4、精通數據倉庫領域知識和管理技能,包括但不限于:元數據管理、數據質量、主數據管理、性能調優等;
5、有較好的溝通交流能力,善于主動思考和行動,樂于解決具有挑戰性的問題。
篇2:大數據開發總監崗位職責大數據開發總監職責任職要求
大數據開發總監崗位職責
大數據開發總監主要職責
1.帶領大數據團隊,包括數據建設、數據質量治理、數據應用和數據產品;
2.設計并優化公司大數據架構,包括數據建設流、數倉模型、數據集市架構;
3.構建數據質量保障體系,包括全流程監控、預警和數據快速恢復、數據質量評估
4.完善數據應用體系,包括數據產品構建、數據分析需求響應、數據集市
5.數據工程架構迭代,包括實時流、權限管理、調度、應用輸出等主要職責
1.帶領大數據團隊,包括數據建設、數據質量治理、數據應用和數據產品;
2.設計并優化公司大數據架構,包括數據建設流、數倉模型、數據集市架構;
3.構建數據質量保障體系,包括全流程監控、預警和數據快速恢復、數據質量評估
4.完善數據應用體系,包括數據產品構建、數據分析需求響應、數據集市
5.數據工程架構迭代,包括實時流、權限管理、調度、應用輸出等
篇3:java大數據開發職位描述與崗位職責任職要求
職位描述:
職責描述:
1.參與大數據平臺和大數據處理框架的架構規劃設計;
2.參與數據治理工作,提升數據易用性及數據質量;
3.理解并合理抽象業務需求,發揮數據價值,主動思考不斷優化,與業務團隊緊密合作;
4.配合大數據負責人完成Hadoop、Spark等集群的管理、優化和維護,保證集群規模持續、穩定。
任職要求:
1.兩年以上相關工作經驗;
2.熟練掌握java語言,熟練使用linux,強悍的編碼和處理問題能力;
3.熟悉大數據開源棧spark/hadoop、Hive、Hbase、ElasticSearch、kafka、redis,strom/spark-streaming/flink,有至少TB以上級大數據處理經驗.有SparkStreaming的實時統計開發經驗優先;
4.對數據敏感,認真細致,善于從數據中發現疑點;
5.善于溝通,具備優秀的技術與業務結合能力;
6.學習能力強,喜歡研究開源新技術,有團隊觀念,具備獨立解決問題的能力