大數據治理師職位描述與崗位職責任職要求
職位描述:
職責描述:
1.負責公司大數據治理(元數據、數據標準、數據質量、數據安全、數據資產目錄等)功能總體方案設計;
2.推進數據治理實施方案制定及落地。
3.協同其他團隊成員,共同建立數據管理工作流程、規范和方法;
4.數據治理工作的推進和效果檢驗。
任職要求:
1.本科以上學歷,計算機相關專業,5年以上工作經驗。
2.3年以上數據治理經驗,包括數據架構,數據模型,數據標準,數據質量等實施經驗;
3.豐富大數據背景下數據治理經驗,系統掌握數據治理的方法理論體系;
4.具備良好的溝通和文字表達能力;
5.具有良好的跨組織協調能力和團隊意識,責任心強,工作認真仔細;
6.有數據倉庫,數據集市平臺項目設計和實施經驗者優先;
7.有數據分析經驗者優先;
篇2:大數據系統架構師崗位職責大數據系統架構師職責任職要求
大數據系統架構師崗位職責
職責描述:
1.負責客戶業務需求、數據分析需求的調研、收集與分析;
2.負責Kyligence大數據平臺整體架構和數據架構設計,根據具體業務需求和產品對數據模型進行統一分析和規劃;
3.負責技術設計及技術實現規范編制,指導開發團隊進行項目設計、項目實現及技術匯報;
4.負責項目重難點模塊的功能設計和難點攻堅;
5.參與大數據平臺的應用設計、開發、測試及優化工作。
任職要求:
1.計算機相關專業,本科及以上學歷;
2.有5年以上工作經驗,3年以上數據倉庫架構和大數據系統設計經驗;
3.精通Hadoop、Hive、HBase原理及優化,熟悉大數據生態技術圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大規模集群架構設計、開發及管理經驗;
4.熟練使用SQL語言,掌握Oracle、DB2、GP、MySQL等至少兩種數據庫系統的使用,有較好的SQL性能調優經驗;
5.至少熟悉Java,Scala,Python,Shell等編程語言中的2種;
6.熟悉數據治理及應用,元數據管理的設計與應用;
7.熟悉數據倉庫模型的設計,分層設計原理,并結合大數據技術組建解決模型應用的問題;
8.優秀的分析和解決問題的能力,對挑戰性問題充滿激情;
9.具備良好的文檔撰寫能力和技術團隊管理能力;
10.具備良好的團隊合作精神,較強的溝通能力,具備良好的技術領導能力;
11.有Hive數據倉庫或者ApacheKylin的開發經驗者優先考慮;
篇3:大數據架構師崗位職責大數據架構師職責任職要求
大數據架構師崗位職責
工作職責:
負責大數據開發、數據挖掘、算法平臺的技術架構及建設;
負責大數據實時檢索分析平臺的架構和建設;
負責PCG業務算法推薦,實時流計算框架的研發優化;
跟蹤移動互聯網開源大數據框架、新算法框架的技術選型及平臺化預研及架構;
負責業務挖掘、算法應用的平臺支持;
負責>5人的技術或FT團隊管理。
任職要求:
5年以上系統建設,設計,架構經驗;4年以上大數據系統開發,設計,架構經驗;3年以上軟件工程管理經驗;
熟悉商業智能系統,熟悉數據倉庫,熟悉數據集市;
熟悉大數據相關技術:Hadoop,Hive,HBase,ZooKeeper,Spark,Cassandra,MapReduce;并閱讀過相關源碼;
管理過數據量上T級別,節點數300以上的大數據集群,開發,優化并管理過上T級別的大數據作業;
熟悉常用機器學習算法,了解深度學習,強化學習,遷移學習算法,了解相關原理(FF,BF,SGD等);
熟悉各種抽樣方法(分層,過抽樣等),特征處理方法(缺失值處理,離散化等);
熟悉機器學習框架或工具(SparkMLLib,tensorflow,caffe等),了解源碼并能應用項目;
具備大數據云平臺、計算存儲平臺、可視化開發平臺經驗,具備中大型成功項目經驗優先;具備大規模分布式計算平臺的使用和并行算法的開發經驗,對大數據處理及應用有濃厚興趣;
具備較強的團隊管理能力和溝通能力,思維活躍,前瞻學習能力強;
了解軟件項目管理、敏捷管理方法論,在中大型項目中有所實踐。