大數據系統架構師崗位職責
大數據系統架構師中電科大數據研究院有限公司中電科大數據研究院有限公司,中電科大數據研究院,中電科大職責描述:
1、負責大數據系統的規劃和架構設計工作,主導系統的架構設計與核心模塊開發;
2、負責研究技術發展方向,探索新技術領域,將新技術應用到項目;
3、負責技術規范制定,指導開發團隊進行實施工作;
4、支持技術團隊的建設與能力培養。
任職要求:
1、計算機相關專業,碩士及以上學歷,5年以上相關工作經驗;
2、熟悉大數據相關技術,如Spark、Hadoop、Hive、HBase、Pig、Sqoop、MapReduce等,有豐富的大數據系統架構設計經驗;深刻理解大數據系統相關技術和實現;
3、熟悉主流的應用與服務開源框架,如JavaEE相關開源框架,有應用與服務的架構設計經驗,熟悉設計模式,面向服務等思想并應用到架構設計當中;
4、了解數據挖掘算法與自然語言處理者優先;
5、熟悉項目管理理論,敏捷開發實踐方法,有領導技術團隊能力者優先;
6、邏輯思維能力嚴密,分析判斷能力強,具備一定的獨立溝通、協調能力。
篇2:數據架構師崗位工作職責
1、深入理解MDM主數據管理思想和流程;
2、理解業務數據、主數據與元數據的區別與關系;
3、參與過數據模型的設計與開發;
4、深入理解數據清洗,標準化,轉換,匹配,數據質量、安全管理的原理和業務流程;
5、參與過數據ETL開發與設計;
6、熟練運用主流DBMS,nosql數據庫。
篇3:大數據系統架構師崗位職責大數據系統架構師職責任職要求
大數據系統架構師崗位職責
職責描述:
1.負責客戶業務需求、數據分析需求的調研、收集與分析;
2.負責Kyligence大數據平臺整體架構和數據架構設計,根據具體業務需求和產品對數據模型進行統一分析和規劃;
3.負責技術設計及技術實現規范編制,指導開發團隊進行項目設計、項目實現及技術匯報;
4.負責項目重難點模塊的功能設計和難點攻堅;
5.參與大數據平臺的應用設計、開發、測試及優化工作。
任職要求:
1.計算機相關專業,本科及以上學歷;
2.有5年以上工作經驗,3年以上數據倉庫架構和大數據系統設計經驗;
3.精通Hadoop、Hive、HBase原理及優化,熟悉大數據生態技術圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大規模集群架構設計、開發及管理經驗;
4.熟練使用SQL語言,掌握Oracle、DB2、GP、MySQL等至少兩種數據庫系統的使用,有較好的SQL性能調優經驗;
5.至少熟悉Java,Scala,Python,Shell等編程語言中的2種;
6.熟悉數據治理及應用,元數據管理的設計與應用;
7.熟悉數據倉庫模型的設計,分層設計原理,并結合大數據技術組建解決模型應用的問題;
8.優秀的分析和解決問題的能力,對挑戰性問題充滿激情;
9.具備良好的文檔撰寫能力和技術團隊管理能力;
10.具備良好的團隊合作精神,較強的溝通能力,具備良好的技術領導能力;
11.有Hive數據倉庫或者ApacheKylin的開發經驗者優先考慮;