職位描述：

大數據架構師

崗位描述：

1.負責公司大數據基礎框架的整體架構設計，結合公司實際業(yè)務情況進行技術選型；

2.負責數據存儲、計算平臺的整體評估、設計以及核心功能模塊的開發(fā)；

3.協助團隊解決開發(fā)過程中的技術難題，負責新技術的調研，并能在團隊內推廣應用；

崗位要求：

1.計算機相關專業(yè)本科以上學歷，5年以上工作經驗，3年以上大數據相關經驗；

2.熟悉常用的數據結構、算法以及數據建模理論；

3.有過支撐每日億級別數據的大數據平臺建設經驗，了解數據倉庫實施方法論、了解數據倉庫體系，并支撐過實際業(yè)務場景；

4.具備較強的編碼能力，掌握java/scala/python開發(fā)語言之一，熟練使用SQL進行數據訪問；

5.精通Hadoop生態(tài)系統(tǒng)基礎設施，包括Flume、Kafka、Hbase、Hive、Spark、Storm等；

6.有團隊管理經驗者優(yōu)先；

篇2:大數據系統(tǒng)架構師崗位職責大數據系統(tǒng)架構師職責任職要求

大數據系統(tǒng)架構師崗位職責

職責描述:

1.負責客戶業(yè)務需求、數據分析需求的調研、收集與分析;

2.負責Kyligence大數據平臺整體架構和數據架構設計,根據具體業(yè)務需求和產品對數據模型進行統(tǒng)一分析和規(guī)劃;

3.負責技術設計及技術實現規(guī)范編制,指導開發(fā)團隊進行項目設計、項目實現及技術匯報;

4.負責項目重難點模塊的功能設計和難點攻堅;

5.參與大數據平臺的應用設計、開發(fā)、測試及優(yōu)化工作。

任職要求:

1.計算機相關專業(yè),本科及以上學歷;

2.有5年以上工作經驗,3年以上數據倉庫架構和大數據系統(tǒng)設計經驗;

3.精通Hadoop、Hive、HBase原理及優(yōu)化,熟悉大數據生態(tài)技術圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大規(guī)模集群架構設計、開發(fā)及管理經驗;

4.熟練使用SQL語言,掌握Oracle、DB2、GP、MySQL等至少兩種數據庫系統(tǒng)的使用,有較好的SQL性能調優(yōu)經驗;

5.至少熟悉Java,Scala,Python,Shell等編程語言中的2種;

6.熟悉數據治理及應用,元數據管理的設計與應用;

7.熟悉數據倉庫模型的設計,分層設計原理,并結合大數據技術組建解決模型應用的問題;

8.優(yōu)秀的分析和解決問題的能力,對挑戰(zhàn)性問題充滿激情;

9.具備良好的文檔撰寫能力和技術團隊管理能力;

10.具備良好的團隊合作精神,較強的溝通能力,具備良好的技術領導能力;

11.有Hive數據倉庫或者ApacheKylin的開發(fā)經驗者優(yōu)先考慮;

篇3:大數據架構師崗位職責大數據架構師職責任職要求

大數據架構師崗位職責

工作職責:

負責大數據開發(fā)、數據挖掘、算法平臺的技術架構及建設;

負責大數據實時檢索分析平臺的架構和建設;

負責PCG業(yè)務算法推薦,實時流計算框架的研發(fā)優(yōu)化;

跟蹤移動互聯網開源大數據框架、新算法框架的技術選型及平臺化預研及架構;

負責業(yè)務挖掘、算法應用的平臺支持;

負責>5人的技術或FT團隊管理。

任職要求:

5年以上系統(tǒng)建設,設計,架構經驗;4年以上大數據系統(tǒng)開發(fā),設計,架構經驗;3年以上軟件工程管理經驗;

熟悉商業(yè)智能系統(tǒng),熟悉數據倉庫,熟悉數據集市;

熟悉大數據相關技術:Hadoop,Hive,HBase,ZooKeeper,Spark,Cassandra,MapReduce;并閱讀過相關源碼;

管理過數據量上T級別,節(jié)點數300以上的大數據集群,開發(fā),優(yōu)化并管理過上T級別的大數據作業(yè);

熟悉常用機器學習算法,了解深度學習,強化學習,遷移學習算法,了解相關原理(FF,BF,SGD等);

熟悉各種抽樣方法(分層,過抽樣等),特征處理方法(缺失值處理,離散化等);

熟悉機器學習框架或工具(SparkMLLib,tensorflow,caffe等),了解源碼并能應用項目;

具備大數據云平臺、計算存儲平臺、可視化開發(fā)平臺經驗,具備中大型成功項目經驗優(yōu)先;具備大規(guī)模分布式計算平臺的使用和并行算法的開發(fā)經驗,對大數據處理及應用有濃厚興趣;

具備較強的團隊管理能力和溝通能力,思維活躍,前瞻學習能力強;

了解軟件項目管理、敏捷管理方法論,在中大型項目中有所實踐。