職責描述：

1、負責企業級數據中臺規劃、架構設計、組件封裝以及疑難技術問題解決

2、深入理解企業級數據中臺需求，進行整體架構設計、技術選型、關鍵核心模塊的研發以及疑難問題解決

3、針對具體業務需求提出合適的算法解決方案，應用先進的統計建模、數據挖掘，機器學習等方法建立數據模型，優化算法，推動該方案在業務系統的實現。算法包括但不限于機器學習，推薦算法，自然語言處理等；

4、負責大數據應用項目的模型技術設計、數據提取清洗、數據衍生變換、模型開發、模型驗證評估到最終模型實施的項目全生命周期，解決不同場景下的業務問題，包含但不限于客戶畫像、精準營銷、業務預測、路由規劃、線路優化等

任職資格：

1、精通Java、Scala、Python、SQL、R等開發語言中至少2到3種

2、精通CDH、Ambari、Yarn/Mesos、Zookeeper等安裝配置與參數調優，并在中大型項目中有TroubleShooting的實際經驗

3、熟練掌握Hadoop、Spark、Storm、Flink、Kylin、Druid等大數據計算技術，并在中大型項目中有TroubleShooting的實際經驗

4、熟練掌握HDFS、Hbase、Hive、ElasticSearch、Casandra、Mongodb等大數據存儲技術的安裝配置與性能調優，并在中大型項目中有TroubleShooting的實際經驗

5、熟練掌握Kafka、Nifi、Flume、Sqoop等大數據集成技術的安裝配置與性能調優，并在中大型項目中有TroubleShooting的實際經驗

6、熟練掌握Redis、Ignite、Geode等分布式緩存和數據網格技術的安裝配置與性能調優，并在中大型項目中有TroubleShooting的實際經驗

7、熟練掌握Impala、SparkSQL、Drill等大數據即席查詢技術，并在中大型項目中有TroubleShooting的實際經驗

8、熟練掌握數據庫技術，對MySQL等數據庫有一定的了解和使用經驗

9、熟悉Docker/Kubernetes等大數據分布式集群技術的安裝配置與性能調優者優先

10、熟悉JMX大數據監控管理技術，并具有相關開源監控管理組件的使用經驗者優先

11、有企業數據中臺建設實施開發經驗者優先

12、有Zepplin、JupyterNote等實際應用開發經驗者優先

13、有JanusGraph、OpenTSDB等實際應用開發經驗者優先

14、有Tensorflow安裝配置調優以及實際應用開發經驗者優先

15、具有良好的商業敏感度、數據敏感度和優秀的數據分析技能，能夠開發創新而實際的分析方法以解決復雜的商業問題，注重業務邏輯與數據邏輯相結合，接地氣意識和落地能力都要強

16、熟悉常用機器學習和數據挖掘算法，包括但不限于GBDT、隨機森林、支持向量機、Logistic回歸以及深度學習等算法

17、良好的溝通能力和團隊合作精神，能夠協同工作，樂于在技術上指導幫助團隊成員

18、優先考慮具備BAT或知名互聯網或高科技公司數據挖掘以及大型數據系統或平臺的架構設計者經驗

19、向開源社區貢獻過patch者優先

崗位要求：

學歷要求：大專

語言要求：不限

年齡要求：不限

工作年限：8-9年經驗

篇2:大數據系統架構師崗位職責大數據系統架構師職責任職要求

大數據系統架構師崗位職責

職責描述:

1.負責客戶業務需求、數據分析需求的調研、收集與分析;

2.負責Kyligence大數據平臺整體架構和數據架構設計,根據具體業務需求和產品對數據模型進行統一分析和規劃;

3.負責技術設計及技術實現規范編制,指導開發團隊進行項目設計、項目實現及技術匯報;

4.負責項目重難點模塊的功能設計和難點攻堅;

5.參與大數據平臺的應用設計、開發、測試及優化工作。

任職要求:

1.計算機相關專業,本科及以上學歷;

2.有5年以上工作經驗,3年以上數據倉庫架構和大數據系統設計經驗;

3.精通Hadoop、Hive、HBase原理及優化,熟悉大數據生態技術圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大規模集群架構設計、開發及管理經驗;

4.熟練使用SQL語言,掌握Oracle、DB2、GP、MySQL等至少兩種數據庫系統的使用,有較好的SQL性能調優經驗;

5.至少熟悉Java,Scala,Python,Shell等編程語言中的2種;

6.熟悉數據治理及應用,元數據管理的設計與應用;

7.熟悉數據倉庫模型的設計,分層設計原理,并結合大數據技術組建解決模型應用的問題;

8.優秀的分析和解決問題的能力,對挑戰性問題充滿激情;

9.具備良好的文檔撰寫能力和技術團隊管理能力;

10.具備良好的團隊合作精神,較強的溝通能力,具備良好的技術領導能力;

11.有Hive數據倉庫或者ApacheKylin的開發經驗者優先考慮;

篇3:大數據架構師崗位職責大數據架構師職責任職要求

大數據架構師崗位職責

工作職責:

負責大數據開發、數據挖掘、算法平臺的技術架構及建設;

負責大數據實時檢索分析平臺的架構和建設;

負責PCG業務算法推薦,實時流計算框架的研發優化;

跟蹤移動互聯網開源大數據框架、新算法框架的技術選型及平臺化預研及架構;

負責業務挖掘、算法應用的平臺支持;

負責>5人的技術或FT團隊管理。

任職要求:

5年以上系統建設,設計,架構經驗;4年以上大數據系統開發,設計,架構經驗;3年以上軟件工程管理經驗;

熟悉商業智能系統,熟悉數據倉庫,熟悉數據集市;

熟悉大數據相關技術:Hadoop,Hive,HBase,ZooKeeper,Spark,Cassandra,MapReduce;并閱讀過相關源碼;

管理過數據量上T級別,節點數300以上的大數據集群,開發,優化并管理過上T級別的大數據作業;

熟悉常用機器學習算法,了解深度學習,強化學習,遷移學習算法,了解相關原理(FF,BF,SGD等);

熟悉各種抽樣方法(分層,過抽樣等),特征處理方法(缺失值處理,離散化等);

熟悉機器學習框架或工具(SparkMLLib,tensorflow,caffe等),了解源碼并能應用項目;

具備大數據云平臺、計算存儲平臺、可視化開發平臺經驗,具備中大型成功項目經驗優先;具備大規模分布式計算平臺的使用和并行算法的開發經驗,對大數據處理及應用有濃厚興趣;

具備較強的團隊管理能力和溝通能力,思維活躍,前瞻學習能力強;

了解軟件項目管理、敏捷管理方法論,在中大型項目中有所實踐。