Hadoop架構師崗位職責
Hadoop架構師泰康在線財產保險股份有限公司泰康在線財產保險股份有限公司,泰康在線,泰康工作職責:
1.負責搭建數據平臺、數據倉庫平臺、物聯網數據平臺、AI數據平臺,負責數據平臺架構的整合、優化、開發、部署實施、運維相關工作,確保數據平臺穩定運行
2.主導搭建數據平臺(DW/AI/Hadoop平臺等),提供數據接口對接、存儲、提取、處理、清洗、邏輯解析、規范化、IoT設備互聯互通能力
3.具備Java,SQL開發經驗,性能調測,開源代碼商業化,底層基礎架構搭建
4.參與公司數據處理方向的技術拓展,保障公司業務的數據需求
5.負責數據平臺實時計算/分布式并行計算的架構設計/代碼編寫,及開源技術組件的二次開發
6.運用Hadoop/SparkSQL與SparkStreaming或者其它數據分析技術,進行包括需求分析,平臺選擇,技術構架涉及等技術支持工作,確保能夠保障公司業務的數據需求
任職要求:
1.熟悉傳統數據倉庫,至少三年以上數據倉庫開發、構建、運維經驗
2.熟悉Hadoop技術體系,有Hadoop/Spark架構經驗,有Hadoop計算集群在實際項目上的開發和維護經驗
3.兩年以上基于Hadoop/Spark/Hbase/Hive等分布式數據計算應用開發經驗
4.熟悉數據平臺數據同步技術,如:OGG,CDC,Sqoop等,并有實際經驗
5.熟悉大數據大數據性能優化,并有實際項目經驗
6.熟悉ApacheMahout/SparkMLIB的各種算法
7.精通Java,熟練掌握MapReduce原理以及數據分析相關的二次開發
8.熟悉Linux/UNIX,熟悉Perl/Python/Shell等腳本開發語言
9.了解敏捷開發流程,有敏捷開發經驗者優先
10.良好的數據結構和算法基礎,有較強的算法設計和實現能力
11.本科以上學歷,計算機及相關專業
篇2:Hadoop架構師崗位職責Hadoop架構師職責任職要求
Hadoop架構師崗位職責
工作職責:
1、負責全行大數據在各類業務場景中的應用規劃及設計方案的制定;
2、負責對全行大數據的標準化進行梳理并制定相應方案;
3、負責制定全行的元數據集,并對元數據管理的流程、技術方案進行設計;
4、面向數據價值服務為數據應用場景進行方案設計并指導落實實施;
5、負責對大數據相關領域的創新性研究和知識產權保護工作;
6、領導交辦的其他工作內容。
任職要求:
1、全日制本科及以上學歷,計算機、通信工程、數學等相關專業;
2、具備3年以上大數據相關開發經驗,2年以上大數據系統相關設計經驗;
3、熟悉Hadoop、Hive、Hbase、Flume、Sqoop、Spark以及流式計算等大數據相關技術,并具備相關開發經驗;
4、在金融行業或互聯網金融領域有過相關工作經驗者優先考慮;
5、具備良好的溝通能力、團隊合作精神,能接受高強度工作。大數據架構師:
工作職責:
1、負責全行大數據在各類業務場景中的應用規劃及設計方案的制定;
2、負責對全行大數據的標準化進行梳理并制定相應方案;
3、負責制定全行的元數據集,并對元數據管理的流程、技術方案進行設計;
4、面向數據價值服務為數據應用場景進行方案設計并指導落實實施;
5、負責對大數據相關領域的創新性研究和知識產權保護工作;
6、領導交辦的其他工作內容。
任職要求:
1、全日制本科及以上學歷,計算機、通信工程、數學等相關專業;
2、具備3年以上大數據相關開發經驗,2年以上大數據系統相關設計經驗;
3、熟悉Hadoop、Hive、Hbase、Flume、Sqoop、Spark以及流式計算等大數據相關技術,并具備相關開發經驗;
4、在金融行業或互聯網金融領域有過相關工作經驗者優先考慮;
5、具備良好的溝通能力、團隊合作精神,能接受高強度工作。
篇3:高級系統架構師（Hadoopspark)職位描述與崗位職責任職要求
職位描述：
1.計算機及計算機相關專業本科或本科以上學歷；
2.十年以上開發工作經驗；
3.精通Java編程，熟練掌握SpringCloud、SpringBoot、SpringFramework、SpringSecurity、SpringMVC、SpringData、Mybatis、Hibernate、Zookeeper等主流的開發框架，有良好的編程習慣。
4.精通大數據Hadoop、Spark、HBase、Hive、Kafka等產品技術及應用開發。
5.精通多線程編程、分布式事務、存儲系統（如Oracle、Mongodb、Redis等）的性能調優和應用開發；
6.具備優秀的邏輯思維能力，對解決挑戰性問題充滿熱情，善于解決問題和分析問題；
7.有強烈的上進心和求知欲，善于學習新事物，良好的團隊合作精神，較強的溝通能力和學習能力。