大數(shù)據(jù)平臺架構(gòu)師NEXTTAO上海復兆信息技術(shù)有限公司,NEXTTAO,復兆,復兆職責描述:

1、負責大數(shù)據(jù)平臺框架的規(guī)劃設(shè)計、搭建、優(yōu)化和運維;

2、負責架構(gòu)持續(xù)優(yōu)化及系統(tǒng)關(guān)鍵模塊的設(shè)計開發(fā),協(xié)助團隊解決開發(fā)過程中的技術(shù)難題;

3、負責大數(shù)據(jù)相關(guān)新技術(shù)的調(diào)研,關(guān)注大數(shù)據(jù)技術(shù)發(fā)展趨勢、研究開源技術(shù)、將新技術(shù)應(yīng)用到大數(shù)據(jù)平臺,推動數(shù)據(jù)平臺發(fā)展;

4、負責數(shù)據(jù)平臺開發(fā)規(guī)范制定,數(shù)據(jù)建模及核心框架開發(fā)。

任職要求:

1、計算機、數(shù)學等專業(yè)本科及以上學歷;

2、具有5年及以上大數(shù)據(jù)相關(guān)工作經(jīng)驗;

3、具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫的理論功底,負責過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設(shè)計;

4、基于Hadoop的大數(shù)據(jù)體系有深入認識,具備相關(guān)產(chǎn)品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、ES等)項目應(yīng)用研發(fā)經(jīng)驗,有Hadoop集群搭建和管理經(jīng)驗;

5、熟悉傳統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)建模,ETL架構(gòu)和開發(fā)流程,使用過Kettle、Talend、Informatic等至少一種工具;

6、自驅(qū)力強、優(yōu)秀的團隊意識和溝通能力,對新技術(shù)有好奇心,學習能力和主動性強,有鉆研精神,充滿激情,樂于接受挑戰(zhàn);

篇2:數(shù)據(jù)架構(gòu)師崗位工作職責

1、深入理解MDM主數(shù)據(jù)管理思想和流程;

2、理解業(yè)務(wù)數(shù)據(jù)、主數(shù)據(jù)與元數(shù)據(jù)的區(qū)別與關(guān)系;

3、參與過數(shù)據(jù)模型的設(shè)計與開發(fā);

4、深入理解數(shù)據(jù)清洗,標準化,轉(zhuǎn)換,匹配,數(shù)據(jù)質(zhì)量、安全管理的原理和業(yè)務(wù)流程;

5、參與過數(shù)據(jù)ETL開發(fā)與設(shè)計;

6、熟練運用主流DBMS,nosql數(shù)據(jù)庫。

篇3:大數(shù)據(jù)系統(tǒng)架構(gòu)師崗位職責大數(shù)據(jù)系統(tǒng)架構(gòu)師職責任職要求

大數(shù)據(jù)系統(tǒng)架構(gòu)師崗位職責

職責描述:

1.負責客戶業(yè)務(wù)需求、數(shù)據(jù)分析需求的調(diào)研、收集與分析;

2.負責Kyligence大數(shù)據(jù)平臺整體架構(gòu)和數(shù)據(jù)架構(gòu)設(shè)計,根據(jù)具體業(yè)務(wù)需求和產(chǎn)品對數(shù)據(jù)模型進行統(tǒng)一分析和規(guī)劃;

3.負責技術(shù)設(shè)計及技術(shù)實現(xiàn)規(guī)范編制,指導開發(fā)團隊進行項目設(shè)計、項目實現(xiàn)及技術(shù)匯報;

4.負責項目重難點模塊的功能設(shè)計和難點攻堅;

5.參與大數(shù)據(jù)平臺的應(yīng)用設(shè)計、開發(fā)、測試及優(yōu)化工作。

任職要求:

1.計算機相關(guān)專業(yè),本科及以上學歷;

2.有5年以上工作經(jīng)驗,3年以上數(shù)據(jù)倉庫架構(gòu)和大數(shù)據(jù)系統(tǒng)設(shè)計經(jīng)驗;

3.精通Hadoop、Hive、HBase原理及優(yōu)化,熟悉大數(shù)據(jù)生態(tài)技術(shù)圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大規(guī)模集群架構(gòu)設(shè)計、開發(fā)及管理經(jīng)驗;

4.熟練使用SQL語言,掌握Oracle、DB2、GP、MySQL等至少兩種數(shù)據(jù)庫系統(tǒng)的使用,有較好的SQL性能調(diào)優(yōu)經(jīng)驗;

5.至少熟悉Java,Scala,Python,Shell等編程語言中的2種;

6.熟悉數(shù)據(jù)治理及應(yīng)用,元數(shù)據(jù)管理的設(shè)計與應(yīng)用;

7.熟悉數(shù)據(jù)倉庫模型的設(shè)計,分層設(shè)計原理,并結(jié)合大數(shù)據(jù)技術(shù)組建解決模型應(yīng)用的問題;

8.優(yōu)秀的分析和解決問題的能力,對挑戰(zhàn)性問題充滿激情;

9.具備良好的文檔撰寫能力和技術(shù)團隊管理能力;

10.具備良好的團隊合作精神,較強的溝通能力,具備良好的技術(shù)領(lǐng)導能力;

11.有Hive數(shù)據(jù)倉庫或者ApacheKylin的開發(fā)經(jīng)驗者優(yōu)先考慮;