數(shù)據(jù)平臺(tái)架構(gòu)師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)建設(shè)，包含數(shù)據(jù)平臺(tái)的技術(shù)運(yùn)維維護(hù)規(guī)范定義和執(zhí)行落地；
2、定義數(shù)據(jù)采集規(guī)范、數(shù)據(jù)層級(jí)規(guī)范（5層經(jīng)典結(jié)構(gòu)），并執(zhí)行落地；
3、構(gòu)建業(yè)務(wù)指標(biāo)體系，建立自動(dòng)化和自助的數(shù)據(jù)輸出體系，提升數(shù)據(jù)輸出能力；
4、實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)和離線數(shù)據(jù)體系；
5、負(fù)責(zé)團(tuán)隊(duì)梯度建設(shè)，人才培養(yǎng)，人才輸出和能力輸出。
任職資格:
1、6年以上數(shù)據(jù)平臺(tái)建設(shè)工作經(jīng)驗(yàn)，3年以上帶領(lǐng)團(tuán)隊(duì)經(jīng)驗(yàn)-
2、精通Hadoop、Hive、Spark、SparkStreaming、Storm、Kafka等技術(shù)體系，熟練使用至少一門(mén)編程語(yǔ)言（Java、Python、Go、Scala）；
3、鉆研大數(shù)據(jù)行業(yè)技術(shù)和應(yīng)用前沿，日TB級(jí)數(shù)據(jù)，構(gòu)建過(guò)實(shí)時(shí)數(shù)據(jù)平臺(tái)系統(tǒng)；
4、對(duì)數(shù)據(jù)敏感，熟悉常用數(shù)據(jù)挖掘算法，并有一定實(shí)踐經(jīng)驗(yàn)；
5、強(qiáng)烈的好奇心和求知欲，善于深入一線業(yè)務(wù)，研究業(yè)務(wù)；
篇2:大數(shù)據(jù)平臺(tái)架構(gòu)師崗位職責(zé)大數(shù)據(jù)平臺(tái)架構(gòu)師職責(zé)任職要求
大數(shù)據(jù)平臺(tái)架構(gòu)師崗位職責(zé)
工作職責(zé):
負(fù)責(zé)大數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)挖掘、算法平臺(tái)的技術(shù)架構(gòu)及建設(shè);
負(fù)責(zé)大數(shù)據(jù)實(shí)時(shí)檢索分析平臺(tái)的架構(gòu)和建設(shè);
負(fù)責(zé)PCG業(yè)務(wù)算法推薦,實(shí)時(shí)流計(jì)算框架的研發(fā)優(yōu)化;
跟蹤移動(dòng)互聯(lián)網(wǎng)開(kāi)源大數(shù)據(jù)框架、新算法框架的技術(shù)選型及平臺(tái)化預(yù)研及架構(gòu);
負(fù)責(zé)業(yè)務(wù)挖掘、算法應(yīng)用的平臺(tái)支持;
負(fù)責(zé)>5人的技術(shù)或FT團(tuán)隊(duì)管理。
任職要求:
5年以上系統(tǒng)建設(shè),設(shè)計(jì),架構(gòu)經(jīng)驗(yàn);4年以上大數(shù)據(jù)系統(tǒng)開(kāi)發(fā),設(shè)計(jì),架構(gòu)經(jīng)驗(yàn);3年以上軟件工程管理經(jīng)驗(yàn);
熟悉商業(yè)智能系統(tǒng),熟悉數(shù)據(jù)倉(cāng)庫(kù),熟悉數(shù)據(jù)集市;
熟悉大數(shù)據(jù)相關(guān)技術(shù):Hadoop,Hive,HBase,ZooKeeper,Spark,Cassandra,MapReduce;并閱讀過(guò)相關(guān)源碼;
管理過(guò)數(shù)據(jù)量上T級(jí)別,節(jié)點(diǎn)數(shù)300以上的大數(shù)據(jù)集群,開(kāi)發(fā),優(yōu)化并管理過(guò)上T級(jí)別的大數(shù)據(jù)作業(yè);
熟悉常用機(jī)器學(xué)習(xí)算法,了解深度學(xué)習(xí),強(qiáng)化學(xué)習(xí),遷移學(xué)習(xí)算法,了解相關(guān)原理(FF,BF,SGD等);
熟悉各種抽樣方法(分層,過(guò)抽樣等),特征處理方法(缺失值處理,離散化等);
熟悉機(jī)器學(xué)習(xí)框架或工具(SparkMLLib,tensorflow,caffe等),了解源碼并能應(yīng)用項(xiàng)目;
具備大數(shù)據(jù)云平臺(tái)、計(jì)算存儲(chǔ)平臺(tái)、可視化開(kāi)發(fā)平臺(tái)經(jīng)驗(yàn),具備中大型成功項(xiàng)目經(jīng)驗(yàn)優(yōu)先;具備大規(guī)模分布式計(jì)算平臺(tái)的使用和并行算法的開(kāi)發(fā)經(jīng)驗(yàn),對(duì)大數(shù)據(jù)處理及應(yīng)用有濃厚興趣;
具備較強(qiáng)的團(tuán)隊(duì)管理能力和溝通能力,思維活躍,前瞻學(xué)習(xí)能力強(qiáng);
了解軟件項(xiàng)目管理、敏捷管理方法論,在中大型項(xiàng)目中有所實(shí)踐。
篇3:大數(shù)據(jù)平臺(tái)架構(gòu)師職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
?負(fù)責(zé)云平臺(tái)大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)；
?云平臺(tái)的數(shù)據(jù)治理、數(shù)據(jù)圖譜、數(shù)據(jù)湖的設(shè)計(jì)與開(kāi)發(fā)；
?大數(shù)據(jù)計(jì)算任務(wù)的需求分析、設(shè)計(jì)、開(kāi)發(fā)和調(diào)優(yōu)；
任職要求：
?五年以上大數(shù)據(jù)相關(guān)開(kāi)發(fā)經(jīng)驗(yàn)；
?精通大數(shù)據(jù)架構(gòu)體系，有兩年以上大數(shù)據(jù)平臺(tái)的架構(gòu)經(jīng)驗(yàn)；
?精通Java、Python、Scala編程語(yǔ)言中的一種或多種；
?精通大數(shù)據(jù)實(shí)時(shí)計(jì)算、離線計(jì)算相關(guān)技術(shù)，如MapReduce，Storm，Spark,Flink,ElasticSearch等，有項(xiàng)目實(shí)戰(zhàn)經(jīng)驗(yàn)者優(yōu)先；
?精通0zzie，Azkaban，Airflow等大數(shù)據(jù)計(jì)算調(diào)度框架，有開(kāi)發(fā)過(guò)調(diào)度框架者優(yōu)先；
?精通大數(shù)據(jù)生態(tài)環(huán)境的常用中間件，如Fluentd、Kafka、Logstash等；
?有工作熱情，愛(ài)崗敬業(yè)，有良好的抗壓能力和團(tuán)隊(duì)協(xié)作能力。