首頁(yè) > 制度大全 > 實(shí)時(shí)大數(shù)據(jù)研發(fā)工程師數(shù)據(jù)技術(shù)專家(P6P8)職位描述與崗位職責(zé)任職要求

實(shí)時(shí)大數(shù)據(jù)研發(fā)工程師數(shù)據(jù)技術(shù)專家(P6P8)職位描述與崗位職責(zé)任職要求

2024-07-27 閱讀 9681

職位描述

職責(zé)描述

基于flink開源大數(shù)據(jù)計(jì)算平臺(tái),在阿里集團(tuán)整體業(yè)務(wù)場(chǎng)景下,

1.研發(fā)實(shí)時(shí)流計(jì)算數(shù)據(jù)研發(fā)平臺(tái),支持包括核心電商、云計(jì)算、大文娛、創(chuàng)新業(yè)務(wù)在內(nèi)的等各個(gè)綜合業(yè)務(wù)板塊務(wù);

2.研發(fā)實(shí)時(shí)OLAP(ElasticSearch,Druid)賦能業(yè)務(wù)

3.研發(fā)實(shí)時(shí)智能化(算法加工程)賦能業(yè)務(wù)

任職要求

1.具備扎實(shí)的計(jì)算機(jī)理論基礎(chǔ),對(duì)數(shù)據(jù)結(jié)構(gòu)及算法有較強(qiáng)的功底

2.精通Java語(yǔ)言編程,具備優(yōu)秀的系統(tǒng)Debug/Profiling能力和經(jīng)驗(yàn)

3.熟悉常見的面向?qū)ο笤O(shè)計(jì)模式,具備優(yōu)秀的系統(tǒng)架構(gòu)設(shè)計(jì)能力

4.熟悉Hadoop/HBase/Flink/SparkStreaming等開源大數(shù)據(jù)技術(shù),在開源社區(qū)活躍者優(yōu)先

5.熟悉ElasticSearch/Druid等OLAP開源技術(shù)優(yōu)先

6.具備實(shí)際的大數(shù)據(jù)業(yè)務(wù)開發(fā)經(jīng)驗(yàn)以及良好的項(xiàng)目溝通和協(xié)調(diào)能力

7.具備實(shí)時(shí)流計(jì)算數(shù)據(jù)開發(fā)經(jīng)驗(yàn)、全棧開發(fā)經(jīng)驗(yàn)優(yōu)先

篇2:大數(shù)據(jù)開發(fā)(實(shí)時(shí)計(jì)算)職位描述與崗位職責(zé)任職要求

職位描述

崗位職責(zé)

1、參與計(jì)算框架和服務(wù)的定制和改進(jìn),為公司批處理和流式計(jì)算能力提供支撐

2、基于業(yè)務(wù)需求和應(yīng)用場(chǎng)景,設(shè)計(jì)和實(shí)現(xiàn)公司大數(shù)據(jù)相關(guān)產(chǎn)品

3、負(fù)責(zé)設(shè)計(jì),開發(fā),優(yōu)化數(shù)據(jù)接入、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算服務(wù)框架

4、為公司所有業(yè)務(wù)線提供數(shù)據(jù)支持和服務(wù)

5、主要是為實(shí)時(shí)數(shù)倉(cāng)計(jì)算提供數(shù)據(jù)支持和服務(wù)

任職要求

1、本科以上學(xué)歷,3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),掌握數(shù)據(jù)倉(cāng)庫(kù)理論、模型設(shè)計(jì)方法等

2、對(duì)大數(shù)據(jù)實(shí)時(shí)數(shù)倉(cāng)建設(shè)有成熟的解決方案和實(shí)踐經(jīng)驗(yàn)

3、熟悉Spark,F(xiàn)link、Storm等大型分布式平臺(tái)組件

4、精通SQL,SparkSQL優(yōu)先,熟悉Java,Scala、Python編程

5、有較強(qiáng)的性能優(yōu)化及問題排查、解決能力

6、具備良好的溝通能力,做事認(rèn)真、仔細(xì),有責(zé)任心,具有團(tuán)隊(duì)協(xié)作能力

7、對(duì)Kafka消息隊(duì)列中間件有過深度使用經(jīng)驗(yàn)、對(duì)于Druid、Kudu、Presto有過項(xiàng)目經(jīng)驗(yàn)

8、對(duì)于數(shù)據(jù)采集、數(shù)據(jù)訂閱有成熟的解決方案或是項(xiàng)目經(jīng)驗(yàn)

篇3:架構(gòu)工程師實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)中間件職位描述與崗位職責(zé)任職要求

職位描述

負(fù)責(zé)架構(gòu)部核心項(xiàng)目之一:實(shí)時(shí)監(jiān)控平臺(tái)

平臺(tái)目標(biāo)覆蓋數(shù)萬(wàn)節(jié)點(diǎn)的基礎(chǔ)設(shè)施層、應(yīng)用與服務(wù)層以及業(yè)務(wù)活動(dòng)層的實(shí)時(shí)動(dòng)態(tài)監(jiān)控,能夠及時(shí)全面的反映整個(gè)系統(tǒng)各層面的運(yùn)行狀況。

主要職責(zé):

1.整體負(fù)責(zé)實(shí)時(shí)監(jiān)控平臺(tái)的需求和團(tuán)隊(duì)管理工作;

2.和各技術(shù)團(tuán)隊(duì)溝通確認(rèn)集成或數(shù)據(jù)采集處理方案,以及監(jiān)控需求;

3.控制項(xiàng)目需求優(yōu)先級(jí),把控有效輸出,迭代方式不斷呈現(xiàn)監(jiān)控平臺(tái)的價(jià)值產(chǎn)出;

任職要求

1.對(duì)技術(shù)仍保持熱情,為人積極,理解溝通能力優(yōu)秀;

2.有多年分布式系統(tǒng)架構(gòu)以及線上排障經(jīng)驗(yàn),熟悉線上運(yùn)維優(yōu)先;

3.至少熟悉一種分布式監(jiān)控跟蹤系統(tǒng),如Zabbix,小米Open-Falcon,阿里鷹眼,谷歌Dapper,大眾點(diǎn)評(píng)CAT,eBayEagle,各類APM等;

4.熟悉ElasticSearch、Hadoop、HBase、Spark、Flink、流式處理等

5.有數(shù)字可視化落地經(jīng)驗(yàn),熟悉ITIL、服務(wù)治理優(yōu)先;