職位描述：

崗位職責(zé)：

1、參與計(jì)算框架和服務(wù)的定制和改進(jìn)，為公司批處理和流式計(jì)算能力提供支撐

2、基于業(yè)務(wù)需求和應(yīng)用場景，設(shè)計(jì)和實(shí)現(xiàn)公司大數(shù)據(jù)相關(guān)產(chǎn)品

3、負(fù)責(zé)設(shè)計(jì)，開發(fā)，優(yōu)化數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)計(jì)算服務(wù)框架

4、為公司所有業(yè)務(wù)線提供數(shù)據(jù)支持和服務(wù)

5、主要是為實(shí)時數(shù)倉計(jì)算提供數(shù)據(jù)支持和服務(wù)

任職要求：

1、本科以上學(xué)歷，3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，掌握數(shù)據(jù)倉庫理論、模型設(shè)計(jì)方法等

2、對大數(shù)據(jù)實(shí)時數(shù)倉建設(shè)有成熟的解決方案和實(shí)踐經(jīng)驗(yàn)

3、熟悉Spark，F(xiàn)link、Storm等大型分布式平臺組件

4、精通SQL，SparkSQL優(yōu)先，熟悉Java，Scala、Python編程

5、有較強(qiáng)的性能優(yōu)化及問題排查、解決能力

6、具備良好的溝通能力，做事認(rèn)真、仔細(xì)，有責(zé)任心，具有團(tuán)隊(duì)協(xié)作能力

7、對Kafka消息隊(duì)列中間件有過深度使用經(jīng)驗(yàn)、對于Druid、Kudu、Presto有過項(xiàng)目經(jīng)驗(yàn)

8、對于數(shù)據(jù)采集、數(shù)據(jù)訂閱有成熟的解決方案或是項(xiàng)目經(jīng)驗(yàn)

篇2:大數(shù)據(jù)開發(fā)總監(jiān)崗位職責(zé)大數(shù)據(jù)開發(fā)總監(jiān)職責(zé)任職要求

大數(shù)據(jù)開發(fā)總監(jiān)崗位職責(zé)

大數(shù)據(jù)開發(fā)總監(jiān)主要職責(zé)

1.帶領(lǐng)大數(shù)據(jù)團(tuán)隊(duì),包括數(shù)據(jù)建設(shè)、數(shù)據(jù)質(zhì)量治理、數(shù)據(jù)應(yīng)用和數(shù)據(jù)產(chǎn)品;

2.設(shè)計(jì)并優(yōu)化公司大數(shù)據(jù)架構(gòu),包括數(shù)據(jù)建設(shè)流、數(shù)倉模型、數(shù)據(jù)集市架構(gòu);

3.構(gòu)建數(shù)據(jù)質(zhì)量保障體系,包括全流程監(jiān)控、預(yù)警和數(shù)據(jù)快速恢復(fù)、數(shù)據(jù)質(zhì)量評估

4.完善數(shù)據(jù)應(yīng)用體系,包括數(shù)據(jù)產(chǎn)品構(gòu)建、數(shù)據(jù)分析需求響應(yīng)、數(shù)據(jù)集市

5.數(shù)據(jù)工程架構(gòu)迭代,包括實(shí)時流、權(quán)限管理、調(diào)度、應(yīng)用輸出等主要職責(zé)

1.帶領(lǐng)大數(shù)據(jù)團(tuán)隊(duì),包括數(shù)據(jù)建設(shè)、數(shù)據(jù)質(zhì)量治理、數(shù)據(jù)應(yīng)用和數(shù)據(jù)產(chǎn)品;

2.設(shè)計(jì)并優(yōu)化公司大數(shù)據(jù)架構(gòu),包括數(shù)據(jù)建設(shè)流、數(shù)倉模型、數(shù)據(jù)集市架構(gòu);

3.構(gòu)建數(shù)據(jù)質(zhì)量保障體系,包括全流程監(jiān)控、預(yù)警和數(shù)據(jù)快速恢復(fù)、數(shù)據(jù)質(zhì)量評估

4.完善數(shù)據(jù)應(yīng)用體系,包括數(shù)據(jù)產(chǎn)品構(gòu)建、數(shù)據(jù)分析需求響應(yīng)、數(shù)據(jù)集市

5.數(shù)據(jù)工程架構(gòu)迭代,包括實(shí)時流、權(quán)限管理、調(diào)度、應(yīng)用輸出等

篇3:大數(shù)據(jù)高級開發(fā)職位描述與崗位職責(zé)任職要求

職位描述：

1、負(fù)責(zé)基于Hadoop、Spark、MPP的大數(shù)據(jù)、數(shù)據(jù)倉庫構(gòu)架設(shè)計(jì)及開發(fā)工作；

2、負(fù)責(zé)理解業(yè)務(wù)數(shù)據(jù)需求，開展數(shù)據(jù)采集、存儲、管理、分析、建模及數(shù)據(jù)處理流程設(shè)計(jì)及開發(fā);

3、牽頭大數(shù)據(jù)庫開發(fā)工作，負(fù)責(zé)整體推進(jìn)劑技術(shù)疑難問題的解決。

本職位為外包職位，外包到浙江華云信息科技有限公司，從事電力行業(yè)信息化工作。