職位描述：

職責(zé)描述：

基于flink開源大數(shù)據(jù)計算平臺，在集團(tuán)整體業(yè)務(wù)場景下，

1.研發(fā)實時流計算數(shù)據(jù)研發(fā)平臺，支持包括核心電商、云計算、大文娛、創(chuàng)新業(yè)務(wù)在內(nèi)的等各個綜合業(yè)務(wù)板塊務(wù)；

2.研發(fā)實時OLAP（ElasticSearch，Druid）賦能業(yè)務(wù)

3.研發(fā)實時智能化（算法加工程）賦能業(yè)務(wù)

任職要求：

1.具備扎實的計算機(jī)理論基礎(chǔ),對數(shù)據(jù)結(jié)構(gòu)及算法有較強(qiáng)的功底

2.精通Java語言編程，具備優(yōu)秀的系統(tǒng)Debug/Profiling能力和經(jīng)驗

3.熟悉常見的面向?qū)ο笤O(shè)計模式，具備優(yōu)秀的系統(tǒng)架構(gòu)設(shè)計能力

4.熟悉Hadoop/HBase/Flink/SparkStreaming等開源大數(shù)據(jù)技術(shù)，在開源社區(qū)活躍者優(yōu)先

5.熟悉ElasticSearch/Druid等OLAP開源技術(shù)優(yōu)先

6.具備實際的大數(shù)據(jù)業(yè)務(wù)開發(fā)經(jīng)驗以及良好的項目溝通和協(xié)調(diào)能力

7.具備實時流計算數(shù)據(jù)開發(fā)經(jīng)驗、全棧開發(fā)經(jīng)驗優(yōu)先

篇2:數(shù)據(jù)倉庫研發(fā)工程師崗位職責(zé)

搜狗金融-數(shù)據(jù)倉庫研發(fā)工程師-北京-02173(MJ001926)搜狗北京搜狗科技發(fā)展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻譯,搜狗詞典,搜狗崗位職責(zé):

1、數(shù)據(jù)倉庫、數(shù)據(jù)集市的數(shù)據(jù)模型設(shè)計

2、數(shù)據(jù)倉庫ETL規(guī)則設(shè)計和開發(fā)

3、利用HQL進(jìn)行數(shù)據(jù)清洗,根據(jù)應(yīng)用場景建立數(shù)據(jù)集市。

4、數(shù)據(jù)倉庫數(shù)據(jù)導(dǎo)入,建表,日常任務(wù)跑批,日志監(jiān)控。

5、數(shù)據(jù)倉庫需求調(diào)研和需求分析

任職條件:

1、熟悉python,熟練使用shell編程解決數(shù)據(jù)清洗;

2、熟練使用Hadoop、Hive、Sqoop,熟練使用hiveSQL并有一定編寫map/reduce開發(fā)經(jīng)驗;

3、熟悉數(shù)據(jù)倉庫建模理論,了解數(shù)據(jù)倉庫數(shù)據(jù)分層架構(gòu),精通3NF和多維數(shù)據(jù)模型設(shè)計;

4、具備大中型數(shù)據(jù)倉庫架構(gòu)設(shè)計、模型設(shè)計、ETL設(shè)計的相關(guān)經(jīng)驗;

5、具備海量數(shù)據(jù)處理、有性能調(diào)優(yōu)經(jīng)、金融、電商、電信、互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)模型經(jīng)驗者優(yōu)先

這是一款定位于服務(wù)平臺互聯(lián)網(wǎng)用戶的金融產(chǎn)品,由搜狗公司內(nèi)部孵化,深度挖掘搜狗在互聯(lián)網(wǎng)端的用戶規(guī)模優(yōu)勢以及多年的大數(shù)據(jù)能力積累。在當(dāng)下大熱的互聯(lián)網(wǎng)金融領(lǐng)域,搜狗將發(fā)揮用戶服務(wù)和智能算法優(yōu)勢,并結(jié)合平臺的綜合運營實力。

篇3:數(shù)據(jù)研發(fā)工程師崗位職責(zé)

數(shù)據(jù)研發(fā)工程師投中信息上海投中信息咨詢股份有限公司,投中信息職責(zé)描述:

1.負(fù)責(zé)數(shù)據(jù)源調(diào)研、入庫、開發(fā)的全流程工作(數(shù)據(jù)采集、清洗、匯總、集成等),并保證數(shù)據(jù)質(zhì)量;

2.有較強(qiáng)的自學(xué)能力,能夠根據(jù)需要學(xué)習(xí)相關(guān)業(yè)務(wù)和技術(shù)知識,并能靈活運用;

3.負(fù)責(zé)對公司平臺的數(shù)據(jù)進(jìn)行整理、挖掘及分析工作;

4.基于公司現(xiàn)有產(chǎn)品,提出可擴(kuò)展,高性能,高可用性設(shè)計方案;

任職要求:

1.熟練掌握J(rèn)ava編程語言,熟悉Python腳本語言,并靈活運用到實際工作中及解決技術(shù)問題;

2.熟悉Hadoop+Spark大數(shù)據(jù)處理工具和技術(shù),有兩年以上的實際大數(shù)據(jù)處理經(jīng)驗;

3.熟練掌握一至兩種開源ETL工具軟件;

4.熟悉常見機(jī)器學(xué)習(xí)算法(如邏輯回歸、SVM、神經(jīng)網(wǎng)絡(luò)、決策樹、貝葉斯等);

5.對機(jī)器學(xué)習(xí)/深度學(xué)習(xí)有興趣,并具有一定的理解和研究,熟悉Tensorflow、Torch等常見框架;有實際項目開發(fā)經(jīng)驗者優(yōu)先;

6.善于分析和解決問題,富有想象力和學(xué)習(xí)能力,良好的團(tuán)隊合作精神;

7.責(zé)任心強(qiáng),工作踏實,團(tuán)隊協(xié)作精神,具備快速解決問題的能力。