職位描述：

工作職責(zé)：

1、廣告各類在線業(yè)務(wù)的離線數(shù)據(jù)加工與在線數(shù)據(jù)服務(wù)開發(fā)與維護(hù)

2、數(shù)據(jù)服務(wù)接口及產(chǎn)品需求研發(fā)迭代，代碼review、bug修復(fù)及日常服務(wù)運(yùn)維

3、針對海量數(shù)據(jù)處理和查詢需求，設(shè)計適應(yīng)業(yè)務(wù)變化的合理的多維數(shù)據(jù)分析系統(tǒng)架構(gòu)，滿足多樣性的需求

4、海量日志清洗加工，并抽象出可以多業(yè)務(wù)復(fù)用的數(shù)據(jù)模型

任職要求：

1、計算機(jī)相關(guān)專業(yè)本科以上學(xué)歷，熟悉Hadoop架構(gòu)和工作原理，精通MapReduce編程；精通Hive，有HQL優(yōu)化經(jīng)驗

2、熟悉JAVA，python等多種編程技術(shù)，編程能力強(qiáng)，有web服務(wù)開發(fā)經(jīng)驗，具備獨(dú)立完成模塊開發(fā)能力

3、理解基本的設(shè)計模式，能將業(yè)務(wù)需求快速理解成技術(shù)需求

4、熟練使用Mysql，熟練使用ElasticSearch、Druid者優(yōu)先；熟悉其原理者優(yōu)先

5、善于溝通，工作積極主動，責(zé)任心強(qiáng)，具備良好的團(tuán)隊協(xié)作能力

6、具備良好的問題分析與解決能力，有較強(qiáng)學(xué)習(xí)能力和邏輯思維能力

額外加分項:：

Github等開源社區(qū)貢獻(xiàn)者

具備大規(guī)模分布式服務(wù)設(shè)計能力和經(jīng)驗

篇2:數(shù)據(jù)倉庫研發(fā)工程師崗位職責(zé)

搜狗金融-數(shù)據(jù)倉庫研發(fā)工程師-北京-02173(MJ001926)搜狗北京搜狗科技發(fā)展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻譯,搜狗詞典,搜狗崗位職責(zé):

1、數(shù)據(jù)倉庫、數(shù)據(jù)集市的數(shù)據(jù)模型設(shè)計

2、數(shù)據(jù)倉庫ETL規(guī)則設(shè)計和開發(fā)

3、利用HQL進(jìn)行數(shù)據(jù)清洗,根據(jù)應(yīng)用場景建立數(shù)據(jù)集市。

4、數(shù)據(jù)倉庫數(shù)據(jù)導(dǎo)入,建表,日常任務(wù)跑批,日志監(jiān)控。

5、數(shù)據(jù)倉庫需求調(diào)研和需求分析

任職條件:

1、熟悉python,熟練使用shell編程解決數(shù)據(jù)清洗;

2、熟練使用Hadoop、Hive、Sqoop,熟練使用hiveSQL并有一定編寫map/reduce開發(fā)經(jīng)驗;

3、熟悉數(shù)據(jù)倉庫建模理論,了解數(shù)據(jù)倉庫數(shù)據(jù)分層架構(gòu),精通3NF和多維數(shù)據(jù)模型設(shè)計;

4、具備大中型數(shù)據(jù)倉庫架構(gòu)設(shè)計、模型設(shè)計、ETL設(shè)計的相關(guān)經(jīng)驗;

5、具備海量數(shù)據(jù)處理、有性能調(diào)優(yōu)經(jīng)、金融、電商、電信、互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)模型經(jīng)驗者優(yōu)先

這是一款定位于服務(wù)平臺互聯(lián)網(wǎng)用戶的金融產(chǎn)品,由搜狗公司內(nèi)部孵化,深度挖掘搜狗在互聯(lián)網(wǎng)端的用戶規(guī)模優(yōu)勢以及多年的大數(shù)據(jù)能力積累。在當(dāng)下大熱的互聯(lián)網(wǎng)金融領(lǐng)域,搜狗將發(fā)揮用戶服務(wù)和智能算法優(yōu)勢,并結(jié)合平臺的綜合運(yùn)營實力。

篇3:數(shù)據(jù)研發(fā)工程師崗位職責(zé)

數(shù)據(jù)研發(fā)工程師投中信息上海投中信息咨詢股份有限公司,投中信息職責(zé)描述:

1.負(fù)責(zé)數(shù)據(jù)源調(diào)研、入庫、開發(fā)的全流程工作(數(shù)據(jù)采集、清洗、匯總、集成等),并保證數(shù)據(jù)質(zhì)量;

2.有較強(qiáng)的自學(xué)能力,能夠根據(jù)需要學(xué)習(xí)相關(guān)業(yè)務(wù)和技術(shù)知識,并能靈活運(yùn)用;

3.負(fù)責(zé)對公司平臺的數(shù)據(jù)進(jìn)行整理、挖掘及分析工作;

4.基于公司現(xiàn)有產(chǎn)品,提出可擴(kuò)展,高性能,高可用性設(shè)計方案;

任職要求:

1.熟練掌握J(rèn)ava編程語言,熟悉Python腳本語言,并靈活運(yùn)用到實際工作中及解決技術(shù)問題;

2.熟悉Hadoop+Spark大數(shù)據(jù)處理工具和技術(shù),有兩年以上的實際大數(shù)據(jù)處理經(jīng)驗;

3.熟練掌握一至兩種開源ETL工具軟件;

4.熟悉常見機(jī)器學(xué)習(xí)算法(如邏輯回歸、SVM、神經(jīng)網(wǎng)絡(luò)、決策樹、貝葉斯等);

5.對機(jī)器學(xué)習(xí)/深度學(xué)習(xí)有興趣,并具有一定的理解和研究,熟悉Tensorflow、Torch等常見框架;有實際項目開發(fā)經(jīng)驗者優(yōu)先;

6.善于分析和解決問題,富有想象力和學(xué)習(xí)能力,良好的團(tuán)隊合作精神;

7.責(zé)任心強(qiáng),工作踏實,團(tuán)隊協(xié)作精神,具備快速解決問題的能力。