數(shù)據(jù)抓取及處理工程師-變現(xiàn)業(yè)務(wù)今日頭條北京今日頭條科技有限公司,今日頭條,字節(jié)跳動(dòng),今日頭條工作職責(zé):

1、負(fù)責(zé)商業(yè)化相關(guān)的數(shù)據(jù)抓取和清洗工作;

2、推進(jìn)抓取架構(gòu)的完善,不斷提升系統(tǒng)的準(zhǔn)確性、實(shí)時(shí)性;

3、監(jiān)控客戶輿情及競(jìng)品投放情況。

任職要求:

1、有扎實(shí)的算法和數(shù)據(jù)結(jié)構(gòu)能力;

2、熟悉爬蟲原理,熟悉常見的反爬蟲技術(shù),有爬蟲相關(guān)項(xiàng)目開發(fā)經(jīng)驗(yàn)者優(yōu)先;

3、掌握http協(xié)議,熟悉html、dom、xpath等常見的數(shù)據(jù)抽取技術(shù);

4、有大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)挖掘、信息提取等經(jīng)驗(yàn)者優(yōu)先。

篇2:廣告業(yè)務(wù)數(shù)據(jù)研發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、廣告各類在線業(yè)務(wù)的離線數(shù)據(jù)加工與在線數(shù)據(jù)服務(wù)開發(fā)與維護(hù)

2、數(shù)據(jù)服務(wù)接口及產(chǎn)品需求研發(fā)迭代，代碼review、bug修復(fù)及日常服務(wù)運(yùn)維

3、針對(duì)海量數(shù)據(jù)處理和查詢需求，設(shè)計(jì)適應(yīng)業(yè)務(wù)變化的合理的多維數(shù)據(jù)分析系統(tǒng)架構(gòu)，滿足多樣性的需求

4、海量日志清洗加工，并抽象出可以多業(yè)務(wù)復(fù)用的數(shù)據(jù)模型

任職要求：

1、熟悉Hadoop架構(gòu)和工作原理，精通MapReduce編程；精通Hive，有HQL優(yōu)化經(jīng)驗(yàn)

2、有web服務(wù)開發(fā)經(jīng)驗(yàn)，具備獨(dú)立完成模塊開發(fā)能力，具備大規(guī)模分布式服務(wù)設(shè)計(jì)能力和經(jīng)驗(yàn)

3、理解基本的設(shè)計(jì)模式，能將業(yè)務(wù)需求快速理解成技術(shù)需求

4、熟練使用Mysql，熟練使用ElasticSearch、Druid者優(yōu)先；熟悉其原理者優(yōu)先

5、善于溝通，工作積極主動(dòng)，責(zé)任心強(qiáng)，具備良好的團(tuán)隊(duì)協(xié)作能力

6、具備良好的問(wèn)題分析與解決能力，有較強(qiáng)學(xué)習(xí)能力和邏輯思維能力