數據抓取及處理工程師-變現業務今日頭條北京今日頭條科技有限公司,今日頭條,字節跳動,今日頭條工作職責:

1、負責商業化相關的數據抓取和清洗工作;

2、推進抓取架構的完善,不斷提升系統的準確性、實時性;

3、監控客戶輿情及競品投放情況。

任職要求:

1、有扎實的算法和數據結構能力;

2、熟悉爬蟲原理,熟悉常見的反爬蟲技術,有爬蟲相關項目開發經驗者優先;

3、掌握http協議,熟悉html、dom、xpath等常見的數據抽取技術;

4、有大規模數據處理、數據挖掘、信息提取等經驗者優先。

篇2:廣告業務數據研發工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、廣告各類在線業務的離線數據加工與在線數據服務開發與維護

2、數據服務接口及產品需求研發迭代，代碼review、bug修復及日常服務運維

3、針對海量數據處理和查詢需求，設計適應業務變化的合理的多維數據分析系統架構，滿足多樣性的需求

4、海量日志清洗加工，并抽象出可以多業務復用的數據模型

任職要求：

1、熟悉Hadoop架構和工作原理，精通MapReduce編程；精通Hive，有HQL優化經驗

2、有web服務開發經驗，具備獨立完成模塊開發能力，具備大規模分布式服務設計能力和經驗

3、理解基本的設計模式，能將業務需求快速理解成技術需求

4、熟練使用Mysql，熟練使用ElasticSearch、Druid者優先；熟悉其原理者優先

5、善于溝通，工作積極主動，責任心強，具備良好的團隊協作能力

6、具備良好的問題分析與解決能力，有較強學習能力和邏輯思維能力