職位描述：

職責描述：

1.參與爬蟲系統(tǒng)的架構設計與開發(fā)；

2.負責執(zhí)行和開發(fā)分布式網(wǎng)絡爬蟲系統(tǒng)，進行多平臺信息的抓取和分析；

3.負責網(wǎng)頁信息和APP數(shù)據(jù)抽取、清洗、消重等工作，提升平臺的抓取效率；

4.參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調度策略；

5.實時監(jiān)控爬蟲的進度和警報反饋。

任職要求：

1.本科以上學歷，3年以上爬蟲開發(fā)相關經(jīng)驗，熟練使用Python或Java進行開發(fā)；

2.熟練使用正則表達式、csspath、xpath等，能夠從結構化的和非結構化的數(shù)據(jù)中獲取信息；

3.熟練使用MySQL數(shù)據(jù)庫，掌握redis、mongodb、hive等常用nosql技術并具有實戰(zhàn)經(jīng)驗；

4.熟悉各種抓取技術，包括代理、PhantomJS/selenium、驗證碼處理；

5.熟悉整個爬蟲的設計及實現(xiàn)流程，有從事網(wǎng)絡爬蟲、網(wǎng)頁信息抽取開發(fā)經(jīng)驗，熟悉反爬蟲技術，有分布式爬蟲架構經(jīng)驗；

6.具有數(shù)據(jù)挖掘、自然語言處理、信息檢索、機器學習背景者優(yōu)先；

7.快速學習能力，工作積極主動，有創(chuàng)業(yè)熱情和良好的團隊協(xié)助能力；

8.需要有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗，沒有相關經(jīng)驗的勿擾。

篇2:手機應用爬蟲工程師職位描述與崗位職責任職要求

職位描述：

*負責設計和開發(fā)分布式網(wǎng)絡爬蟲系統(tǒng)

*應用多種技術對各平臺進行數(shù)據(jù)采集

*設計數(shù)據(jù)采集策略，提升數(shù)據(jù)采集效率及質量

*與各行業(yè)分析師溝通，分析項目的可行性和討論抓取方案。

*兩年以上爬蟲開發(fā)相關經(jīng)驗，本科及以上學歷，計算機相關專業(yè)為佳

*熟練掌握C#或Java開發(fā)語言為佳

*了解TCP/IP，HTTP及相關網(wǎng)絡協(xié)議

*熟悉JS/HTML/XPATH/Json/正則表達式等網(wǎng)頁相關技術

*熟悉分布式、多線程、緩存、消息隊列等互聯(lián)網(wǎng)技術

*熟悉手機應用的數(shù)據(jù)抓取，手機app開發(fā)經(jīng)驗，加/脫殼經(jīng)驗為佳

*良好的溝通技能，注重細節(jié)，抗壓性強

*良好的英語溝通技能為佳

篇3:爬蟲工程師職位描述與崗位職責任職要求

職位描述：

職位誘惑：

全球項目、高薪資、高福利、國際團隊

職位描述：

if(your_passions.includes('coding')){

switch(your_stacks){

case'Node.js':

case'Python':

case'Kubernetes':

case'Serverless':

console.log('JoinAfterShip');

break;

}

}

崗位職責

1、負責與不同物流公司的系統(tǒng)對接，使用各種API及爬蟲技巧，抓取、分析、調度、存儲數(shù)據(jù)，為公司業(yè)務提供正確穩(wěn)定的數(shù)據(jù)；

2、負責系統(tǒng)的SLA代碼維護、秩代更新，保證任務質量和交付及時性；

3、負責編寫相關的技術文檔、單元測試，對產(chǎn)品質量負責。

崗位要求

1、統(tǒng)招本科及以上學歷，具備英語讀寫能力；

2、熟悉Git/GitHub，通信協(xié)議TCP/HTTP及RESTful標準；

3、一年及以上Python爬蟲開發(fā)工作經(jīng)驗，JavaScript基礎扎實，有Scrapy等使用經(jīng)驗；

4、有MySQL,Redis或MongoDB等相關數(shù)據(jù)庫使用經(jīng)驗。

加分項

1、有CI/CD自動化測試經(jīng)驗；

2、有使用Docker、Kubernetes、AWS或GCP云計算經(jīng)驗；

3、有寫B(tài)log的習慣，活躍技術社區(qū)，參與開源項目等；

4、有代碼潔癖，對代碼精益求精，對技術有極客熱情；

5、有軟件著作權申請，有專利發(fā)明申請。

為什么加入我們

1、極客氛圍:擁抱開源技術，實踐敏捷開發(fā)；

2、最新技術:Kubernetes,Serverless,TensorFlow,Microservice；

3、特色福利:每天下午茶，學習成長基金,提供MacBookPro；

4、多元文化:團隊來自全球十幾個國家；

5、龍頭企業(yè):海外知名企業(yè)；

6、朝陽行業(yè):B2B企業(yè)級系統(tǒng)，國際性SaaS平臺。