資深爬蟲(chóng)工程師職位要求

1、計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，本科及以上學(xué)歷，3年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn)；

2、對(duì)爬蟲(chóng)編程有強(qiáng)烈愛(ài)好，熟練精通掌握至少1種語(yǔ)言java、python，在需要的情況下能快速上手新語(yǔ)言切換；

3、深入理解tpc/ip、http、以及web登錄認(rèn)證的機(jī)制，有成功破解復(fù)雜驗(yàn)證碼的經(jīng)驗(yàn)；

4、有通用分布式爬蟲(chóng)系統(tǒng)架構(gòu)和開(kāi)發(fā)經(jīng)驗(yàn)，能快速部署新的爬蟲(chóng)應(yīng)用；

5、已有2年以上網(wǎng)絡(luò)爬蟲(chóng)或搜索引擎工作經(jīng)驗(yàn)，參與過(guò)大規(guī)模數(shù)據(jù)爬蟲(chóng)優(yōu)先考慮；

6、有APP安全、逆向等領(lǐng)域的經(jīng)驗(yàn)；

7、具有良好的溝通、團(tuán)隊(duì)協(xié)作、計(jì)劃能力，有過(guò)1-2人的團(tuán)隊(duì)管理經(jīng)驗(yàn)。

資深爬蟲(chóng)工程師崗位職責(zé)

1、建設(shè)完善分布式爬蟲(chóng)系統(tǒng)；

2、建立通用的爬蟲(chóng)框架，能夠快速適應(yīng)新的爬蟲(chóng)需求；

3、快速完成對(duì)目標(biāo)資源的數(shù)據(jù)抓取、處理。

篇2:手機(jī)應(yīng)用爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

*負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)

*應(yīng)用多種技術(shù)對(duì)各平臺(tái)進(jìn)行數(shù)據(jù)采集

*設(shè)計(jì)數(shù)據(jù)采集策略，提升數(shù)據(jù)采集效率及質(zhì)量

*與各行業(yè)分析師溝通，分析項(xiàng)目的可行性和討論抓取方案。

*兩年以上爬蟲(chóng)開(kāi)發(fā)相關(guān)經(jīng)驗(yàn)，本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)為佳

*熟練掌握C#或Java開(kāi)發(fā)語(yǔ)言為佳

*了解TCP/IP，HTTP及相關(guān)網(wǎng)絡(luò)協(xié)議

*熟悉JS/HTML/XPATH/Json/正則表達(dá)式等網(wǎng)頁(yè)相關(guān)技術(shù)

*熟悉分布式、多線程、緩存、消息隊(duì)列等互聯(lián)網(wǎng)技術(shù)

*熟悉手機(jī)應(yīng)用的數(shù)據(jù)抓取，手機(jī)app開(kāi)發(fā)經(jīng)驗(yàn)，加/脫殼經(jīng)驗(yàn)為佳

*良好的溝通技能，注重細(xì)節(jié)，抗壓性強(qiáng)

*良好的英語(yǔ)溝通技能為佳

篇3:爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職位誘惑：

全球項(xiàng)目、高薪資、高福利、國(guó)際團(tuán)隊(duì)

職位描述：

if(your_passions.includes('coding')){

switch(your_stacks){

case'Node.js':

case'Python':

case'Kubernetes':

case'Serverless':

console.log('JoinAfterShip');

break;

}

}

崗位職責(zé)

1、負(fù)責(zé)與不同物流公司的系統(tǒng)對(duì)接，使用各種API及爬蟲(chóng)技巧，抓取、分析、調(diào)度、存儲(chǔ)數(shù)據(jù)，為公司業(yè)務(wù)提供正確穩(wěn)定的數(shù)據(jù)；

2、負(fù)責(zé)系統(tǒng)的SLA代碼維護(hù)、秩代更新，保證任務(wù)質(zhì)量和交付及時(shí)性；

3、負(fù)責(zé)編寫(xiě)相關(guān)的技術(shù)文檔、單元測(cè)試，對(duì)產(chǎn)品質(zhì)量負(fù)責(zé)。

崗位要求

1、統(tǒng)招本科及以上學(xué)歷，具備英語(yǔ)讀寫(xiě)能力；

2、熟悉Git/GitHub，通信協(xié)議TCP/HTTP及RESTful標(biāo)準(zhǔn)；

3、一年及以上Python爬蟲(chóng)開(kāi)發(fā)工作經(jīng)驗(yàn)，JavaScript基礎(chǔ)扎實(shí)，有Scrapy等使用經(jīng)驗(yàn)；

4、有MySQL,Redis或MongoDB等相關(guān)數(shù)據(jù)庫(kù)使用經(jīng)驗(yàn)。

加分項(xiàng)

1、有CI/CD自動(dòng)化測(cè)試經(jīng)驗(yàn)；

2、有使用Docker、Kubernetes、AWS或GCP云計(jì)算經(jīng)驗(yàn)；

3、有寫(xiě)B(tài)log的習(xí)慣，活躍技術(shù)社區(qū)，參與開(kāi)源項(xiàng)目等；

4、有代碼潔癖，對(duì)代碼精益求精，對(duì)技術(shù)有極客熱情；

5、有軟件著作權(quán)申請(qǐng)，有專(zhuān)利發(fā)明申請(qǐng)。

為什么加入我們

1、極客氛圍:擁抱開(kāi)源技術(shù)，實(shí)踐敏捷開(kāi)發(fā)；

2、最新技術(shù):Kubernetes,Serverless,TensorFlow,Microservice；

3、特色福利:每天下午茶，學(xué)習(xí)成長(zhǎng)基金,提供MacBookPro；

4、多元文化:團(tuán)隊(duì)來(lái)自全球十幾個(gè)國(guó)家；

5、龍頭企業(yè):海外知名企業(yè)；

6、朝陽(yáng)行業(yè):B2B企業(yè)級(jí)系統(tǒng)，國(guó)際性SaaS平臺(tái)。