職位描述：

崗位職責(zé)：

1.負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)的架構(gòu)設(shè)計(jì)、開(kāi)發(fā)與優(yōu)化；

2.負(fù)責(zé)抓取數(shù)據(jù)的清洗、落地、分析；

3.抓取策略算法的更新維護(hù)，以及確保數(shù)據(jù)抽取準(zhǔn)確、高效。

任職要求：

1.兩年及以上互聯(lián)網(wǎng)或軟件行業(yè)工作經(jīng)驗(yàn)；

2.理解HTTP協(xié)議，熟悉HTML、DOM、XPath；

3.熟悉Linux開(kāi)發(fā)環(huán)境，至少熟悉Python/Go/Java/Node.js中的一種編程語(yǔ)言；

4.有爬蟲(chóng)、信息抽取、文本分類(lèi)、大數(shù)據(jù)處理相關(guān)經(jīng)驗(yàn)優(yōu)先；

5.有自然語(yǔ)言處理、機(jī)器學(xué)習(xí)經(jīng)驗(yàn)優(yōu)先；

6.熟悉瀏覽器內(nèi)核、渲染機(jī)制優(yōu)先；

7.工作認(rèn)真，細(xì)心，有條理，積極性高；良好的溝通能力及團(tuán)隊(duì)合作精神。

篇2:手機(jī)應(yīng)用爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

*負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)

*應(yīng)用多種技術(shù)對(duì)各平臺(tái)進(jìn)行數(shù)據(jù)采集

*設(shè)計(jì)數(shù)據(jù)采集策略，提升數(shù)據(jù)采集效率及質(zhì)量

*與各行業(yè)分析師溝通，分析項(xiàng)目的可行性和討論抓取方案。

*兩年以上爬蟲(chóng)開(kāi)發(fā)相關(guān)經(jīng)驗(yàn)，本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)為佳

*熟練掌握C#或Java開(kāi)發(fā)語(yǔ)言為佳

*了解TCP/IP，HTTP及相關(guān)網(wǎng)絡(luò)協(xié)議

*熟悉JS/HTML/XPATH/Json/正則表達(dá)式等網(wǎng)頁(yè)相關(guān)技術(shù)

*熟悉分布式、多線程、緩存、消息隊(duì)列等互聯(lián)網(wǎng)技術(shù)

*熟悉手機(jī)應(yīng)用的數(shù)據(jù)抓取，手機(jī)app開(kāi)發(fā)經(jīng)驗(yàn)，加/脫殼經(jīng)驗(yàn)為佳

*良好的溝通技能，注重細(xì)節(jié)，抗壓性強(qiáng)

*良好的英語(yǔ)溝通技能為佳

篇3:爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職位誘惑：

全球項(xiàng)目、高薪資、高福利、國(guó)際團(tuán)隊(duì)

職位描述：

if(your_passions.includes('coding')){

switch(your_stacks){

case'Node.js':

case'Python':

case'Kubernetes':

case'Serverless':

console.log('JoinAfterShip');

break;

}

}

崗位職責(zé)

1、負(fù)責(zé)與不同物流公司的系統(tǒng)對(duì)接，使用各種API及爬蟲(chóng)技巧，抓取、分析、調(diào)度、存儲(chǔ)數(shù)據(jù)，為公司業(yè)務(wù)提供正確穩(wěn)定的數(shù)據(jù)；

2、負(fù)責(zé)系統(tǒng)的SLA代碼維護(hù)、秩代更新，保證任務(wù)質(zhì)量和交付及時(shí)性；

3、負(fù)責(zé)編寫(xiě)相關(guān)的技術(shù)文檔、單元測(cè)試，對(duì)產(chǎn)品質(zhì)量負(fù)責(zé)。

崗位要求

1、統(tǒng)招本科及以上學(xué)歷，具備英語(yǔ)讀寫(xiě)能力；

2、熟悉Git/GitHub，通信協(xié)議TCP/HTTP及RESTful標(biāo)準(zhǔn)；

3、一年及以上Python爬蟲(chóng)開(kāi)發(fā)工作經(jīng)驗(yàn)，JavaScript基礎(chǔ)扎實(shí)，有Scrapy等使用經(jīng)驗(yàn)；

4、有MySQL,Redis或MongoDB等相關(guān)數(shù)據(jù)庫(kù)使用經(jīng)驗(yàn)。

加分項(xiàng)

1、有CI/CD自動(dòng)化測(cè)試經(jīng)驗(yàn)；

2、有使用Docker、Kubernetes、AWS或GCP云計(jì)算經(jīng)驗(yàn)；

3、有寫(xiě)B(tài)log的習(xí)慣，活躍技術(shù)社區(qū)，參與開(kāi)源項(xiàng)目等；

4、有代碼潔癖，對(duì)代碼精益求精，對(duì)技術(shù)有極客熱情；

5、有軟件著作權(quán)申請(qǐng)，有專(zhuān)利發(fā)明申請(qǐng)。

為什么加入我們

1、極客氛圍:擁抱開(kāi)源技術(shù)，實(shí)踐敏捷開(kāi)發(fā)；

2、最新技術(shù):Kubernetes,Serverless,TensorFlow,Microservice；

3、特色福利:每天下午茶，學(xué)習(xí)成長(zhǎng)基金,提供MacBookPro；

4、多元文化:團(tuán)隊(duì)來(lái)自全球十幾個(gè)國(guó)家；

5、龍頭企業(yè):海外知名企業(yè)；

6、朝陽(yáng)行業(yè):B2B企業(yè)級(jí)系統(tǒng)，國(guó)際性SaaS平臺(tái)。