高級(jí)爬蟲開發(fā)工程師職責(zé)描述:

1、負(fù)責(zé)公司產(chǎn)品的爬蟲架構(gòu)設(shè)計(jì)與開發(fā),以及爬蟲策略優(yōu)化等工作;

2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負(fù)責(zé)對(duì)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲(chǔ)等設(shè)計(jì)開發(fā)工作;

任職要求:

1、計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)等相關(guān)專業(yè)本科及以上學(xué)歷,1年以上爬蟲相關(guān)工作經(jīng)驗(yàn);

2、熟悉linux平臺(tái),熟練掌握Python或JAVA爬蟲開發(fā)工作;

3、熟悉靜態(tài)、動(dòng)態(tài)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲(chǔ)等技術(shù);

4、有反爬相關(guān)問題處理經(jīng)驗(yàn),精通常用的爬蟲技術(shù)及架構(gòu)設(shè)計(jì),并能快速開發(fā)實(shí)現(xiàn);

5、具備良好的編程習(xí)慣和算法基礎(chǔ);

6、善于學(xué)習(xí),熱愛技術(shù)開發(fā),善于團(tuán)隊(duì)協(xié)作,能積極主動(dòng)地參與公司產(chǎn)品研發(fā)等相關(guān)工作。職責(zé)描述:

1、負(fù)責(zé)公司產(chǎn)品的爬蟲架構(gòu)設(shè)計(jì)與開發(fā),以及爬蟲策略優(yōu)化等工作;

2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負(fù)責(zé)對(duì)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲(chǔ)等設(shè)計(jì)開發(fā)工作;

任職要求:

1、計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)等相關(guān)專業(yè)本科及以上學(xué)歷,1年以上爬蟲相關(guān)工作經(jīng)驗(yàn);

2、熟悉linux平臺(tái),熟練掌握Python或JAVA爬蟲開發(fā)工作;

3、熟悉靜態(tài)、動(dòng)態(tài)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲(chǔ)等技術(shù);

4、有反爬相關(guān)問題處理經(jīng)驗(yàn),精通常用的爬蟲技術(shù)及架構(gòu)設(shè)計(jì),并能快速開發(fā)實(shí)現(xiàn);

5、具備良好的編程習(xí)慣和算法基礎(chǔ);

6、善于學(xué)習(xí),熱愛技術(shù)開發(fā),善于團(tuán)隊(duì)協(xié)作,能積極主動(dòng)地參與公司產(chǎn)品研發(fā)等相關(guān)工作。

篇2:手機(jī)應(yīng)用爬蟲工程師職位描述與崗位職責(zé)任職要求

職位描述：

*負(fù)責(zé)設(shè)計(jì)和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)

*應(yīng)用多種技術(shù)對(duì)各平臺(tái)進(jìn)行數(shù)據(jù)采集

*設(shè)計(jì)數(shù)據(jù)采集策略，提升數(shù)據(jù)采集效率及質(zhì)量

*與各行業(yè)分析師溝通，分析項(xiàng)目的可行性和討論抓取方案。

*兩年以上爬蟲開發(fā)相關(guān)經(jīng)驗(yàn)，本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)為佳

*熟練掌握C#或Java開發(fā)語言為佳

*了解TCP/IP，HTTP及相關(guān)網(wǎng)絡(luò)協(xié)議

*熟悉JS/HTML/XPATH/Json/正則表達(dá)式等網(wǎng)頁(yè)相關(guān)技術(shù)

*熟悉分布式、多線程、緩存、消息隊(duì)列等互聯(lián)網(wǎng)技術(shù)

*熟悉手機(jī)應(yīng)用的數(shù)據(jù)抓取，手機(jī)app開發(fā)經(jīng)驗(yàn)，加/脫殼經(jīng)驗(yàn)為佳

*良好的溝通技能，注重細(xì)節(jié)，抗壓性強(qiáng)

*良好的英語溝通技能為佳

篇3:爬蟲工程師職位描述與崗位職責(zé)任職要求

職位描述：

職位誘惑：

全球項(xiàng)目、高薪資、高福利、國(guó)際團(tuán)隊(duì)

職位描述：

if(your_passions.includes('coding')){

switch(your_stacks){

case'Node.js':

case'Python':

case'Kubernetes':

case'Serverless':

console.log('JoinAfterShip');

break;

}

}

崗位職責(zé)

1、負(fù)責(zé)與不同物流公司的系統(tǒng)對(duì)接，使用各種API及爬蟲技巧，抓取、分析、調(diào)度、存儲(chǔ)數(shù)據(jù)，為公司業(yè)務(wù)提供正確穩(wěn)定的數(shù)據(jù)；

2、負(fù)責(zé)系統(tǒng)的SLA代碼維護(hù)、秩代更新，保證任務(wù)質(zhì)量和交付及時(shí)性；

3、負(fù)責(zé)編寫相關(guān)的技術(shù)文檔、單元測(cè)試，對(duì)產(chǎn)品質(zhì)量負(fù)責(zé)。

崗位要求

1、統(tǒng)招本科及以上學(xué)歷，具備英語讀寫能力；

2、熟悉Git/GitHub，通信協(xié)議TCP/HTTP及RESTful標(biāo)準(zhǔn)；

3、一年及以上Python爬蟲開發(fā)工作經(jīng)驗(yàn)，JavaScript基礎(chǔ)扎實(shí)，有Scrapy等使用經(jīng)驗(yàn)；

4、有MySQL,Redis或MongoDB等相關(guān)數(shù)據(jù)庫(kù)使用經(jīng)驗(yàn)。

加分項(xiàng)

1、有CI/CD自動(dòng)化測(cè)試經(jīng)驗(yàn)；

2、有使用Docker、Kubernetes、AWS或GCP云計(jì)算經(jīng)驗(yàn)；

3、有寫B(tài)log的習(xí)慣，活躍技術(shù)社區(qū)，參與開源項(xiàng)目等；

4、有代碼潔癖，對(duì)代碼精益求精，對(duì)技術(shù)有極客熱情；

5、有軟件著作權(quán)申請(qǐng)，有專利發(fā)明申請(qǐng)。

為什么加入我們

1、極客氛圍:擁抱開源技術(shù)，實(shí)踐敏捷開發(fā)；

2、最新技術(shù):Kubernetes,Serverless,TensorFlow,Microservice；

3、特色福利:每天下午茶，學(xué)習(xí)成長(zhǎng)基金,提供MacBookPro；

4、多元文化:團(tuán)隊(duì)來自全球十幾個(gè)國(guó)家；

5、龍頭企業(yè):海外知名企業(yè)；

6、朝陽(yáng)行業(yè):B2B企業(yè)級(jí)系統(tǒng)，國(guó)際性SaaS平臺(tái)。