python爬蟲工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、負(fù)責(zé)設(shè)計(jì)和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進(jìn)行多平臺(tái)信息的抓取和分析工作；
2、負(fù)責(zé)網(wǎng)頁(yè)信息和APP數(shù)據(jù)抽取、清洗、消重等工作，提升平臺(tái)的抓取效率；
3、參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；
4、實(shí)時(shí)監(jiān)控爬蟲的進(jìn)度和警報(bào)反饋。
任職要求：
1、有扎實(shí)的算法和數(shù)據(jù)結(jié)構(gòu)能力；
2、熟悉爬蟲原理，熟悉常見的反爬蟲技術(shù)，有爬蟲相關(guān)項(xiàng)目開發(fā)經(jīng)驗(yàn)者優(yōu)先；
3、掌握http協(xié)議，熟悉html、dom、xpath等常見的數(shù)據(jù)抽取技術(shù)；
4、有大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)挖掘、信息提取等經(jīng)驗(yàn)者優(yōu)先。
篇2:手機(jī)應(yīng)用爬蟲工程師職位描述與崗位職責(zé)任職要求
職位描述：
*負(fù)責(zé)設(shè)計(jì)和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)
*應(yīng)用多種技術(shù)對(duì)各平臺(tái)進(jìn)行數(shù)據(jù)采集
*設(shè)計(jì)數(shù)據(jù)采集策略，提升數(shù)據(jù)采集效率及質(zhì)量
*與各行業(yè)分析師溝通，分析項(xiàng)目的可行性和討論抓取方案。
*兩年以上爬蟲開發(fā)相關(guān)經(jīng)驗(yàn)，本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)為佳
*熟練掌握C#或Java開發(fā)語(yǔ)言為佳
*了解TCP/IP，HTTP及相關(guān)網(wǎng)絡(luò)協(xié)議
*熟悉JS/HTML/XPATH/Json/正則表達(dá)式等網(wǎng)頁(yè)相關(guān)技術(shù)
*熟悉分布式、多線程、緩存、消息隊(duì)列等互聯(lián)網(wǎng)技術(shù)
*熟悉手機(jī)應(yīng)用的數(shù)據(jù)抓取，手機(jī)app開發(fā)經(jīng)驗(yàn)，加/脫殼經(jīng)驗(yàn)為佳
*良好的溝通技能，注重細(xì)節(jié)，抗壓性強(qiáng)
*良好的英語(yǔ)溝通技能為佳
篇3:爬蟲工程師職位描述與崗位職責(zé)任職要求
職位描述：
職位誘惑：
全球項(xiàng)目、高薪資、高福利、國(guó)際團(tuán)隊(duì)
職位描述：
if(your_passions.includes('coding')){
switch(your_stacks){
case'Node.js':
case'Python':
case'Kubernetes':
case'Serverless':
console.log('JoinAfterShip');
break;
}
}
崗位職責(zé)
1、負(fù)責(zé)與不同物流公司的系統(tǒng)對(duì)接，使用各種API及爬蟲技巧，抓取、分析、調(diào)度、存儲(chǔ)數(shù)據(jù)，為公司業(yè)務(wù)提供正確穩(wěn)定的數(shù)據(jù)；
2、負(fù)責(zé)系統(tǒng)的SLA代碼維護(hù)、秩代更新，保證任務(wù)質(zhì)量和交付及時(shí)性；
3、負(fù)責(zé)編寫相關(guān)的技術(shù)文檔、單元測(cè)試，對(duì)產(chǎn)品質(zhì)量負(fù)責(zé)。
崗位要求
1、統(tǒng)招本科及以上學(xué)歷，具備英語(yǔ)讀寫能力；
2、熟悉Git/GitHub，通信協(xié)議TCP/HTTP及RESTful標(biāo)準(zhǔn)；
3、一年及以上Python爬蟲開發(fā)工作經(jīng)驗(yàn)，JavaScript基礎(chǔ)扎實(shí)，有Scrapy等使用經(jīng)驗(yàn)；
4、有MySQL,Redis或MongoDB等相關(guān)數(shù)據(jù)庫(kù)使用經(jīng)驗(yàn)。
加分項(xiàng)
1、有CI/CD自動(dòng)化測(cè)試經(jīng)驗(yàn)；
2、有使用Docker、Kubernetes、AWS或GCP云計(jì)算經(jīng)驗(yàn)；
3、有寫B(tài)log的習(xí)慣，活躍技術(shù)社區(qū)，參與開源項(xiàng)目等；
4、有代碼潔癖，對(duì)代碼精益求精，對(duì)技術(shù)有極客熱情；
5、有軟件著作權(quán)申請(qǐng)，有專利發(fā)明申請(qǐng)。
為什么加入我們
1、極客氛圍:擁抱開源技術(shù)，實(shí)踐敏捷開發(fā)；
2、最新技術(shù):Kubernetes,Serverless,TensorFlow,Microservice；
3、特色福利:每天下午茶，學(xué)習(xí)成長(zhǎng)基金,提供MacBookPro；
4、多元文化:團(tuán)隊(duì)來(lái)自全球十幾個(gè)國(guó)家；
5、龍頭企業(yè):海外知名企業(yè)；
6、朝陽(yáng)行業(yè):B2B企業(yè)級(jí)系統(tǒng)，國(guó)際性SaaS平臺(tái)。