首頁 > 制度大全 > 資深爬蟲工程師崗位職責及職位要求

資深爬蟲工程師崗位職責及職位要求

2024-07-27 閱讀 6830

資深爬蟲工程師職位要求

1、計算機相關專業,本科及以上學歷,3年以上爬蟲相關工作經驗;

2、對爬蟲編程有強烈愛好,熟練精通掌握至少1種語言java、python,在需要的情況下能快速上手新語言切換;

3、深入理解tpc/ip、http、以及web登錄認證的機制,有成功破解復雜驗證碼的經驗;

4、有通用分布式爬蟲系統架構和開發經驗,能快速部署新的爬蟲應用;

5、已有2年以上網絡爬蟲或搜索引擎工作經驗,參與過大規模數據爬蟲優先考慮;

6、有APP安全、逆向等領域的經驗;

7、具有良好的溝通、團隊協作、計劃能力,有過1-2人的團隊管理經驗。

資深爬蟲工程師崗位職責

1、建設完善分布式爬蟲系統;

2、建立通用的爬蟲框架,能夠快速適應新的爬蟲需求;

3、快速完成對目標資源的數據抓取、處理。

篇2:手機應用爬蟲工程師職位描述與崗位職責任職要求

職位描述

*負責設計和開發分布式網絡爬蟲系統

*應用多種技術對各平臺進行數據采集

*設計數據采集策略,提升數據采集效率及質量

*與各行業分析師溝通,分析項目的可行性和討論抓取方案。

*兩年以上爬蟲開發相關經驗,本科及以上學歷,計算機相關專業為佳

*熟練掌握C#或Java開發語言為佳

*了解TCP/IP,HTTP及相關網絡協議

*熟悉JS/HTML/XPATH/Json/正則表達式等網頁相關技術

*熟悉分布式、多線程、緩存、消息隊列等互聯網技術

*熟悉手機應用的數據抓取,手機app開發經驗,加/脫殼經驗為佳

*良好的溝通技能,注重細節,抗壓性強

*良好的英語溝通技能為佳

篇3:爬蟲工程師職位描述與崗位職責任職要求

職位描述

職位誘惑:

全球項目、高薪資、高福利、國際團隊

職位描述

if(your_passions.includes('coding')){

switch(your_stacks){

case'Node.js':

case'Python':

case'Kubernetes':

case'Serverless':

console.log('JoinAfterShip');

break;

}

}

崗位職責

1、負責與不同物流公司的系統對接,使用各種API及爬蟲技巧,抓取、分析、調度、存儲數據,為公司業務提供正確穩定的數據;

2、負責系統的SLA代碼維護、秩代更新,保證任務質量和交付及時性;

3、負責編寫相關的技術文檔、單元測試,對產品質量負責。

崗位要求

1、統招本科及以上學歷,具備英語讀寫能力;

2、熟悉Git/GitHub,通信協議TCP/HTTP及RESTful標準;

3、一年及以上Python爬蟲開發工作經驗,JavaScript基礎扎實,有Scrapy等使用經驗;

4、有MySQL,Redis或MongoDB等相關數據庫使用經驗。

加分項

1、有CI/CD自動化測試經驗;

2、有使用Docker、Kubernetes、AWS或GCP云計算經驗;

3、有寫Blog的習慣,活躍技術社區,參與開源項目等;

4、有代碼潔癖,對代碼精益求精,對技術有極客熱情;

5、有軟件著作權申請,有專利發明申請。

為什么加入我們

1、極客氛圍:擁抱開源技術,實踐敏捷開發;

2、最新技術:Kubernetes,Serverless,TensorFlow,Microservice;

3、特色福利:每天下午茶,學習成長基金,提供MacBookPro;

4、多元文化:團隊來自全球十幾個國家;

5、龍頭企業:海外知名企業;

6、朝陽行業:B2B企業級系統,國際性SaaS平臺。