資深爬蟲工程師崗位職責及職位要求
資深爬蟲工程師職位要求
1、計算機相關專業,本科及以上學歷,3年以上爬蟲相關工作經驗;
2、對爬蟲編程有強烈愛好,熟練精通掌握至少1種語言java、python,在需要的情況下能快速上手新語言切換;
3、深入理解tpc/ip、http、以及web登錄認證的機制,有成功破解復雜驗證碼的經驗;
4、有通用分布式爬蟲系統架構和開發經驗,能快速部署新的爬蟲應用;
5、已有2年以上網絡爬蟲或搜索引擎工作經驗,參與過大規模數據爬蟲優先考慮;
6、有APP安全、逆向等領域的經驗;
7、具有良好的溝通、團隊協作、計劃能力,有過1-2人的團隊管理經驗。
資深爬蟲工程師崗位職責
1、建設完善分布式爬蟲系統;
2、建立通用的爬蟲框架,能夠快速適應新的爬蟲需求;
3、快速完成對目標資源的數據抓取、處理。
篇2:手機應用爬蟲工程師職位描述與崗位職責任職要求
職位描述:
*負責設計和開發分布式網絡爬蟲系統
*應用多種技術對各平臺進行數據采集
*設計數據采集策略,提升數據采集效率及質量
*與各行業分析師溝通,分析項目的可行性和討論抓取方案。
*兩年以上爬蟲開發相關經驗,本科及以上學歷,計算機相關專業為佳
*熟練掌握C#或Java開發語言為佳
*了解TCP/IP,HTTP及相關網絡協議
*熟悉JS/HTML/XPATH/Json/正則表達式等網頁相關技術
*熟悉分布式、多線程、緩存、消息隊列等互聯網技術
*熟悉手機應用的數據抓取,手機app開發經驗,加/脫殼經驗為佳
*良好的溝通技能,注重細節,抗壓性強
*良好的英語溝通技能為佳
篇3:爬蟲工程師職位描述與崗位職責任職要求
職位描述:
職位誘惑:
全球項目、高薪資、高福利、國際團隊
職位描述:
if(your_passions.includes('coding')){
switch(your_stacks){
case'Node.js':
case'Python':
case'Kubernetes':
case'Serverless':
console.log('JoinAfterShip');
break;
}
}
崗位職責
1、負責與不同物流公司的系統對接,使用各種API及爬蟲技巧,抓取、分析、調度、存儲數據,為公司業務提供正確穩定的數據;
2、負責系統的SLA代碼維護、秩代更新,保證任務質量和交付及時性;
3、負責編寫相關的技術文檔、單元測試,對產品質量負責。
崗位要求
1、統招本科及以上學歷,具備英語讀寫能力;
2、熟悉Git/GitHub,通信協議TCP/HTTP及RESTful標準;
3、一年及以上Python爬蟲開發工作經驗,JavaScript基礎扎實,有Scrapy等使用經驗;
4、有MySQL,Redis或MongoDB等相關數據庫使用經驗。
加分項
1、有CI/CD自動化測試經驗;
2、有使用Docker、Kubernetes、AWS或GCP云計算經驗;
3、有寫Blog的習慣,活躍技術社區,參與開源項目等;
4、有代碼潔癖,對代碼精益求精,對技術有極客熱情;
5、有軟件著作權申請,有專利發明申請。
為什么加入我們
1、極客氛圍:擁抱開源技術,實踐敏捷開發;
2、最新技術:Kubernetes,Serverless,TensorFlow,Microservice;
3、特色福利:每天下午茶,學習成長基金,提供MacBookPro;
4、多元文化:團隊來自全球十幾個國家;
5、龍頭企業:海外知名企業;
6、朝陽行業:B2B企業級系統,國際性SaaS平臺。