網絡爬蟲工程師職位描述與崗位職責任職要求
職位描述:
職責描述:
1,負責網絡爬蟲系統的設計與開發
2,對爬取的網頁信息進行數據抽取,清洗和去重等工作
任職要求:
1、2年及以上網絡爬蟲開發經驗,本科及大專學歷,計算機相關專業,
2、積極、溝通順暢,工作認真負責
3、扎實的編程能力,熟悉常用算法和數據結構等基礎知識
4、熟練掌握開發語言Java或C/C++,熟悉腳本語言和正則表達式
篇2:手機應用爬蟲工程師職位描述與崗位職責任職要求
職位描述:
*負責設計和開發分布式網絡爬蟲系統
*應用多種技術對各平臺進行數據采集
*設計數據采集策略,提升數據采集效率及質量
*與各行業分析師溝通,分析項目的可行性和討論抓取方案。
*兩年以上爬蟲開發相關經驗,本科及以上學歷,計算機相關專業為佳
*熟練掌握C#或Java開發語言為佳
*了解TCP/IP,HTTP及相關網絡協議
*熟悉JS/HTML/XPATH/Json/正則表達式等網頁相關技術
*熟悉分布式、多線程、緩存、消息隊列等互聯網技術
*熟悉手機應用的數據抓取,手機app開發經驗,加/脫殼經驗為佳
*良好的溝通技能,注重細節,抗壓性強
*良好的英語溝通技能為佳
篇3:爬蟲工程師職位描述與崗位職責任職要求
職位描述:
職位誘惑:
全球項目、高薪資、高福利、國際團隊
職位描述:
if(your_passions.includes('coding')){
switch(your_stacks){
case'Node.js':
case'Python':
case'Kubernetes':
case'Serverless':
console.log('JoinAfterShip');
break;
}
}
崗位職責
1、負責與不同物流公司的系統對接,使用各種API及爬蟲技巧,抓取、分析、調度、存儲數據,為公司業務提供正確穩定的數據;
2、負責系統的SLA代碼維護、秩代更新,保證任務質量和交付及時性;
3、負責編寫相關的技術文檔、單元測試,對產品質量負責。
崗位要求
1、統招本科及以上學歷,具備英語讀寫能力;
2、熟悉Git/GitHub,通信協議TCP/HTTP及RESTful標準;
3、一年及以上Python爬蟲開發工作經驗,JavaScript基礎扎實,有Scrapy等使用經驗;
4、有MySQL,Redis或MongoDB等相關數據庫使用經驗。
加分項
1、有CI/CD自動化測試經驗;
2、有使用Docker、Kubernetes、AWS或GCP云計算經驗;
3、有寫Blog的習慣,活躍技術社區,參與開源項目等;
4、有代碼潔癖,對代碼精益求精,對技術有極客熱情;
5、有軟件著作權申請,有專利發明申請。
為什么加入我們
1、極客氛圍:擁抱開源技術,實踐敏捷開發;
2、最新技術:Kubernetes,Serverless,TensorFlow,Microservice;
3、特色福利:每天下午茶,學習成長基金,提供MacBookPro;
4、多元文化:團隊來自全球十幾個國家;
5、龍頭企業:海外知名企業;
6、朝陽行業:B2B企業級系統,國際性SaaS平臺。