首頁 > 制度大全 > 高級Python工程師/爬蟲/Spider職位描述與崗位職責任職要求

高級Python工程師/爬蟲/Spider職位描述與崗位職責任職要求

2024-07-26 閱讀 5425

職位描述

工作內容:

1、基礎系統架構、模塊、庫和組件的研發;

2、分布式海量數據存儲和分析系統的研發和調優;

3、統計分析、報表、SaaS業務等系統研發;

4、CRM、財務結算、工作流等內部管理系統的研發。

能力要求:

1、至少使用PHP/Java/Python等一門以上語言,開發過不算太小的項目;

2、熟悉數據結構、DB、OS、Web開發等相關知識,對Linux相關的各類技術情有獨鐘;

3、有大規模、高性能互聯網網站系統相關的設計和開發經驗者優先;

4、具備良好的學習能力和成長潛力,渴望和團隊一起快速成長。

篇2:手機應用爬蟲工程師職位描述與崗位職責任職要求

職位描述

*負責設計和開發分布式網絡爬蟲系統

*應用多種技術對各平臺進行數據采集

*設計數據采集策略,提升數據采集效率及質量

*與各行業分析師溝通,分析項目的可行性和討論抓取方案。

*兩年以上爬蟲開發相關經驗,本科及以上學歷,計算機相關專業為佳

*熟練掌握C#或Java開發語言為佳

*了解TCP/IP,HTTP及相關網絡協議

*熟悉JS/HTML/XPATH/Json/正則表達式等網頁相關技術

*熟悉分布式、多線程、緩存、消息隊列等互聯網技術

*熟悉手機應用的數據抓取,手機app開發經驗,加/脫殼經驗為佳

*良好的溝通技能,注重細節,抗壓性強

*良好的英語溝通技能為佳

篇3:爬蟲工程師職位描述與崗位職責任職要求

職位描述

職位誘惑:

全球項目、高薪資、高福利、國際團隊

職位描述

if(your_passions.includes('coding')){

switch(your_stacks){

case'Node.js':

case'Python':

case'Kubernetes':

case'Serverless':

console.log('JoinAfterShip');

break;

}

}

崗位職責

1、負責與不同物流公司的系統對接,使用各種API及爬蟲技巧,抓取、分析、調度、存儲數據,為公司業務提供正確穩定的數據;

2、負責系統的SLA代碼維護、秩代更新,保證任務質量和交付及時性;

3、負責編寫相關的技術文檔、單元測試,對產品質量負責。

崗位要求

1、統招本科及以上學歷,具備英語讀寫能力;

2、熟悉Git/GitHub,通信協議TCP/HTTP及RESTful標準;

3、一年及以上Python爬蟲開發工作經驗,JavaScript基礎扎實,有Scrapy等使用經驗;

4、有MySQL,Redis或MongoDB等相關數據庫使用經驗。

加分項

1、有CI/CD自動化測試經驗;

2、有使用Docker、Kubernetes、AWS或GCP云計算經驗;

3、有寫Blog的習慣,活躍技術社區,參與開源項目等;

4、有代碼潔癖,對代碼精益求精,對技術有極客熱情;

5、有軟件著作權申請,有專利發明申請。

為什么加入我們

1、極客氛圍:擁抱開源技術,實踐敏捷開發;

2、最新技術:Kubernetes,Serverless,TensorFlow,Microservice;

3、特色福利:每天下午茶,學習成長基金,提供MacBookPro;

4、多元文化:團隊來自全球十幾個國家;

5、龍頭企業:海外知名企業;

6、朝陽行業:B2B企業級系統,國際性SaaS平臺。