職位描述:職位描述:1、負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng),進(jìn)行多平臺(tái)信息的抓取和分析2、設(shè)計(jì)爬蟲(chóng)策略和防屏蔽規(guī)則,提升網(wǎng)頁(yè)抓取的效率和質(zhì)量3、負(fù)責(zé)網(wǎng)頁(yè)信息抽取、數(shù)據(jù)清洗等研發(fā)和優(yōu)化工作4、負(fù)責(zé)抓取數(shù)據(jù)的深度提取和挖掘。任職要求:1、熟悉linux平臺(tái)開(kāi)發(fā),5年以上java開(kāi)發(fā)經(jīng)驗(yàn)2、精通信息抓取和整合技術(shù),從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息,掌握正則表達(dá)式3、熟悉多線程、多進(jìn)程、網(wǎng)絡(luò)通信編程相關(guān)知識(shí)4、2年以上大規(guī)模網(wǎng)頁(yè)爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)熟悉js,ajax,網(wǎng)頁(yè)消重5、能夠總結(jié)分析不同網(wǎng)站,網(wǎng)頁(yè)的結(jié)構(gòu)特點(diǎn)及規(guī)律6、熟悉httpclient、htmlparser、jsoup、lucene、nutch中的一種或多種開(kāi)源技術(shù)7、必須有分布式爬蟲(chóng)架構(gòu)經(jīng)驗(yàn)8、有通用/垂直/開(kāi)放平臺(tái)/app領(lǐng)域爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先9、熟悉mysql,oracle等數(shù)據(jù)庫(kù)應(yīng)用,有nosql實(shí)際使用經(jīng)驗(yàn)者優(yōu)先

篇2:網(wǎng)絡(luò)系統(tǒng)架構(gòu)崗位職責(zé)網(wǎng)絡(luò)系統(tǒng)架構(gòu)職責(zé)任職要求

網(wǎng)絡(luò)系統(tǒng)架構(gòu)崗位職責(zé)

網(wǎng)絡(luò)系統(tǒng)集成架構(gòu)師世紀(jì)互聯(lián)北京世紀(jì)互聯(lián)寬帶數(shù)據(jù)中心有限公司任職資格:任職資格:

1.良好的溝通技能,團(tuán)隊(duì)協(xié)作能力

2.熟悉常用的互聯(lián)網(wǎng)開(kāi)源技術(shù),如負(fù)載均衡,反向代理,緩存,數(shù)據(jù)庫(kù),存儲(chǔ),CDN等

3.3年以上互聯(lián)網(wǎng)企業(yè)運(yùn)維經(jīng)驗(yàn),有具體項(xiàng)目實(shí)施經(jīng)驗(yàn)

4.熟悉TCP/IP,網(wǎng)絡(luò)運(yùn)維,可以通過(guò)抓包分析,排查及優(yōu)化網(wǎng)絡(luò)問(wèn)題

5.熟悉主流網(wǎng)絡(luò)設(shè)備配置及調(diào)試

6.熟練使用腳本

7.思路開(kāi)闊,創(chuàng)新能力強(qiáng),對(duì)新技術(shù)持有敏感性

8.由內(nèi)核編譯經(jīng)驗(yàn)優(yōu)先

9.可以接受適度加班

工作職責(zé):崗位職責(zé):

1.基于Linux,規(guī)劃整體系統(tǒng)平臺(tái)架構(gòu)設(shè)計(jì)(大數(shù)據(jù)量,高并發(fā),高可用,災(zāi)備等),參與需求分析,技術(shù)決策

2.優(yōu)化現(xiàn)有系統(tǒng)性能,解決系統(tǒng)核心及關(guān)鍵問(wèn)題

3.網(wǎng)絡(luò)優(yōu)化及故障排查

4.知識(shí)庫(kù)及實(shí)施文檔撰寫(xiě)及維護(hù)

5.分配的其他任務(wù)