人民醫院網絡故障應急措施
人民醫院網絡故障應急措施
一、當科室操作人員在使用系統時發現訪問數據庫速度遲緩、不能進入相應程序、不能保存數據、不能進行網絡拷貝、要檢索數據時較長時間沒有反應等情況,應立即向計算機中心匯報。
二、計算機中心接到科室操作人員信息后,應立即展開調查,先通過自己工作站試驗是否存在相同情況,或查證是否有數據庫鎖表情況、查證是否數據服務器空間已滿。
三、當這些軟件情況都被排除以后,進入機房看交換機指示燈是否全部不再閃動,或閃動很慢,若是則基本上可以斷定是網絡存在問題,這時安排一個人專門打電話通知相關科室關機及對科室來電做解釋工作。
四、采用排除法(限于醫院網絡還是二層結構,沒有相應的網絡偵測軟件),先將與交換機相連的雙絞線逐一拔出,同時觀察交換機指示燈是否閃動正常,逐一拔出除服務器的所有連接終端,若仍不能解決問題,則去拔門診樓的光纖接口,再不通則拔住院樓的光纖接口,一般到此完全可以排除是由哪條線影響到網絡速度,先隔離開這條網線讓其他用戶先使用網絡。所需時間大約需要5分鐘左右。
五、若發現是由門診樓光纖影響,則通知門診系統轉入單機收費,計算機中心人員應到門診交換機處采用同樣排除法逐個拔雙絞線,直到找出是由哪條線路影響到整個網絡。網絡恢復后,各單機系統將數據上載到網絡服務器。時間大約8分鐘
六、若發現是由住院樓光纖影響,則通知住院科室暫時不要使用系統,急需藥品先手工到中心藥房借藥,同樣采用排除法找出是由哪條線路影響網絡速度。時間大約8分鐘
七、找到影響網絡速度的終端工作站,將該工作站關機三分鐘,再開機。發生問題的主要原因是由于這臺工作站在不停發送數據包給服務器,一直得不到服務器響應,所以一直發包,直到把所有的網絡資源全部耗盡。
八、通過這種方法,我們一般可以在15分鐘以內解決各種網絡故障,并對經常發生網絡阻塞的工作站,采用更換更好的網卡、更換連接的HUB,現在發生頻率由以前每周3次降為3個月都不足1次。
九、若在15分鐘不能解決問題,應上報到信息科長,同時告知各病區、科室出現問題的簡要情況及解決方案,30分鐘內仍不能解決問題,應上報到醫院院長,同時通知門診與臨床業務將轉入手工運作,直至網絡恢復。
十、計算機中心應時常與硬件網絡集成商保持較好的聯系,一旦出現交換設備或光纖線路損壞,能及時通知他們以最快速度趕來救援,同時做好線路備份工作。
篇2:銀聯商務生產網絡故障應急預案
銀聯商務*公司生產網絡故障應急預案
第1.1版
銀聯商務網絡室
20**年8月30日
版本控制信息
版本
日期
擬稿和修改
說明
0.00
20**-5-23
初稿
0.01
20**-5-28
增加部分細節
0.02
20**-6-8
增加網控器故障演練
0.03
20**-6-15
將內外網交換機故障合并為同類故障
1.0
20**/8/7
加入故障現象和故障研判
1.1
20**/8/30
補充部分演練的故障現象和故障研判
本文檔中的所有內容為銀聯商務有限公司的機密和專屬所有。未經銀聯商務有限公司的明確書面許可，任何組織或個人不得以任何目的、任何形式及任何手段復制或傳播本文檔部分或全部內容。
目錄
1目的范圍5
2演練目標5
3風險評估5
3.1分公司網絡設備現狀5
3.2風險可控6
4演練實施步驟8
4.1演練時間及參加人員8
4.1.1演練前期準備工作8
4.1.2實施時間8
4.1.3參與人員名單8
4.1.4演練完成后續工作9
4.2演練場景一：生產內網上聯路由器故障9
4.2.1上聯到總公司/當地銀聯網絡的線路出現故障9
4.2.1.1故障現象10
4.2.1.2故障研判10
4.2.1.3演練步驟11
4.2.1.4預期分析12
4.2.1.5結果分析12
4.2.1.6應急處理13
4.2.2上聯到總公司/當地銀聯網絡的設備接口模塊出現故障13
4.2.3上聯到總公司/當地銀聯網絡的設備出現故障13
4.2.3.1故障現象13
4.2.3.2故障研判14
4.2.3.3演練步驟14
4.2.3.4預期分析14
4.2.3.5結果分析15
4.2.3.6應急處理15
4.3演練場景二：交換機故障15
4.3.1主交換機設備故障16
4.3.1.1故障現象16
4.3.1.2故障研判17
4.3.1.3演練步驟17
4.3.1.4預期分析18
4.3.1.5結果分析18
4.3.1.6應急處理19
4.4演練場景三：隔離區防火墻故障20
4.4.1防火墻設備故障20
4.4.1.1故障現象20
4.4.1.2故障研判21
4.4.1.3演練步驟22
4.4.1.4預期分析22
4.4.1.5結果分析22
4.4.1.6應急處理23
4.4.2防火墻與內、外網交換機連接線路(端口)故障23
4.5演練場景四：生產外網下聯路由器故障23
4.5.1外網路由器和商戶間線路故障23
4.5.1.1故障現象23
4.5.1.2故障研判23
4.5.1.3演練步驟24
4.5.1.4預期分析24
4.5.1.5結果分析24
4.5.1.6應急處理25
4.5.2外網路由器設備故障25
4.6演練場景五：網控器切換25
4.6.1主上聯卡故障25
4.6.1.1演練步驟25
4.6.1.2預期分析27
4.6.1.3結果分析27
4.6.1.4應急處理27
4.6.2主電源故障27
4.6.2.1演練步驟27
4.6.2.2預期分析29
4.6.2.3結果分析29
4.6.2.4應急處理29
5附件29
1總則
本預案旨在針對分子公司生產網絡出現故障時，能準確定位故障原因，針對故障原因采取有效措施，短時間內排除故障、恢復交易，最大限度地降低故障對生產造成的影響。
2適用范圍
本預案包括分子公司標準架構生產網的所有設備，主要包括：
1.生產內網上聯路由器故障;
2.生產內、外網交換機故障;
3.隔離區防火墻故障;
4.生產外網下聯路由器故障;
5.網控器上聯卡及電源故障。
3風險評估
3.1分子公司標準架構網絡拓撲
分子公司網絡設備連接如下圖：
3.2影響性評估
如上圖所示，分子公司標準架構的內網路由器、內網交換機、隔離區防火墻、外網交換機、網控器等均采用熱備組成設級高可用，單臺設備發生故障時，業務數據流將自動切換到備用設備，生產交易不會出現長時間中斷。
分子公司外網路由器用于與合作商戶接入，當設備出現故障時，需要手動將商戶接入線路切換至備用路由器，存在一定時間的生產交易中斷。
綜上所述，銀聯商務分子公司標準腳骨生產網絡發生單臺設備故障時，可能會對生產系統交易造成影響，但風險總體是可控的。
4故障場景
4.1應急人員
本預案所涉及的應急人員包括：
崗位名稱
人員姓名
運行監控崗
系統支持崗
網絡支持崗
應用支持崗
4.2場景一：生產內網上聯路由器線路或設備故障
4.2.1上聯到總公司/當地銀聯網絡的線路出現故障
4.2.1.1故障現象
監控崗位
故障詳細內容
運行監控崗
通過NETCOOL短信或者監控界面中的紅色告警信息判斷設備故障。
系統監控崗
網絡監控崗
1)通過遠程telnet11.172.255.1登陸分公司主路由器，telnet登錄成功。
2)通過ping11.172.255.1，ping成功。
3)通過在總公司下聯路由器上ping直連接口11.131.172.2，ping不成功。
4)通過在總公司下聯路由器上shipintbrie
顯示該分公司接口為downdown。
應用支持崗
運行監控崗：NETCOOL告警信息如下
如果出現紅色告警，并顯示線路類型：電信線路：總公司-*分公司
無法ping通
線路編號：NA
報障電話：,則可能該路由器或線路已經出現故障。
網絡運行崗：檢查路由器所有狀態燈，顯示有紅色告警或熄滅。
4.2.1.2故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看總公司監控機netcool告警界面()
發現紅色告警，顯示線路類型：電信線路：總公司-*分公司
無法ping通
線路編號：NA
報障電話：
網絡支持崗
1)通過遠程telnet登陸故障路由器
命令：telnet11.*.255.1
2)通過ping路由器
命令：ping11.*.255.1
3)通過在總公司下聯路由器上ping直連接口
命令：ping11.131.172.2。
4)通過在總公司下聯路由器上查看接口狀態
命令：shipintSerial1/2/0:1
1)telnet登錄成功。
2)ping成功。
3)ping失敗。
4)顯示Serial1/2/0:1isdown,lineprotocolisdown。
判斷為：分公司生產內網上聯路由器_CN*RT01001的通訊線路中斷。
4.2.1.3故障處理步驟
故障處理步驟詳見《銀聯商務*公司生產網絡切換演練實施方案》中對應章節。
4.2.1.4預期分析
正常情況下，去銀聯/總公司的路由會通過主線路傳輸數據，同時通過cdp能看到與總公司/銀聯的網絡設備鄰接關系，當主線路出現故障后，去總公司/銀聯的路由會切換到備線路工作，通過備線路傳輸數據，不會影響交易。
4.2.2上聯到總公司/當地銀聯網絡的設備接口模塊出現故障
故障現象類似4.2.1線路故障，故障的研判、故障處理步驟等與4.2.1一致，在此不做贅述。
4.2.3上聯到總公司/當地銀聯網絡的設備出現故障
首先排除線路的故障，如果確定為上聯路由器設備整機出現故障故障，需要關閉故障路由器上的端口，對設備進行維修或更換。
4.2.3.1故障現象
監控崗位
故障詳細內容
運行監控崗
通過NETCOOL短信或者監控界面中的紅色告警信息判斷設備故障。
系統監控崗
網絡監控崗
1)通過遠程telnet登陸故障路由器，telnet登錄失敗。
2)通過ping路由器，ping不通。
3)使用console口登陸，登陸失敗。
4)檢查路由器所有狀態燈，顯示有紅色告警或熄滅。
應用支持崗
運行監控崗：NETCOOL告警信息如下
如果出現紅色告警，并顯示節點11.*.255.1無法獲取分公司生產內網上聯路由器信息則可能該路由器已經出現故障。
網絡運行崗：檢查路由器所有狀態燈，顯示有紅色告警或熄滅。
4.2.3.2故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看總公司監控機netcool告警界面()
發現紅色告警，顯示節點11.131.255.1無法獲取*分公司生產內網主路由器信息
網絡支持崗
1)通過遠程telnet登陸故障路由器
命令：telnet11.*.255.1
2)通過ping路由器
命令：ping11.*.255.1
3)使用控制線連接到路由器標識有“console”的端口登陸。
4)檢查路由器狀態燈，顯示紅色告警或熄滅。
SYS/SYS
PWR正常為綠色，ACT正常為綠色閃動;當狀態燈為黃色或紅色時故障
1)telnet登錄失敗。
2)ping不通。
3)console口登陸失敗，無法顯示信息。
4)路由器狀態燈顯示紅色告警或熄滅。
判斷為：分公司生產內網上聯路由器_CN*RT01001宕機。
4.2.3.3故障處理步驟
故障處理步驟詳見《銀聯商務*公司生產網絡切換演練實施方案》中對應章節。
4.2.3.4預期分析
正常情況下，去銀聯/總公司的路由會通過主線路傳輸數據，同時通過cdp能看到與總公司/銀聯的網絡設備鄰接關系，當設備出現故障后，去總公司/銀聯的路由會切換到備線路工作，通過備線路傳輸數據，不會影響交易。
4.3場景二：交換機故障
下圖為生產內網核心交換機連接圖：
下圖為生產外網核心交換機連接圖：
4.3.1主交換機設備故障
首先排除線路的故障，如果確定為備用交換機設備整機出現故障故障，需要將備交換機上連接的主機切換到主交換機相應的端口。若確定為主交換機設備整機出現故障，需要將與主交換機互連的上聯主路由器以及其他主機設備切換到備交換機相應的端口上，并觀察備用交換機的工作是否正常。
4.3.1.1故障現象
監控崗位
故障詳細內容
運行監控崗
通過NETCOOL短信或者監控界面中的紅色告警信息判斷設備故障。
系統監控崗
網絡監控崗
1)通過遠程telnet登陸故障交換機，telnet登錄失敗。
2)通過ping11.*.255.3，ping不通。
3)使用console口登陸，登陸失敗。
4)檢查路由器所有狀態燈，顯示有紅色告警或熄滅。
應用支持崗
運行監控崗：NETCOOL告警信息如下
如果出現紅色告警，并顯示節點11.*.255.3無法獲取分公司核心接入交換機信息則可能該交換機已經出現故障。
網絡運行崗：檢查交換機所有狀態燈，顯示有紅色告警或熄滅。
4.3.1.2故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看總公司監控機netcool告警界面()
發現紅色告警，顯示節點11.131.255.3無法獲取*分公司生產內網交換機SW1的信息
網絡支持崗
1)通過遠程telnet登陸故障交換機
命令：telnet11.*.255.3
2)通過ping交換機
命令：ping11.*.255.3
3)使用控制線連接到路由器標識有“console”的端口登陸。
4)檢查交換機狀態燈，顯示紅色告警或熄滅。
SYS/SYS
PWR正常為綠色，ACT正常為綠色閃動;當狀態燈為黃色或紅色時故障
1)telnet登錄失敗。
2)ping不通。
3)console口登陸失敗，無法顯示信息。
4)交換機狀態燈顯示紅色告警或熄滅。
判斷為：分公司生產核心接入交換機_CN*SW01001宕機。
4.3.1.3故障處理步驟
故障處理步驟詳見《銀聯商務*公司生產網絡切換演練實施方案》中對應章節。
4.3.1.4預期分析
對于內網核心交換機，正常情況下，交易在主交換機上傳輸數據，當內網備交換機設備故障時，不會影響交易;
當內網主交換機設備出現故障后，HSRP切換到備交換機為ACTIVE，也會引起防火墻的failover主、備切換，交易也將切換到備交換設備工作，通過備防火墻、備交換機的線路傳輸交易數據，影響交易時間40秒左右。
對于外網核心交換機，正常情況下，商戶通過外網路由設備接入進行交易，當外網交換機出現故障后，根據實際外網連接情況分為兩種：
l未進行外網改造過的，外網設備沒有全互聯的分公司，所有由該路由器接入的單專線商戶交易中斷;
l有進行過外網改造，外網設備有全互聯的分公司，商戶交易可以切換到備交換機上，切換時間約在30～40秒。
4.4故障場景三：隔離區防火墻故障
4.4.1防火墻設備故障
兩臺防火墻以Failover方式工作，與內、外網交換機互連。在工作過程中，與主防火墻互連的內外網主交換機的線路(端口)或防火墻的線路(端口)發生故障時，會引起防火墻主備切換。
4.4.1.1故障現象
4.4.1.2故障現象
監控崗位
故障詳細內容
運行監控崗
通過NETCOOL短信或者監控界面中的紅色告警信息判斷設備故障。
系統監控崗
網絡監控崗
1)通過遠程telnet登陸故障防火墻，telnet登錄失敗
2)通知分公司同事使用console口登陸，登陸失敗。
3)登陸當前active防火墻，使用showfailover命令查看failover狀態是否發生切換。如發現Thishost：SecondaryActive，則failover已經發生切換。
應用支持崗
運行監控崗：NETCOOL告警信息如下
如果出現紅色告警，并顯示無法獲取XX分公司防火墻信息則可能該防火墻已經出現故障。
網絡運行崗：showfailover狀態圖如下
4.4.1.3故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看總公司監控機netcool告警界面()
發現紅色告警，顯示無法獲取XX分公司防火墻信息
網絡支持崗
1)登陸至故障分公司內網交換機SW1，telnet
10.XX.33.5,登陸成功后使用命令showfailover查看已經發生切換，備機已經接管成為Active狀態
2)telnet10.XX.33.6至當前備份防火墻，登陸失敗
3)通知分公司同事使用console線登陸故障防火墻(該防火墻failover的active燈滅)，登陸失敗Failover已經切換至備份防火墻，telnet/console登陸方式都無法登陸
判斷為：分公司核心主防火墻_CNXXFW01001設備故障。
4.4.1.4故障處理步驟
故障處理步驟詳見《銀聯商務XX公司生產網絡切換演練實施方案》中對應章節。
4.4.2防火墻與內、外網交換機連接線路(端口)故障
故障現象與4.4.1防火墻設備故障類似。故障的研判、故障處理步驟等與4.4.1一致，在此不做贅述。
4.5故障場景四：生產外網下聯路由器故障
4.5.1外網路由器和商戶間線路故障
對于商戶有主備雙線接入情況下，雙線中單獨一條線路發生故障的場景。
4.5.1.1故障現象
監控崗位
故障詳細內容
運行監控崗
網管平臺顯示分XXX分公司生產外網XXX商戶無法PING通
系統監控崗
網絡監控崗
1、通過遠程telnet登陸商戶接入路由器，PING商戶互聯線路對端IP地址，PING失敗。
應用支持崗
運行監控崗：NETCOOL告警信息如下
如果出現紅色告警，并顯示無法PING通XXXX分公司XXXX商戶地址。
4.5.1.2故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看總公司監控機netcool告警界面()
顯示分XXX分公司生產外網XXX商戶無法PING通
不同
網絡監控崗
1)通過ping路由器
命令：ping
11.XX.255.7
2)通過ping路由器直連商戶對端
命令：ping11.XX.255.7
1)正常
2)不通
判斷為：分公司網絡區下聯路由器_CNXXRT01003連接商戶通訊線路中斷。
4.5.1.3故障處理步驟
故障處理步驟詳見《銀聯商務XX公司生產網絡切換演練實施方案》中對應章節。
4.5.1.4預期分析
正常情況下，商戶由外網路由器接入銀商網絡進行交易路由，當外網路由器設備故障時，所有與該路由器設備連接的單線路商戶，交易中斷。
4.5.2外網路由器設備故障
故障現象與4.5.1防火墻設備故障類似。故障的研判、故障處理步驟等與4.5.1一致，在此不做贅述。
4.6故障場景五：網控器故障
4.6.1主上聯卡故障
4.6.1.1故障現象
監控崗位
故障詳細內容
運行監控崗
網管PING臺顯示XXX分公司網控上聯卡無法PING通
系統監控崗
網絡監控崗
登陸分公司內網交換機，無法PING通分公司網控上聯卡IP地址。
應用支持崗
運行監控崗：NETCOOL告警信息如下
如果出現紅色告警，并顯示無法PING通XXXX分公司網控上聯卡IP地址。
4.6.1.2故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看總公司監控機netcool告警界面()
顯示分XXX分公司上聯卡無法PING通
不通
網絡監控崗
通過ping分公司NAC
上聯卡
命令：ping11.XX.4.X不通
判斷為：分公司網控器主上聯卡通訊中斷。
4.6.1.3故障處理步驟
故障處理步驟詳見《銀聯商務XX公司生產網絡切換演練實施方案》中對應章節。
4.6.1.4預期分析
此切換操作不會造成交易中斷。
4.6.2主電源故障
4.6.2.1故障現象
監控崗位
故障詳細內容
運行監控崗
網控器主電源指示燈熄滅;
系統監控崗
網絡監控崗
登錄Hypercomview客戶端，觀察到網控器電源告警日志
應用支持崗
判斷為：分公司網控器主電源故障。
4.6.2.2故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看網控器主面板，發現主電源指示燈熄滅
指示燈熄滅
網絡監控崗
登錄Hypercomview客戶端，觀察到網控器電源告警日志，發現日志告警
出現紅色的電源告警
4.6.2.3故障處理步驟
故障處理步驟詳見《銀聯商務XX公司生產網絡切換演練實施方案》中對應章節。
4.6.2.4預期分析
此故障不會造成交易中斷。
5附件
《銀聯商務XX公司生產網絡切換演練實施方案》
篇3:物業公司應急物資準備
物業公司應急物資準備
一、定義
應急物資是指在緊急狀態下人員為了將損失或影響減小而使用的物品和材料。公司處理、應付緊急狀態的準備工作中應急物資的準備是必不可少的環節,應急物資在公共設施、設備既定的前提下,操作人員使用得當能夠將緊急狀態造成的損失減少到最低。
二、分類
(一)應急物資按緊急狀態的使用功能分類如下:
1、工具類:掃把、水桶、鐵鍬、拖把、鐵絲、扳手、老虎鉗、螺絲刀、電筒等
2、警示類:警示標牌、圍合板、圍合線、雪糕桶等
3、監測類:噪音計、秒表、萬用表、搖表、水表、電度表、尺子等
4、消防類:消防斧、消防鉤、消防桶、消防沙、消防服、防毒面具、滅火器、水龍帶、水槍等
5、防護類:木樁、繩子、沙袋、軟墊、抹布等
6、醫藥類:紅藥水、碘酒、創口貼、紗布、繃帶等
7、通訊類:對講機、應急電話及電話號碼等
8、防身類:警棍、腰帶等
9、客戶信息類:客戶為醫生、護士等救援性人員的名單和聯系電話等
(二)應急物資按照其正常使用情況分為常用型、應急型兩類。
常用型的是指在公司日?；顒又惺褂玫奈镔Y,屬于消耗類一種。平時在各崗位上保存和使用。這類物資的使用不需要經過特殊的培訓。
應急型的是指在公司日常活動中很少使用的物資,為安全準備的物資。如消防系統的物品。平時存放在固定的有一定防護的地方保存。該類物資的使用需要經過培訓或演習訓練。
三、控制
常用型應急物資的儲備狀況應由相應的崗位根據實際情況進行采購申請,主管審批后執行按采購控制程序準備。
應急型物資由管理處在日常巡查和公司檢查時實行兩級巡查制度。對物資情況進行檢查,對缺、損的物資填寫相關檢查記錄,立即進行采購申請。
應急物資的保存應按該物資的存放要求進行保存。
對各類物資的正常使用應作為各崗位員工基本技能,要求各崗位員工能夠正確識別和熟練使用,適當時在培訓中進行強化和提高。緊急集合和演習訓練要求參與員工能夠達到規定。