如何打败VMware的“紫色死亡之屏”?

许多VMware ESXi管理员都遇到了“紫屏死机”问题。关于此问题的最烦人的事情是您对自己的基础结构不信任。我一直在想,可以在另一台服务器上重复同样的问题。

什么是PSOD?

PSOD代表“诊断的紫色屏幕”,通常从Microsoft Windows中发现的更著名的“蓝色死亡屏幕”中被称为“紫色死亡屏幕”。

这是内核遇到致命错误(内核无法安全恢复或无法继续运行)时由VMware ESXi显示的诊断屏幕。

它显示故障时的内存状态,以及对故障原因进行故障排除的重要其他信息:ESXi版本和内部版本,异常类型,寄存器转储,回溯,服务器正常运行时间,错误消息和内核转储信息。(在错误之后创建的文件,其中包含其他诊断信息)。

该屏幕显示在服务器控制台中。要查看它,您要么需要在数据中心中连接显示器,要么使用带外服务器管理(iLO,iDRAC,IMM等,取决于供应商)进行远程连接。  

图片1
图片1

为什么出现PSOD?

PSOD -   . , ESXi UNIX, UNIX. ESXi (vmkernel) , , , . : ESXi , , «» , , « » , !

PSOD:

1. , RAM CPU. «MCE» «NMI».

«MCE» — , . , , .

«NMI» — , , . NMI HW, , ESXi 5.0 , PSOD. . MCE, , NMI,   ,  .

2.

·         ESXi SW (. KB2105711)

·         (. KB2136430 )

·         : , , (. KB2034111,  KB2150280)

·         + (. KB2105522 )

·         (. KB2012125,  KB2127997)

3. ;  , (. KB2146526,  KB2148123)

PSOD?

,   , , .     . HA, . , «» , , .

, , , , , VSAN, PSOD vSAN.

?

1. .

, -   . (IMM, iLO, iDRAC, …), , , . .

图片2
2

2. VMware.

, VMware, . (RCA).

3. ESXi.

, . , RCA, . , , DRS, , PSOD .

4. coredump

coredump. Coredump, vmkernel-zdump, , , , , . PSOD, 1, , coredump.

:

.  

b.  .dump  

c.  .dump   vCenter — netdump

Coredump ,   PSOD , . ESXi SCP, (, Notepad ++). , , . VMware , vmkernel, :

图3
3

5. .

.  , , - , .  , : 

Exception Type 0 #DE: Divide Error

Exception Type 1 #DB: Debug Exception

Exception Type 2 NMI: Non-Maskable Interrupt

Exception Type 3 #BP: Breakpoint Exception

Exception Type 4 #OF: Overflow (INTO instruction)

Exception Type 5 #BR: Bounds check (BOUND instruction)

Exception Type 6 #UD: Invalid Opcode

Exception Type 7 #NM: Coprocessor not available

Exception Type 8 #DF: Double Fault

Exception Type 10 #TS: Invalid TSS

Exception Type 11 #NP: Segment Not Present

Exception Type 12 #SS: Stack Segment Fault

Exception Type 13 #GP: General Protection Fault

Exception Type 14 #PF: Page Fault

Exception Type 16 #MF: Coprocessor error

Exception Type 17 #AC: Alignment Check

Exception Type 18 #MC: Machine Check Exception

Exception Type 19 #XF: SIMD Floating-Point Exception

Exception Type 20-31: Reserved

Exception Type 32-255: User-defined (clock scheduler)

, .  Intel 64 IA-32, 1:      Intel 64 IA-32, 3A.

VMware. PSOD:

LINT1/NMI (motherboard nonmaskable interrupt), undiagnosed

NMI (1014767)

Panic requested by one or more 3rd party NMI handlers

COS Error: Oops

«» (1006802)

Lost Heartbeat

« » (1009525)

ASSERT bora/vmkernel/main/pframe_int.h:527

ASSERT NOT_IMPLEMENTED (1019956)

NOT_IMPLEMENTED /build/mts/release/bora-84374/bora/vmkernel/main/util.c:83

ASSERT NOT_IMPLEMENTED (1019956)

Spin count exceeded (iplLock) — possible deadlock

« » (1020105)

PCPU 1 locked up. Failed to ack TLB invalidate

TLB, (1020214)

#GP Exception(13) in world 4130:helper13-0 @ 0x41803399e303

13 14 (1020181)

#PF Exception type 14 in world 136:helper0-0 @ 0x4a8e6e

Machine Check Exception: Unable to continueHardware (Machine) Error

(MCE) (1005184)

Hardware (Machine) Error

PCPU: 1 hardware errors seen since boot (1 corrected by hardware)

6.

, , , , - , , PSOD.  , , , .

, ,   (,  VMware Log Insight SolarWinds LEM ), , ,     .

:

/var/log/syslog.log

.

VMkernel

/var/log/vmkernel.log

, ESXi.  , PSOD, , .

ESXi

/var/log/hostd.log

, ESXi .

VMkernel

/var/log/vmkwarning.log

, .  , (Heap WorkHeap).

vCenter

/var/log/vpxa.log

, vCenter, , vCenter PSOD.

shell

/var/log/shell.log

, PSOD .




All Articles