Outage #963
Information
| Begins at: | 2022-10-28 01:17:00 CEST |
| Duration: | 180 minutes |
| Type: | outage |
| State: | resolved |
| Impact: | system_restart |
| Affected systems: | Node node1.stg |
| Summary: | |
| English: Debugging older mysql issues | |
| Česky: Debugovani problemu se starsi mysql | |
| Description: | |
| English: | |
| Česky: | |
| Handled by: | Pavel Šnajdr |
Updates
| Date | Summary | Reported by |
|---|---|---|
| 2022-10-28 01:17:58 CEST | Pavel Šnajdr | |
| State: announced | ||
| 2022-10-28 11:23:15 CEST | English: More reboots for debugging
Česky: Další restarty |
Jakub Skokan |
| English: We're trying to find a regression which causes older mysqld to crash, so far without any luck. We cannot reproduce locally, so we might be rebooting node1.stg repeatedly.
Česky: Hledáme regresi, která způsobuje pád starších mysqld, zatím bez úspěchu. Neumíme to reprodukovat lokálně, takže možná budeme node1.stg restartovat vícekrát. |
||
| 2022-10-28 22:20:49 CEST | English: Success
Česky: Podařilo se |
Jakub Skokan |
| State: resolved
English: After almost two days of trying different kernel/ZFS combinations, we found out that the change which caused mysqld on Ubuntu 18.04 to crash was simply increased fs.nr_open sysctl. For more information, see https://github.com/vpsfreecz/vpsadminos/commit/abf1322382bc3c37bc920326031c6eeceedbaa35 https://im.vpsfree.cz/archive/irc.libera.chat/#vpsfree/2022/10/28.html#l49 Česky: Po dvou dnech zkoušení různých kombinací kernelu/ZFS jsme přišli na to, že změna, která způsobuje pády mysqld na Ubuntu 18.04 je jednoduše navýšení sysctl fs.nr_open. Více info viz https://github.com/vpsfreecz/vpsadminos/commit/abf1322382bc3c37bc920326031c6eeceedbaa35 https://im.vpsfree.cz/archive/irc.libera.chat/#vpsfree/2022/10/28.html#l49 |
||