Outage #963

Information

Begins at: 2022-10-28 01:17:00 CEST
Duration: 180 minutes
Planned:
State: closed
Type: vps_restart
Affected systems: Node node1.stg
Summary:
English: Debugging older mysql issues
Česky: Debugovani problemu se starsi mysql
Description:
English:
Česky:
Handled by: Pavel Šnajdr

Updates

Date Summary Reported by
2022-10-28 01:17:58 CEST Pavel Šnajdr
State: announced
2022-10-28 11:23:15 CEST English: More reboots for debugging
Česky: Další restarty
Jakub Skokan
English: We're trying to find a regression which causes older mysqld to crash, so far without any luck. We cannot reproduce locally, so we might be rebooting node1.stg repeatedly.

Česky: Hledáme regresi, která způsobuje pád starších mysqld, zatím bez úspěchu. Neumíme to reprodukovat lokálně, takže možná budeme node1.stg restartovat vícekrát.
2022-10-28 22:20:49 CEST English: Success
Česky: Podařilo se
Jakub Skokan
State: closed

English: After almost two days of trying different kernel/ZFS combinations, we found out that the change which caused mysqld on Ubuntu 18.04 to crash was simply increased fs.nr_open sysctl. For more information, see

https://github.com/vpsfreecz/vpsadminos/commit/abf1322382bc3c37bc920326031c6eeceedbaa35

https://im.vpsfree.cz/archive/irc.libera.chat/#vpsfree/2022/10/28.html#l49

Česky: Po dvou dnech zkoušení různých kombinací kernelu/ZFS jsme přišli na to, že změna, která způsobuje pády mysqld na Ubuntu 18.04 je jednoduše navýšení sysctl fs.nr_open. Více info viz

https://github.com/vpsfreecz/vpsadminos/commit/abf1322382bc3c37bc920326031c6eeceedbaa35

https://im.vpsfree.cz/archive/irc.libera.chat/#vpsfree/2022/10/28.html#l49

Help

Kam hlásit chyby?

Support vpsFree.cz

Support mail: podpora @ vpsfree.cz

Links

Status
https://status.vpsf.cz

IRC
irc.libera.chat #vpsfree

Mailing lists
https://lists.vpsfree.cz/

Knowledge base
Česky: https://kb.vpsfree.cz/
English: https://kb.vpsfree.org/

Sysadmins contacts

Jakub Skokan
IRC: aither at #vpsfree
Phone: +420 775 386 453

Pavel Snajdr (main admin)
IRC: snajpa at #vpsfree
Phone: +420 720 107 791