Outage #980
Information
| Begins at: | 2022-11-16 16:53:00 CET |
| Duration: | 100 minutes |
| Type: | outage |
| State: | resolved |
| Impact: | system_reset |
| Affected systems: | Node node24.prg |
| Summary: | |
| English: Kernel lockup | |
| Česky: Kernel lockup | |
| Description: | |
| English: cause unknown as of yet | |
| Česky: pricina zatim neznama | |
| Handled by: | Pavel Šnajdr, Jakub Skokan |
Updates
| Date | Summary | Reported by |
|---|---|---|
| 2022-11-16 17:07:53 CET | Pavel Šnajdr | |
| State: announced | ||
| 2022-11-16 20:06:52 CET | English: DoS by vsftpd
Česky: DoS s vsftpd |
Jakub Skokan |
| Duration: 100 minutes
English: Today's troubles have been most likely caused by vsftpd abusing network namespaces. A new network namespace is created for each connection. Creating and destroying so many network namespaces caused the kernel to lock up. There has been a second reset at 18:40. To alleviate the issue, we have temporarily blocked TCP port 21, so FTP on node24.prg is not working. We have also disabled ipip and GRE tunnels to lighten the load. Česky: Dnešní požíže byly nejspíše způsobeny FTP servery vsftpd. vsftpd pro každé spojení vytváří nový network namespace a kernel nestíhal vytvářet a mazat tolik network namespaces, až se úplně zaseknul. V 18:40 byl druhý reset nodu. Dočasně jsme zablokovali TCP port 21, FTP na node24.prg tedy aktuálně nefunguje. Při hledání problému jsme také odebrali moduly pro ipip a GRE tunely. |
||
| 2022-11-16 22:52:56 CET | English: Confirmed DoS by vsftpd
Česky: Potvrzení DoS přes vsftpd |
Jakub Skokan |
| English: There's about 43 vsftpd servers on node24.prg and we've identified one IP address (see our IRC), which has been making many authentication attempts at the time, leading to the abuse of network namespaces. We're investigating ways to rate-limit network namespace creation/destruction to avoid the issue in the future. For users of vsftpd, setting isolate_network=NO will remove the problem with network namespaces as well. Česky: Na node24.prg běží cca 43 vsftpd serverů, podle logu se v dobu výpadku na mnohé z nich pokoušela připojit jedna IP adresa (viz IRC), což pak vedlo k tomu problému s network namespaces a přetížení systému. Zkoumáme možnosti, jak v takových případech omezit vytváření/mázání tolika network namespaces, abychom to příště ustáli. Kdo používáte vsftpd, nastavení isolate_network=NO vypne tuto nešťastnou vlastnost vytváření network namespace pro každého klienta. |
||
| 2022-11-17 23:37:33 CET | Michal Janoušek | |
| State: resolved | ||