Ядро 6.1.0-55 вешает Debian 12: как проверить серверы и обновиться
После недавних утечек и взломов мы ставим на инфраструктурные серверы и staging все обновления автоматически и так же автоматически их перезагружаем. 16–17 ноября так приехало ядро Debian 12 6.1.0-55, и все десять серверов, которые в нём загрузились, зависли: одни через пару часов, другие через 30. До продакшена не дошло: там вместо автоматической перезагрузки стоит алерт, что сервер пора перезагрузить.
Причина — ошибка в ext4, исправление уже вышло. Рассказываем, на что мы напоролись, чтобы вы были аккуратнее. Если у вас Debian 12, проверьте ядро сейчас.
- В ядре
6.1.0-55(linux 6.1.192-1, вышло 15 ноября) ошибка в ext4. Через несколько часов после загрузки запись на диск встаёт, а сеть продолжает работать. - Исправление — ядро
6.1.0-56(linux 6.1.192-2) вbookworm-security. Метапакетlinux-image-amd64уже ставит его. - Если сервер сейчас работает на
-55, не запускайте на нёмapt: установка пакетов сама вызывает зависание. Сначала загрузитесь в-54. - Обновления, особенно ядра, раскатывайте волнами: сначала staging и пара серверов, через сутки — остальные.
Что сломалось
15 ноября Debian LTS выпустил DLA-4906-1 — обновление ядра linux 6.1.192-1 для Debian 12 с исправлениями уязвимостей. В системе это пакет linux-image-6.1.0-55-amd64.
В этом ядре ext4 разыменовывает нулевой указатель в ext4_mb_load_buddy_gfp (#1154101, важность critical; похожий отчёт — #1154153). Задача, которая падает, держит дескриптор журнала jbd2. Коммит журнала ждёт её вечно, и все процессы, которые пишут на корневую ФС, повисают в состоянии D.
Сервер при этом выглядит живым. Сеть работает, ping отвечает, уже запущенные сервисы обслуживают запросы, пока им не нужно писать на диск. Встаёт всё, что пишет: логи, базы, установка пакетов.
Исправление — linux 6.1.192-2, пакет linux-image-6.1.0-56-amd64 в bookworm-security. В трекере Debian ошибку закрыли 16 ноября, метапакет linux-image-amd64 уже указывает на -56. Пакет -55 из репозитория не удалён: если поставить его явно по имени, он установится.
Как это было у нас
На инфраструктурных серверах и staging обновления ставит unattended-upgrades с автоматической перезагрузкой (Automatic-Reboot): где-то сразу после обновления, где-то ночью по расписанию. 16–17 ноября он поставил 6.1.0-55 и перезагрузил серверы.
Зависли все десять серверов, которые загрузились в -55: инфраструктурные машины, часть staging и CI-раннеры. Среди них были и виртуальные машины, и железо — ошибку ловят и те и другие. Один раннер завис трижды за 16 ноября, остальные — через 2–30 часов после загрузки. Серверы, до которых обновление дошло позже, сразу получили -56 и не пострадали.
Проверьте свои серверы
uname -r # какое ядро работает
dpkg -l 'linux-image-6.1.0-*' | grep '^ii' # какие ядра установлены
-
Работает
6.1.0-55-amd64. Сервер может зависнуть в любой момент. Не ставьте на нём пакеты, а сразу переходите к разделу «Если сервер уже на -55». -
-55установлено, но работает другое ядро.-55загрузится при следующей перезагрузке. Поставьте исправление и удалите-55до перезагрузки:apt updateapt install linux-image-amd64apt purge linux-image-6.1.0-55-amd64 -
-55не установлено. Обычное обновление поставит сразу-56.
Если сервер уже на -55
На -55 нельзя ставить пакеты: apt пересобирает initramfs, пишет на диск и сам вызывает зависание. Так у нас повторно зависли два сервера. Сработал такой порядок:
-
Если сервер завис, перезагрузите его аппаратно — через панель или API провайдера. Обычный
rebootтоже может повиснуть. -
Сразу после загрузки, пока сервер отвечает, выберите старое ядро на одну загрузку и перезагрузитесь. Больше ничего на диск не пишите:
grub-reboot 'Advanced options for Debian GNU/Linux>Debian GNU/Linux, with Linux 6.1.0-54-amd64'grub-editenv list # должно показать next_entry=Advanced options…systemctl rebootНазвания пунктов меню зависят от
GRUB_DISTRIBUTOR, свои можно посмотреть командойgrep -E "menuentry |submenu " /boot/grub/grub.cfg.GRUB_DEFAULTменять не нужно: загрузка в-54разовая. -
На
-54поставьте исправленное ядро, удалите-55и перезагрузитесь. GRUB по умолчанию загрузит новое ядро:apt updateapt install linux-image-amd64apt purge linux-image-6.1.0-55-amd64systemctl reboot -
Проверьте
uname -r: должно быть6.1.0-56-amd64.
Если сервер виснет раньше, чем вы успеваете зайти по SSH, остаётся консоль провайдера (VNC): в меню GRUB выберите «Advanced options for Debian GNU/Linux» и ядро 6.1.0-54. Два таких сервера мы не стали спасать и переустановили на Debian 13.
Ядро 6.12 или Debian 13
В bookworm-security есть и ядро ветки 6.12, той же, что в Debian 13: linux-image-6.12-amd64 (6.12.117-1~deb12u1). Ставится по тем же инструкциям, только вместо linux-image-amd64 — linux-image-6.12-amd64:
apt install linux-image-6.12-amd64
Мы поставили 6.12 на серверы с Debian 12. Те, что чинили, уже загрузились в него, остальные перейдут при плановой перезагрузке. Проблем пока не видели, но на 6.12 серверы работают меньше двух суток — о стабильности говорить рано.
Debian 12 уже на поддержке LTS. Если серверы всё равно пора переводить на Debian 13, этот случай — повод не откладывать.
Обновляйте волнами
Ошибка в ядре — полбеды. Хуже, что ядро с ошибкой за сутки разошлось по десятку серверов и само их перезагрузило. Automatic-Reboot удобен, пока обновления безопасны. Когда нет, одна ошибка становится аварией всего парка.
- Сначала staging и пара серверов, потом остальные. Пауза между этапами — не меньше суток: ошибка в
-55проявлялась через 2–30 часов после загрузки, за пару часов её бы не заметили. - Не перезагружать весь парк разом. Разное время
Automatic-Reboot-Timeдля разных групп серверов или перезагрузка вручную после проверки на staging. - Следить, какое ядро загружено. node_exporter отдаёт метрику
node_uname_infoс меткойrelease: по ней видно, где загрузилось новое ядро, и можно повесить алерт на конкретную версию.
Аварии из-за обновлений на этой неделе были не только у нас. 17 ноября у части серверов Timeweb Cloud почти на два часа пропала сеть (затронуты все локации, кроме Новосибирска): при обновлении сетевого стека гипервизоров служба динамической маршрутизации перезапустилась не полностью. В тот же день у Apple не работали iCloud, App Store и Apple Pay, и компания назвала причиной внутреннее обновление. Причины разные и с ядром Debian не связаны, но все три аварии начались с обновления. Timeweb после разбора обещает увеличить интервалы между этапами обновления.
Оставьте отзыв
Если вам нравится пользоваться Tuna, или наоборот вы недовольны чем-либо, то пожалуйста оставьте отзыв.
Новости
Анонсы новых функций и статей публикуем в Telegram-канале. Подписывайтесь, чтобы ничего не пропустить.
Помощь
Мы ценим наших пользователей и детально изучаем все обращения, если у вас возникли проблемы с tuna – обязательно свяжитесь с нами одним из способов: