Перейти к основному содержимому

Ядро 6.1.0-55 вешает Debian 12: как проверить серверы и обновиться

· 6 мин

После недавних утечек и взломов мы ставим на инфраструктурные серверы и staging все обновления автоматически и так же автоматически их перезагружаем. 16–17 ноября так приехало ядро Debian 12 6.1.0-55, и все десять серверов, которые в нём загрузились, зависли: одни через пару часов, другие через 30. До продакшена не дошло: там вместо автоматической перезагрузки стоит алерт, что сервер пора перезагрузить.

Причина — ошибка в ext4, исправление уже вышло. Рассказываем, на что мы напоролись, чтобы вы были аккуратнее. Если у вас Debian 12, проверьте ядро сейчас.

Коротко
  • В ядре 6.1.0-55 (linux 6.1.192-1, вышло 15 ноября) ошибка в ext4. Через несколько часов после загрузки запись на диск встаёт, а сеть продолжает работать.
  • Исправление — ядро 6.1.0-56 (linux 6.1.192-2) в bookworm-security. Метапакет linux-image-amd64 уже ставит его.
  • Если сервер сейчас работает на -55, не запускайте на нём apt: установка пакетов сама вызывает зависание. Сначала загрузитесь в -54.
  • Обновления, особенно ядра, раскатывайте волнами: сначала staging и пара серверов, через сутки — остальные.

Что сломалось​

15 ноября Debian LTS выпустил DLA-4906-1 — обновление ядра linux 6.1.192-1 для Debian 12 с исправлениями уязвимостей. В системе это пакет linux-image-6.1.0-55-amd64.

В этом ядре ext4 разыменовывает нулевой указатель в ext4_mb_load_buddy_gfp (#1154101, важность critical; похожий отчёт — #1154153). Задача, которая падает, держит дескриптор журнала jbd2. Коммит журнала ждёт её вечно, и все процессы, которые пишут на корневую ФС, повисают в состоянии D.

Сервер при этом выглядит живым. Сеть работает, ping отвечает, уже запущенные сервисы обслуживают запросы, пока им не нужно писать на диск. Встаёт всё, что пишет: логи, базы, установка пакетов.

Исправление — linux 6.1.192-2, пакет linux-image-6.1.0-56-amd64 в bookworm-security. В трекере Debian ошибку закрыли 16 ноября, метапакет linux-image-amd64 уже указывает на -56. Пакет -55 из репозитория не удалён: если поставить его явно по имени, он установится.

Как это было у нас​

На инфраструктурных серверах и staging обновления ставит unattended-upgrades с автоматической перезагрузкой (Automatic-Reboot): где-то сразу после обновления, где-то ночью по расписанию. 16–17 ноября он поставил 6.1.0-55 и перезагрузил серверы.

Зависли все десять серверов, которые загрузились в -55: инфраструктурные машины, часть staging и CI-раннеры. Среди них были и виртуальные машины, и железо — ошибку ловят и те и другие. Один раннер завис трижды за 16 ноября, остальные — через 2–30 часов после загрузки. Серверы, до которых обновление дошло позже, сразу получили -56 и не пострадали.

Проверьте свои серверы​

uname -r # какое ядро работает
dpkg -l 'linux-image-6.1.0-*' | grep '^ii' # какие ядра установлены
  • Работает 6.1.0-55-amd64. Сервер может зависнуть в любой момент. Не ставьте на нём пакеты, а сразу переходите к разделу «Если сервер уже на -55».

  • -55 установлено, но работает другое ядро. -55 загрузится при следующей перезагрузке. Поставьте исправление и удалите -55 до перезагрузки:

    apt update
    apt install linux-image-amd64
    apt purge linux-image-6.1.0-55-amd64
  • -55 не установлено. Обычное обновление поставит сразу -56.

Если сервер уже на -55​

На -55 нельзя ставить пакеты: apt пересобирает initramfs, пишет на диск и сам вызывает зависание. Так у нас повторно зависли два сервера. Сработал такой порядок:

  1. Если сервер завис, перезагрузите его аппаратно — через панель или API провайдера. Обычный reboot тоже может повиснуть.

  2. Сразу после загрузки, пока сервер отвечает, выберите старое ядро на одну загрузку и перезагрузитесь. Больше ничего на диск не пишите:

    grub-reboot 'Advanced options for Debian GNU/Linux>Debian GNU/Linux, with Linux 6.1.0-54-amd64'
    grub-editenv list # должно показать next_entry=Advanced options…
    systemctl reboot

    Названия пунктов меню зависят от GRUB_DISTRIBUTOR, свои можно посмотреть командой grep -E "menuentry |submenu " /boot/grub/grub.cfg. GRUB_DEFAULT менять не нужно: загрузка в -54 разовая.

  3. На -54 поставьте исправленное ядро, удалите -55 и перезагрузитесь. GRUB по умолчанию загрузит новое ядро:

    apt update
    apt install linux-image-amd64
    apt purge linux-image-6.1.0-55-amd64
    systemctl reboot
  4. Проверьте uname -r: должно быть 6.1.0-56-amd64.

Если сервер виснет раньше, чем вы успеваете зайти по SSH, остаётся консоль провайдера (VNC): в меню GRUB выберите «Advanced options for Debian GNU/Linux» и ядро 6.1.0-54. Два таких сервера мы не стали спасать и переустановили на Debian 13.

Ядро 6.12 или Debian 13​

В bookworm-security есть и ядро ветки 6.12, той же, что в Debian 13: linux-image-6.12-amd64 (6.12.117-1~deb12u1). Ставится по тем же инструкциям, только вместо linux-image-amd64 — linux-image-6.12-amd64:

apt install linux-image-6.12-amd64

Мы поставили 6.12 на серверы с Debian 12. Те, что чинили, уже загрузились в него, остальные перейдут при плановой перезагрузке. Проблем пока не видели, но на 6.12 серверы работают меньше двух суток — о стабильности говорить рано.

Debian 12 уже на поддержке LTS. Если серверы всё равно пора переводить на Debian 13, этот случай — повод не откладывать.

Обновляйте волнами​

Ошибка в ядре — полбеды. Хуже, что ядро с ошибкой за сутки разошлось по десятку серверов и само их перезагрузило. Automatic-Reboot удобен, пока обновления безопасны. Когда нет, одна ошибка становится аварией всего парка.

  • Сначала staging и пара серверов, потом остальные. Пауза между этапами — не меньше суток: ошибка в -55 проявлялась через 2–30 часов после загрузки, за пару часов её бы не заметили.
  • Не перезагружать весь парк разом. Разное время Automatic-Reboot-Time для разных групп серверов или перезагрузка вручную после проверки на staging.
  • Следить, какое ядро загружено. node_exporter отдаёт метрику node_uname_info с меткой release: по ней видно, где загрузилось новое ядро, и можно повесить алерт на конкретную версию.

Аварии из-за обновлений на этой неделе были не только у нас. 17 ноября у части серверов Timeweb Cloud почти на два часа пропала сеть (затронуты все локации, кроме Новосибирска): при обновлении сетевого стека гипервизоров служба динамической маршрутизации перезапустилась не полностью. В тот же день у Apple не работали iCloud, App Store и Apple Pay, и компания назвала причиной внутреннее обновление. Причины разные и с ядром Debian не связаны, но все три аварии начались с обновления. Timeweb после разбора обещает увеличить интервалы между этапами обновления.

Оставьте отзыв​

Если вам нравится пользоваться Tuna, или наоборот вы недовольны чем-либо, то пожалуйста оставьте отзыв.

Новости​

Анонсы новых функций и статей публикуем в Telegram-канале. Подписывайтесь, чтобы ничего не пропустить.

Помощь​

Мы ценим наших пользователей и детально изучаем все обращения, если у вас возникли проблемы с tuna – обязательно свяжитесь с нами одним из способов: