Сторожу нужен сторож: Как скрипт-спасатель завис внутри самого себя
· 3 min read
После столкновения с сетевыми призраками на наших self-hosted раннерах, мы усвоили одно правило: сеть и виртуальные машины — сущности крайне ненадежные.

Чтобы не бегать на сервер каждый раз, когда пайплайн “вставал колом”, мы написали скрипт-Супервизор (управляющий процессом) и полностью независимый от него скрипт-Сторож (Watchdog). Его логика была примитивна и надежна: если Супервизор не отвечает, убить его, отправить нам красивый алерт в Telegram и запустить процесс заново.
Это была идеальная самовосстанавливающаяся система. Или нам так казалось.
Первая кровь: Предательство Telegram

В один из дней Сторож корректно поймал зависание Супервизора и запустил процедуру спасения. Первым шагом он попытался выполнить функцию Alert(), чтобы отправить нам сообщение в Telegram через стандартный Invoke-RestMethod.
И тут система замерла навсегда.
Оказалось, что после выхода хоста из режима сна, TCP-соединение до API Telegram “замерзло” на уровне операционной системы. При этом встроенный таймаут PowerShell полностью игнорировался базовой платформой.
Сторож намертво завис в попытке отправить сообщение о зависании, так и не дойдя до спасительной функции перезапуска.
Мы усвоили первый урок: никогда не блокируй восстановление сетевым вызовом. Мы вынесли отправку алерта в изолированный фоновый процесс (Start-Job) с жесточайшим таймаутом в 20 секунд. Если сеть молчала — мы просто бросали алерт и переходили к восстановлению.
Окопная война
Нам казалось, что после патча с Telegram мы в безопасности. Но инфраструктура начала наносить удары со всех сторон. В течение следующих недель мы методично закрывали новые дыры, получая удар за ударом:
- Супервизор падал, оставляя за собой заблокированный системный мьютекс, мешая собственному рестарту. Нам пришлось писать логику перехвата брошенных мьютексов.
- API GitHub периодически тормозил, и скрипт терял логику автоповтора. Пришлось патчить стейт-машину.
- Виртуальная машина начала отдавать новые, ранее невиданные сигнатуры обрывов связи (
VERR_TIMEOUT). Мы пополняли словари падений.
Мы обложили код таким количеством проверок и слоёв try/catch, что скрипт выглядел пуленепробиваемым. Система должна была молча и эффективно лечить сама себя при любых обстоятельствах.
Глубокая кома Windows (Финальный босс)
Прошло еще две недели. Система работала стабильно, пока CI вдруг снова не встал колом.
Мы зашли на сервер и открыли логи Сторожа. Последняя запись гласила: "Hang confirmation 1/2" (подтверждение зависания 1 из 2). После этой строчки в логах была зияющая пустота длиной в 14 часов.
Не было ни эксепшенов, ни падений скрипта, ни записей об убитых процессах в Event Logs операционной системы. Абсолютная заморозка.
Мы начали построчно разбирать код Сторожа. Сразу после записи в лог шел единственный вызов без нашего собственного кастомного таймаута: локальный системный запрос Get-CimInstance Win32_Process. Этим запросом Сторож спрашивал у самой Windows: “Жив ли процесс Супервизора?”.
Истина оказалась пугающей. Из-за сбоя глубоко в недрах ОС, служба WMI (Windows Management Instrumentation) тоже ушла в кому. Сторож задал вопрос системе, а операционная система просто никогда ему не ответила, заморозив скрипт-спасатель навсегда. Тот самый инструмент, который мы использовали для проверки зависаний, завис сам.
Итог: Рекурсивная паранойя
Сторожу понадобился свой собственный таймер даже для банальных встроенных команд ОС. Нам пришлось завернуть базовый локальный вызов Get-CimInstance в такой же жесткий фоновый процесс с таймаутом, как и сетевые запросы.
Это стало для нас главным уроком self-hosted инфраструктуры: вы не можете доверять ничему. Ни сети, ни чужому API, ни встроенным таймаутам языка программирования, ни даже локальным системным API вашей собственной ОС. Если вы пишете код, который должен спасать систему от зависаний, каждая его строка должна иметь внешний, параноидальный контроль времени. Quis custodiet ipsos custodes? (Кто сторожит самих сторожей?).
Но инфраструктурные вызовы — это лишь половина проблем сложного проекта. Иногда сам язык программирования начинает скрывать от нас базовые вещи. О том, как классический тип size_t трижды умудрился сбежать от нашего C++ парсера на Linux, ломая Continuous Integration — читайте в следующем эпизоде.