Подготовка

Когда зеркало готово #

Машина shtil (рабочее место администратора) #

Машина shtil — рабочая станция или jump-хост с ОС Linux, с которого вызывается утилита shtil.

На машине должно быть выполнено:

• Доступен Podman из состава бандла; исполняемый файл находится в PATH. В случае запуска shtil на том же хосте, где инициализировано зеркало, не устанавливайте вручную Podman/Docker. Если используете Docker и у зеркала самоподписной или корпоративный CA, доверие к зеркалу настроено на уровне демона Docker до запуска shtil; флага --bootstrap-insecure для первичного docker pull недостаточно.
• Есть сетевой доступ к FQDN зеркала по HTTPS (порт по настройке зеркала, обычно 443).
• Для сценария с графическим интерфейсом (install-gui) нужны права, достаточные для работы с каталогом /tmp, как правило при запуске от root или через sudo.

Исполняемый файл shtil входит в состав бандла. После распаковки бандла скопируйте утилиту на машину shtil и сделайте файл исполняемым:

chmod +x ./shtil

Версия shtil должна соответствовать версии бандла.

Подготовка машины shtil к rootless Podman #

Если shtil запускается не от root и bootstrap поднимается через rootless Podman (не Docker), на хосте выполните настройки ниже. При запуске от root/sudo или при использовании Docker раздел можно пропустить.

User namespaces #

Для rootless Podman должно быть включено разрешение на создание непривилегированных user namespaces — параметр ядра kernel.unprivileged_userns_clone.

sysctl kernel.unprivileged_userns_clone

Если значение 0, установите 1: добавьте в /etc/sysctl.conf строку kernel.unprivileged_userns_clone = 1 и выполните:

sudo sysctl -p

Если команда возвращает ошибку cannot stat /proc/sys/kernel/unprivileged_userns_clone: No such file or directory, параметр настраивать не нужно.

Делегирование cgroup #

На части дистрибутивов, где systemd ниже 252 (например, Debian 11, РЕД ОС 7.3, Astra Linux 1.7, RHEL/Rocky 8, Ubuntu 20.04) без делегирования контейнер bootstrap-кластера падает с ошибкой UserNS: cpu controller needs to be delegated. См. kind rootless. Делегирование можно выполнить скриптом (см. ниже). Он создаёт /etc/systemd/system/user@.service.d/delegate.conf с Delegate=cpu cpuset io memory pids и выполняет systemctl daemon-reload.

После выполнения скрипта потребуется полный выход из SSH/сессии и повторный вход. Если bootstrap по-прежнему падает — перезагрузка хоста (как в выводе скрипта).

chmod +x ./scripts/setup-systemd-user-cgroup-delegate.sh
sudo ./scripts/setup-systemd-user-cgroup-delegate.sh

#!/usr/bin/env bash
# Настраивает делегирование cgroup-контроллеров для user@.service (systemd user session).
# Нужно для rootless Podman и локального bootstrap-кластера (kind-подобный node-image):
# без делегирования cpu контейнер падает с "UserNS: cpu controller needs to be delegated".
# См. https://kind.sigs.k8s.io/docs/user/rootless/
#
# Запуск: sudo ./scripts/setup-systemd-user-cgroup-delegate.sh
# После выполнения — полный выход из сессии пользователя и вход снова или reboot.
set -euo pipefail
DROP_IN_DIR="/etc/systemd/system/user@.service.d"
DROP_IN_FILE="${DROP_IN_DIR}/delegate.conf"
if [[ "${EUID:-$(id -u)}" -ne 0 ]]; then
  echo "Запустите от root: sudo $0" >&2
  exit 1
fi
mkdir -p "$DROP_IN_DIR"
tee "$DROP_IN_FILE" <<'EOF'
[Service]
Delegate=cpu cpuset io memory pids
EOF
systemctl daemon-reload
echo "Готово: $DROP_IN_FILE"
echo "Выполните полный выход из SSH/сессии и вход снова или: sudo reboot"

Команды для проверки перед началом инсталляции #

Ниже — типовые проверки перед запуском shtil. Подставляйте FQDN-ЗЕРКАЛА и адреса VIP из вашей схемы (см. требования).

DNS: имя зеркала резолвится (машина shtil и при необходимости узел) #

getent hosts FQDN-ЗЕРКАЛА

Критерий успеха: в выводе есть IP-адрес зеркала.

Если записей нет: настройте корпоративный DNS или локальный резолвер; без резолва узлы и shtil не смогут обратиться к зеркалу по HTTPS. Для временной диагностики можно проверить локальный /etc/hosts, но постоянное решение должно соответствовать политике вашей инфраструктуры.

HTTPS к зеркалу (машина shtil или узел) #

curl -I --connect-timeout 10 https://FQDN-ЗЕРКАЛА

Критерий успеха: в ответе HTTP/1.1 200 или HTTP/2 200 (или иной успешный код от вашего Nginx/зеркала).

Если ответа нет или есть ошибка — действуйте по шагам:

1. Проверьте подробный вывод: он покажет, где обрыв — DNS, TCP, TLS или ответ сервера.

curl -vI --connect-timeout 10 https://FQDN-ЗЕРКАЛА

2. Проверьте, что порт зеркала доступен с машины shtil и с узлов кластера. Если зеркало слушает не 443, укажите фактический порт:

curl -vI --connect-timeout 10 https://FQDN-ЗЕРКАЛА:ПОРТ

3. При ошибке TLS с самоподписным сертификатом для диагностики допустимо:

curl -vkI --connect-timeout 10 https://FQDN-ЗЕРКАЛА

Для рабочей установки согласуйте доверие к CA или используйте флаги --bootstrap-insecure / --bootstrap-registry-certs-dir при запуске shtil (см. процесс установки).

Настройка доверия Docker к зеркалу #

Флаги --bootstrap-insecure и --bootstrap-registry-certs-dir влияют на containerd внутри bootstrap-кластера (через hosts.toml или монтирование CA). Эти флаги не настраивают доверие локального Docker daemon.

Первичную TLS-проверку при docker pull выполняет сам демон Docker до запуска bootstrap-кластера. При зеркале с самоподписным или иным недоверенным сертификатом одного --bootstrap-insecure недостаточно: до запуска установки настройте доверие к зеркалу одним из способов.

sudo mkdir -p /etc/docker/certs.d/FQDN-ЗЕРКАЛА
sudo cp /path/to/ca.crt /etc/docker/certs.d/FQDN-ЗЕРКАЛА/ca.crt

{
  "insecure-registries": ["FQDN-ЗЕРКАЛА"]
}

sudo systemctl restart docker

Если доверие к зеркалу для Docker не настроено, установщик заранее выводит предупреждение, а при неудачном docker pull — ошибку с конкретным путём /etc/docker/certs.d/<registry-host:port>/ca.crt для вашего зеркала.

Если проверка неуспешна после диагностики: до запуска установки устраните DNS, маршрутизацию, firewall или настройки сертификата зеркала.

Хост зеркала: stm status #

stm status

Критерий успеха: компоненты зеркала в рабочем состоянии (см. вывод команды).

Если stm не найден: выполните команду из каталога с распакованным бандлом или добавьте путь к stm в PATH.

Если компоненты остановлены: запустите зеркало и повторите проверку:

stm start

stm status

Если статус всё ещё не рабочий, проверьте свободность портов Nginx, сертификат и параметры инициализации зеркала.

Проверка, что виртуальные IP-адреса свободны #

На каждом IP-адресе из подсети Control Plane, который будет использоваться как VIP KubeAPI или Ingress и ещё не назначен интерфейсу узла, выполните проверку:

ping -c 2 IP

Замените IP на реальный адрес (например, ping -c 2 10.11.12.100).

Критерий успеха: узлы в подсети не отвечают на ping по выбранному VIP (адрес свободен под kube-vip).

Если узел отвечает: выбранный IP уже используется — выберите другой свободный IP из подсети Control Plane и повторите проверку. Если ICMP в сети запрещён, согласуйте с сетевым администратором другой способ проверки свободности адреса.

Узел: SELinux (если дистрибутив с SELinux) #

getenforce

Если команда getenforce недоступна: на дистрибутиве без SELinux этот подраздел не применяйте.

Варианты вывода:

• enforcing — политика применяется (для согласованного сценария нужен переход в permissive или disabled, либо отдельная политика по согласованию с ИБ).
• permissive — предупреждения без блокировок (подходит при согласовании с ИБ).
• disabled — политика не загружена (подходит при согласовании с ИБ).

Если режим enforcing и требуется отключить SELinux до установки (после согласования с ИБ):

sudo sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

После этого выполните перезагрузку:

sudo reboot

Узел: время и NTP #

timedatectl status

При установленном Chrony:

chronyc tracking

Критерий успеха: время синхронизировано; расхождение с машиной shtil не существенно для вашей политики (большой разбег — риск для сертификатов и etcd).

Если команда chronyc недоступна: используйте в первую очередь timedatectl и сравнение date; при необходимости настройте или установите Chrony по документации вашей ОС.

Если время не синхронизировано: настройте NTP или Chrony на узлах, машине shtil и хосте зеркала, затем повторите проверку.

Узел: репозитории пакетов #

Debian / Ubuntu:

sudo apt update

RHEL и совместимые (если есть dnf):

sudo dnf repolist

Если dnf нет:

sudo yum repolist

Критерий успеха: нет ошибок из-за полностью недоступных репозиториев.

Если проверка неуспешна: отключите недоступные репозитории ОС или настройте доступные источники пакетов в закрытом контуре по политике вашей организации. Повторите команду. Пока обновление индекса пакетов срывается из-за недоступных репозиториев, установка может прерваться на шагах с пакетами ОС.

Работа с провайдерами #

Перед установкой выберите провайдера инфраструктуры и подготовьте его по соответствующему сценарию. Общую схему — экземпляры провайдеров, пулы IP и шаблоны ВМ — см. на странице Как устроена работа с провайдерами в платформе.

oVirt и подобные провайдеры #

Если выбран oVirt, zVirt, HostVM, РЕД Виртуализация или ROSA Virtualization, подготовьте среду виртуализации до запуска инсталляции: учётную запись с нужными правами, Datacenter, Cluster, сеть с профилем VNIC и DHCP. Подробности — на странице oVirt и подобные провайдеры.

Для узлов кластера управления заранее создайте шаблон виртуальной машины. При использовании зеркала укажите в stc template тот же registry, который будет использоваться при развёртывании платформы.

VMware vSphere #

Если выбран VMware vSphere, подготовьте vCenter: учётную запись с сервисными ролями, Datacenter, Resource Pool, Network, Datastore и путь для хранения ВМ. Подробности — на странице VMware vSphere.

Для узлов кластера управления заранее создайте шаблон виртуальной машины. Убедитесь, что шаблон подключён к сети, из которой будущие ВМ получат адреса по DHCP, и подготовлен с параметрами registry закрытого контура.

Провайдер Shturval v2 #

В случае выбора этого провайдера поднимите физические или виртуальные хосты до начала инсталляции. Требования к ресурсам и ОС на странице с требованиями, а порядок добавления хостов — на странице Shturval v2.

Локально сгенерируйте ключ без passphrase и скопируйте его на каждый узел:

ssh-keygen -t ed25519 -f ./shturval -N ""

ssh-copy-id -i ./shturval.pub shturval@10.11.12.1

Повторите ssh-copy-id для каждого IP-адреса узла (подставьте свой пользователь и адреса). SSH-ключ должен быть без passphrase. Пользователь (например, shturval) должен иметь sudo без пароля на всех целевых узлах.

ssh -i /path/to/private_key USER@NODE

ssh -i /path/to/private_key USER@NODE 'sudo -n true'

Критерий успеха: вход по ключу без запроса пароля ключа; второй вызов завершается с кодом 0.

Если вход по SSH неуспешен: проверьте IP или FQDN узла, пользователя, путь к приватному ключу, права на файл ключа и что публичный ключ скопирован на узел. Убедитесь, что служба sshd на узле принимает подключения и не блокируется межсетевым экраном.

Если sudo -n true завершается ошибкой: настройте выполнение sudo без запроса пароля для пользователя установки, например через sudoers по правилам вашей организации.