Гибридные кластеры
Назначение
Гибридный кластер — кластер Kubernetes, в котором узлы создаются более чем одним инфраструктурным провайдером Cluster API (любой провайдер + провайдер Shturval v2).
Типичный сценарий: основная инфраструктура (Control Plane узлы, группы Worker default и infra, прикладные Worker) размещается на виртуализации или облаке (VMware vSphere, oVirt, OpenStack и др.), а хосты провайдера Shturval v2 добавляются в кластер дополнительной Worker-группой.
Такая схема нужна, в частности, для ML-нагрузок: вычисления на физических серверах с GPU, при этом API-сервер, etcd, Ingress и обычные приложения остаются на ВМ.
Ограничения и модель
-
При создании кластера в мастере установки кластера выбирается один провайдер инфраструктуры. Гибридная конфигурация доступна после развёртывания кластера — добавлением Worker-групп с типом провайдера Shturval v2.
-
Control Plane и Worker-группы
defaultиinfraмогут быть созданы только инфраструктурным провайдером кластера (vSphere, oVirt и т.д.).
| Область | Поведение в GUI |
|---|---|
| Новые Worker-группы | В кластерах с любым провайдером кроме Shturval v2 при создании группы доступен выбор: провайдер кластера или Shturval v2. |
| Ранее созданные Worker-группы | Тип провайдера нельзя изменить после создания группы узлов. |
| Worker-группа Shturval v2 | Выбрать создание узлов с провайдером Shturval v2 возможно, только если в платформе есть хотя бы один экземпляр провайдера Shturval v2. |
| Отображение в интерфейсе | Для гибридного кластера в списке кластеров, дашборде кластера, отчетах отображаются два типа провайдера и их имена. На странице Управление узлами для Worker-группы Shturval v2 указан Провайдер Shturval v2. |
Как сделать кластер гибридным
Подходит для кластеров на: VMware vSphere, zVirt, oVirt, HostVM, РЕД Виртуализация, ROSA Virtualization, OpenStack, Selectel,VK Cloud, Basis Dynamix, VMware vCloud Director, Yandex Cloud (любой провайдер кроме Shturval v2 как основного).
Общая схема
- Создать кластер — с одним провайдером инфраструктуры, не Shturval v2:
- Создать экземпляр провайдера Shturval v2 и добавить хосты — в Провайдеры → Конфигурация провайдеров: экземпляр провайдера и добавление хостов; хосты должны быть в статусе «Свободен». GPU (при необходимости) — на целевых хостах установлены драйверы; в кластере планируется конфигурация Nvidia runtime на узлах Shturval v2.
- Добавить Worker-группу с провайдером Shturval v2 в уже созданный кластер — см. на этой странице [Добавить Worker-группу Shturval v2 в кластер с любым другим
Добавить Worker-группу Shturval v2 в кластер с любым другим провайдером
- Выберите кластер → Администрирование → Управление узлами.
- Нажмите Добавить группу Worker-узлов.
- Задайте название группы.
- В форме Создание группы Worker-узлов:
- В поле Тип провайдера по умолчанию выбран провайдер, с которым создан кластер. Выберите Shturval v2 (доступен, если в платформе есть хотя бы один экземпляр провайдера Shturval v2) и интерфейс переключится на форму создания группы для Shturval v2.
- Задайте требуемую конфигурацию: ручное или автоматическое масштабирование, запрошено реплик = количество свободных хостов, которые должны войти в группу, стратегия обновления, добавьте Роли узлов.
- В блоке InfraMachineTemplate:
- В поле Шаблон провайдера выберите экземпляр провайдера Shturval v2, из которого будут браться хосты. Если экземпляр один, он подставляется автоматически.
- Укажите роль хостов или в расширенном режиме настройте селектор хостов по лейблам (см. ShturvalMachineTemplate).
- Сохраните конфигурацию группы.
Отследить создание узлов в группе можно на странице Управление узлами.
При необходимости вы можете добавить хосты и увеличить количество узлов или Уменьшить число узлов в созданной Worker-группе узлов с Shturval v2 в гибридном кластере.
Планирование ML и GPU-нагрузок
После появления узлов Shturval v2 в кластере:
- Задайте taints и tolerations, nodeAffinity, чтобы поды ML попадали только на GPU-узлы — см. Node Pools, Taints и Affinity.
- Установите и настройте NVIDIA GPU Operator и runtime на узлах Worker-группы (см. конфигурация узлов).
Связанные разделы
- Группы узлов — общая модель групп, Cluster API, InfraMachineTemplate.
- Shturval v2 — экземпляр провайдера и хосты.
- Провайдер Shturval v2 (shturval-capsm) — оператор CAPSM.
- Как устроена работа с провайдерами — термины Cluster API и экземпляры провайдеров.