https://docs.shturval.tech/ru2/cluster-admin/ml/ Recent content in ML-сценарии on Hugo -- gohugo.io https://docs.shturval.tech/ru2/cluster-admin/ml/overview/ Mon, 01 Jan 0001 00:00:00 +0000 https://docs.shturval.tech/ru2/cluster-admin/ml/overview/ Раздел предназначен для администраторов кластера и специалистов, отвечающих за ML-инфраструктуру. Здесь описано, как: установить Kubeflow в клиентский кластер; при наличии узлов с GPU установить GPU Operator и драйверы NVIDIA; предоставить пользователям рабочую ML-среду. Какие компоненты используются # Компонент Зачем нужен Штурвал Управляет доступом к кластеру и его ресурсам через механизм Kubeflow Profiles. Обеспечивает изоляцию рабочих пространств (профилей) для разных пользователей или команд, управляет сервисными аккаунтами и настройками единого входа (SSO) Kubeflow Единая платформа для жизненного цикла машинного обучения: Jupyter Notebooks, Kubeflow Pipelines, Training Operator, Katib, KServe и TensorBoard NVIDIA GPU Operator Обнаруживает GPU-узлы и выставляет лейбл nvidia. https://docs.shturval.tech/ru2/cluster-admin/ml/install/ Mon, 01 Jan 0001 00:00:00 +0000 https://docs.shturval.tech/ru2/cluster-admin/ml/install/ Инструкция описывает установку Kubeflow в созданном клиентском кластере. Потребуется доступ к клиентскому кластеру, кластеру управления и хосту зеркала. В результате в кластере будут развернуты: Kubeflow — notebooks, pipelines, experiments, training jobs, serving (KServe внутри кластера), Katib, TensorBoard; Ingress для доступа к Kubeflow по адресу kubeflow.<commonName>. Дополнительно: Внешний доступ к KServe. Как работать с этой страницей # Шаг 1 выполняется в кластере управления: создание отдельного OIDC-клиента для Kubeflow. Не используйте OIDC-клиента других сервисов платформы. https://docs.shturval.tech/ru2/cluster-admin/ml/gpu-preparation/ Mon, 01 Jan 0001 00:00:00 +0000 https://docs.shturval.tech/ru2/cluster-admin/ml/gpu-preparation/ Инструкция описывает установку GPU Operator, драйверов NVIDIA, среды выполнения nvidia и Fabric Manager на узлах с NVSwitch. Здесь также описано, как проверить применение конфигурации, добавить GPU-узел и подготовить его к обслуживанию. Подробнее про устройство NCI: Конфигурация узлов. Перед началом # Клиентский кластер уже установлен. Проверьте: в кластере есть GPU-узлы с картой NVIDIA; лицензия поддерживает Enterprise ML: Виды лицензии — лицензия потребуется для доступа к RPM-репозиторию shturval_rpm_nvidia; на всех GPU-узлах установлена одна версия ядра — иначе указанная в NCI версия пакета kernel-lt-devel подойдёт не всем узлам. https://docs.shturval.tech/ru2/cluster-admin/ml/kserve-external/ Mon, 01 Jan 0001 00:00:00 +0000 https://docs.shturval.tech/ru2/cluster-admin/ml/kserve-external/ KServe входит в установку Kubeflow. Из Notebook в том же кластере модель доступна по внутреннему имени сервиса. Шаги этой страницы нужны, только если модель вызывают снаружи — другая система, CI, пользовательский сервис. Снаружи адрес выглядит как: http://kserve.<commonName>/serving/<неймспейс-профиля>/<имя-модели>/v1/models/<имя-модели>:predict. Переопределения спецификации сервиса задавайте только через ShturvalServicePatch (SSP). Не дописывайте customvalues в SSC kubeflow-step-1 и kubeflow-step-2, которые создавали при установке. Что должно получиться # Knative Serving знает домен кластера и не преобразует тег образа в digest для перечисленных реестров. https://docs.shturval.tech/ru2/cluster-admin/ml/profile-mlflow/ Mon, 01 Jan 0001 00:00:00 +0000 https://docs.shturval.tech/ru2/cluster-admin/ml/profile-mlflow/ Profile Kubeflow — это ресурс API-группы kubeflow.org, который создаёт рабочую область для команды или пользователя. О модели прав, SSO и назначении профилей см. раздел Как связаны Штурвал и Kubeflow. Обратите внимание! Не используйте неймспейсы default и kubeflow-system как рабочие области команд. В default устанавливаются сервисы Kubeflow, а в kubeflow-system — контроллеры обучения (Trainer, JobSet). Для ML-сценариев команды создайте отдельный Profile — неймспейс с тем же именем будет создан автоматически. Профиль по умолчанию # При установке Kubeflow (kubeflow-step-4) создаётся Profile по умолчанию kflow-user-admin-namespace. https://docs.shturval.tech/ru2/cluster-admin/ml/troubleshooting/ Mon, 01 Jan 0001 00:00:00 +0000 https://docs.shturval.tech/ru2/cluster-admin/ml/troubleshooting/ Эта страница не заменяет установку Kubeflow и GPU Operator и NVIDIA-драйверы. Если ресурс отсутствует или создан с неверными параметрами, вернитесь к соответствующему шагу установки и примените манифест повторно. Проверки после каждого шага приведены на вкладках GUI и CLI страниц установки. Симптом Раздел Поды Pending, Insufficient memory, taint на Control Plane Недостаточно Worker-узлов Поды Kubeflow создаются без istio-proxy Поды Kubeflow создаются без sidecar-контейнера SSC kubeflow-step-* долго не Healthy Завис один из kubeflow-step После SSO браузер уходит на чужой хост (flow.