diff --git a/host.md b/host.md new file mode 100644 index 0000000..142d15c --- /dev/null +++ b/host.md @@ -0,0 +1,121 @@ +## 1. Установка базовых компонентов + +### Редактирование и запуск скрипта установки + +Добавляем следующий код: + +```bash +# Add Docker's official GPG key: +sudo apt-get update +sudo apt-get install ca-certificates curl +sudo install -m 0755 -d /etc/apt/keyrings +sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc +sudo chmod a+r /etc/apt/keyrings/docker.asc + +# Add the repository to Apt sources: +echo \ + "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \ + $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | \ + sudo tee /etc/apt/sources.list.d/docker.list > /dev/null +sudo apt-get update +``` + +```bash +nano install.sh +bash install.sh +``` + +### Установка Docker и его компонентов +```bash +apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin +``` + +--- + +## 2. Настройка поддержки NVIDIA GPU + +### Добавление репозитория NVIDIA Container Toolkit +```bash +curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg && \ +curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ + sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ + sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list +``` + +### Обновление пакетов и установка NVIDIA Container Toolkit +```bash +apt-get update +export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1 +apt-get install -y \ + nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \ + nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \ + libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \ + libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION} +``` + +### Проверка работы GPU в Docker +```bash +docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi +``` + +> ✅ Успешный запуск контейнера с `nvidia-smi` подтверждает корректную настройку GPU. + +--- + +## 3. Проверка наличия драйверов видеокарты + +### Проверка видеодрайверов +```bash +lspci -k | grep -EA2 'VGA|3D' +nvidia-smi +``` + +--- + +## 4. Настройка Docker для работы с GPU + +### Конфигурация демона Docker +```bash +nano /etc/docker/daemon.json +``` + +Добавляем в ранее открытый файл следующие данные: + +```bash +{ + "runtimes": { + "nvidia": { + "path": "nvidia-container-runtime", + "runtimeArgs": [] + } + }, + "default-runtime": "nvidia" +} +``` + +> Файл был отредактирован для добавления поддержки `nvidia` в качестве рантайма. + +### Установка `nvidia-container-runtime` и перезапуск Docker +```bash +apt-get install -y nvidia-container-runtime +systemctl restart docker +``` + +--- + +## 5. Подготовка рабочей директории и загрузка модели Qwen3 + +### Создание директории для LLM +```bash +mkdir /opt/llm +cd /opt/llm/ +``` + +### Клонирование модели Qwen3-8B с Hugging Face + +> ✅ Установка необходимых инструментов: +```bash +apt install git +apt install git-lfs +git lfs install +``` \ No newline at end of file