host - llm - My program ub

drholy/llm

Fork 0

Table of Contents

1. Установка базовых компонентов

Редактирование и запуск скрипта установки
Установка Docker и его компонентов

2. Настройка поддержки NVIDIA GPU

Добавление репозитория NVIDIA Container Toolkit
Обновление пакетов и установка NVIDIA Container Toolkit
Проверка работы GPU в Docker

3. Проверка наличия драйверов видеокарты

Проверка видеодрайверов

4. Настройка Docker для работы с GPU

Конфигурация демона Docker
Установка nvidia-container-runtime и перезапуск Docker

5. Подготовка рабочей директории и загрузка модели Qwen3

Создание директории для LLM
Клонирование модели Qwen3-8B с Hugging Face

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

1. Установка базовых компонентов

Редактирование и запуск скрипта установки

Добавляем следующий код:

# Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

nano install.sh
bash install.sh

Установка Docker и его компонентов

apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

2. Настройка поддержки NVIDIA GPU

Добавление репозитория NVIDIA Container Toolkit

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg && \
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

Обновление пакетов и установка NVIDIA Container Toolkit

apt-get update
export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

Проверка работы GPU в Docker

docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

✅ Успешный запуск контейнера с nvidia-smi подтверждает корректную настройку GPU.

3. Проверка наличия драйверов видеокарты

Проверка видеодрайверов

lspci -k | grep -EA2 'VGA|3D'
nvidia-smi

4. Настройка Docker для работы с GPU

Конфигурация демона Docker

nano /etc/docker/daemon.json

Добавляем в ранее открытый файл следующие данные:

{
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    },
    "default-runtime": "nvidia"
}

Файл был отредактирован для добавления поддержки nvidia в качестве рантайма.

Установка `nvidia-container-runtime` и перезапуск Docker

apt-get install -y nvidia-container-runtime
systemctl restart docker

5. Подготовка рабочей директории и загрузка модели Qwen3

Создание директории для LLM

mkdir /opt/llm
cd /opt/llm/

Клонирование модели Qwen3-8B с Hugging Face

✅ Установка необходимых инструментов:

apt install git
apt install git-lfs
git lfs install