Добавить host
121
host.md
Normal file
121
host.md
Normal file
@@ -0,0 +1,121 @@
|
|||||||
|
## 1. Установка базовых компонентов
|
||||||
|
|
||||||
|
### Редактирование и запуск скрипта установки
|
||||||
|
|
||||||
|
Добавляем следующий код:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# Add Docker's official GPG key:
|
||||||
|
sudo apt-get update
|
||||||
|
sudo apt-get install ca-certificates curl
|
||||||
|
sudo install -m 0755 -d /etc/apt/keyrings
|
||||||
|
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
|
||||||
|
sudo chmod a+r /etc/apt/keyrings/docker.asc
|
||||||
|
|
||||||
|
# Add the repository to Apt sources:
|
||||||
|
echo \
|
||||||
|
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
|
||||||
|
$(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | \
|
||||||
|
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
|
||||||
|
sudo apt-get update
|
||||||
|
```
|
||||||
|
|
||||||
|
```bash
|
||||||
|
nano install.sh
|
||||||
|
bash install.sh
|
||||||
|
```
|
||||||
|
|
||||||
|
### Установка Docker и его компонентов
|
||||||
|
```bash
|
||||||
|
apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 2. Настройка поддержки NVIDIA GPU
|
||||||
|
|
||||||
|
### Добавление репозитория NVIDIA Container Toolkit
|
||||||
|
```bash
|
||||||
|
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg && \
|
||||||
|
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
|
||||||
|
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
|
||||||
|
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
|
||||||
|
```
|
||||||
|
|
||||||
|
### Обновление пакетов и установка NVIDIA Container Toolkit
|
||||||
|
```bash
|
||||||
|
apt-get update
|
||||||
|
export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
|
||||||
|
apt-get install -y \
|
||||||
|
nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
|
||||||
|
nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
|
||||||
|
libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
|
||||||
|
libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Проверка работы GPU в Docker
|
||||||
|
```bash
|
||||||
|
docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi
|
||||||
|
```
|
||||||
|
|
||||||
|
> ✅ Успешный запуск контейнера с `nvidia-smi` подтверждает корректную настройку GPU.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 3. Проверка наличия драйверов видеокарты
|
||||||
|
|
||||||
|
### Проверка видеодрайверов
|
||||||
|
```bash
|
||||||
|
lspci -k | grep -EA2 'VGA|3D'
|
||||||
|
nvidia-smi
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 4. Настройка Docker для работы с GPU
|
||||||
|
|
||||||
|
### Конфигурация демона Docker
|
||||||
|
```bash
|
||||||
|
nano /etc/docker/daemon.json
|
||||||
|
```
|
||||||
|
|
||||||
|
Добавляем в ранее открытый файл следующие данные:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
{
|
||||||
|
"runtimes": {
|
||||||
|
"nvidia": {
|
||||||
|
"path": "nvidia-container-runtime",
|
||||||
|
"runtimeArgs": []
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"default-runtime": "nvidia"
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
> Файл был отредактирован для добавления поддержки `nvidia` в качестве рантайма.
|
||||||
|
|
||||||
|
### Установка `nvidia-container-runtime` и перезапуск Docker
|
||||||
|
```bash
|
||||||
|
apt-get install -y nvidia-container-runtime
|
||||||
|
systemctl restart docker
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 5. Подготовка рабочей директории и загрузка модели Qwen3
|
||||||
|
|
||||||
|
### Создание директории для LLM
|
||||||
|
```bash
|
||||||
|
mkdir /opt/llm
|
||||||
|
cd /opt/llm/
|
||||||
|
```
|
||||||
|
|
||||||
|
### Клонирование модели Qwen3-8B с Hugging Face
|
||||||
|
|
||||||
|
> ✅ Установка необходимых инструментов:
|
||||||
|
```bash
|
||||||
|
apt install git
|
||||||
|
apt install git-lfs
|
||||||
|
git lfs install
|
||||||
|
```
|
||||||
Reference in New Issue
Block a user