Инструкция по запуску и использованию Gradio на платформе Rockchip RK3588

Установка и запуск проекта

Установка Docker и Docker Compose

Для запуска проекта вам потребуется Docker и Docker Compose. Установите их по следующим инструкциям:

• Docker
• Docker Compose

Сборка Docker Compose

1. Склонируйте репозиторий и перейдите в директорию проекта:

   git clone https://github.com/DrHo1y/rkllm-gradio-server
   cd rkllm-gradio-server
   

2. Запустите сборку проекта:

   docker compose build
   

Запуск проекта

1. Откройте терминал и перейдите в директорию, где находится файл docker-compose.yml.

2. Запустите проект с помощью команды:

   docker compose up -d
   

   Команда -d запускает контейнеры в фоновом режиме.

Завершение работы проекта

Чтобы остановить проект, выполните следующую команду:

docker compose down

Использование проекта

Запуск приложения

После успешного запуска проекта вы можете открыть браузер и перейти по адресу:

http://localhost:8080

Доступные ресурсы

Проект использует следующие виртуальные файловые системы:

• /app — для приложения.
• /cache/cache — для кэша.
• /cache/site-packages — для пакетов Python.
• /offline_packages — для офлайн пакетов.
• /ezrknn-llm — для дополнительных библиотек.

Настройка и использование моделей

Настройка моделей

Отредактируйте файл моделей как вам необходимо app/model_configs.py.