FROM nvidia/cuda:12.1.0-runtime-ubuntu22.04 AS builder

# Установка зависимостей

RUN apt update && apt-get install -y \
    python3.10 pip git curl wget nano sudo apt-utils && \
    rm -rf /var/lib/apt/lists/*

# Установка RKLLM Toolkit
RUN git clone https://github.com/airockchip/rknn-llm

# Удаляем защиту PEP 668
RUN rm -f /usr/lib/python3.*/EXTERNALLY-MANAGED || true

RUN pip3 install torch==2.6.0 numpy==1.26.4

# 2. Установите auto_gptq БЕЗ CUDA (игнорируя суффиксы версий)
RUN pip install auto-gptq==0.7.1 --no-build-isolation

# Установка Python-пакета
RUN pip3 install /rknn-llm/rkllm-toolkit/packages/rkllm_toolkit-1.2.3-cp310-cp310-linux_x86_64.whl

# Клонирование модели
WORKDIR /work
VOLUME ["/models", "/output"]

# Точка входа для компиляции
CMD ["bash"]