edit docker compose
This commit is contained in:
@@ -7,10 +7,6 @@ message_print() {
|
||||
echo
|
||||
}
|
||||
|
||||
message_print "install apt packages"
|
||||
apt update
|
||||
apt install -y pip git curl wget nano sudo apt-utils cmake
|
||||
|
||||
cd /
|
||||
|
||||
message_print "Changing to repository..."
|
||||
@@ -18,13 +14,16 @@ git clone https://github.com/DrHo1y/ezrknn-llm
|
||||
cd ezrknn-llm/
|
||||
cp ./rkllm-runtime/runtime/Linux/librkllm_api/aarch64/* /usr/lib
|
||||
cp ./rkllm-runtime/runtime/Linux/librkllm_api/include/* /usr/local/include
|
||||
|
||||
message_print "Compiling LLM runtime for Linux..."
|
||||
cd ./rkllm-runtime/examples/rkllm_api_demo/
|
||||
bash build-linux.sh
|
||||
|
||||
message_print "Moving rkllm to /usr/bin..."
|
||||
cp ./build/build_linux_aarch64_Release/llm_demo /usr/bin/rkllm
|
||||
echo "* soft nofile 16384" >> /etc/security/limits.conf
|
||||
echo "* hard nofile 1048576" >> /etc/security/limits.conf
|
||||
|
||||
message_print "Increasing file limit for all users (needed for LLMs to run)..."
|
||||
echo "root soft nofile 16384" >> /etc/security/limits.conf
|
||||
echo "root hard nofile 1048576" >> /etc/security/limits.conf
|
||||
|
||||
@@ -25,7 +25,18 @@ model_configs = {
|
||||
"temperature": 0.2,
|
||||
"repeat_penalty": 1.00,
|
||||
"frequency_penalty": 0.2,
|
||||
"system_prompt": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."
|
||||
"system_prompt": """
|
||||
Ты — эксперт по программированию, и твоя задача — генерировать только рабочий код без каких-либо комментариев, объяснений или дополнительного текста. Вывод должен содержать исключительно код, который можно скопировать и использовать напрямую.
|
||||
|
||||
<описание задачи>
|
||||
|
||||
Пример:
|
||||
Если требуется написать функцию на Python, которая суммирует два числа, то ответ должен быть таким:
|
||||
```
|
||||
def sum(a, b):
|
||||
return a + b
|
||||
```
|
||||
"""
|
||||
},
|
||||
"models": {
|
||||
"Qwen2.5-Coder-3B-Instruct-w8w8": {"filename": "Qwen2.5-Coder-3B-Instruct-w8w8.rkllm"}
|
||||
|
||||
Reference in New Issue
Block a user