add new model in list
All checks were successful
Build, Push and Redeploy Docker Image / build-and-push (push) Successful in 4m43s
All checks were successful
Build, Push and Redeploy Docker Image / build-and-push (push) Successful in 4m43s
This commit is contained in:
@@ -15,31 +15,20 @@ model_configs = {
|
|||||||
"Qwen2.5-3B-Instruct-w8w8": {"filename": "Qwen2.5-3B-Instruct-w8w8.rkllm"}
|
"Qwen2.5-3B-Instruct-w8w8": {"filename": "Qwen2.5-3B-Instruct-w8w8.rkllm"}
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
"Qwen2.5-Coder-3B-Instruct-w8w8-For-clear-code": {
|
"DeepSeek-R1-Distill-Qwen-1.5B_FP16_RK3588": {
|
||||||
"base_config": {
|
"base_config": {
|
||||||
"st_model_id": "Qwen/Qwen2.5-14B-Instruct",
|
"st_model_id": "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B",
|
||||||
"max_context_len": 128000,
|
"max_context_len": 128000,
|
||||||
"max_new_tokens": 8192,
|
"max_new_tokens": 8192,
|
||||||
"top_k": 5,
|
"top_k": 5,
|
||||||
"top_p": 0.8,
|
"top_p": 0.95,
|
||||||
"temperature": 0.2,
|
"temperature": 0.6,
|
||||||
"repeat_penalty": 1.00,
|
"repeat_penalty": 1.00,
|
||||||
"frequency_penalty": 0.2,
|
"frequency_penalty": 0.2,
|
||||||
"system_prompt": """
|
"system_prompt": "You are Deepseek. You are a helpful assistant."
|
||||||
Ты — эксперт по программированию, и твоя задача — генерировать только рабочий код без каких-либо комментариев, объяснений или дополнительного текста. Вывод должен содержать исключительно код, который можно скопировать и использовать напрямую.
|
|
||||||
|
|
||||||
<описание задачи>
|
|
||||||
|
|
||||||
Пример:
|
|
||||||
Если требуется написать функцию на Python, которая суммирует два числа, то ответ должен быть таким:
|
|
||||||
```
|
|
||||||
def sum(a, b):
|
|
||||||
return a + b
|
|
||||||
```
|
|
||||||
"""
|
|
||||||
},
|
},
|
||||||
"models": {
|
"models": {
|
||||||
"Qwen2.5-Coder-3B-Instruct-w8w8-For-clear-code": {"filename": "Qwen2.5-Coder-3B-Instruct-w8w8.rkllm"}
|
"DeepSeek-R1-Distill-Qwen-1.5B_FP16_RK3588": {"filename": "DeepSeek-R1-Distill-Qwen-1.5B_FP16_RK3588.rkllm"}
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
"Qwen2.5-Coder-3B-Instruct-w8w8": {
|
"Qwen2.5-Coder-3B-Instruct-w8w8": {
|
||||||
|
|||||||
Reference in New Issue
Block a user