mirror of
https://github.com/DrHo1y/ezrknn-llm.git
synced 2026-11-12 10:39:33 +07:00
62 lines
2.1 KiB
Bash
Executable File
62 lines
2.1 KiB
Bash
Executable File
#!/bin/bash
|
|
|
|
#*****************************************************************************************#
|
|
# 该脚本为 RKLLM-Server-Flask 服务的一键设置脚本
|
|
# 用户可以运行该脚本实现Linux板端的 RKLLM-Server-Flask 服务的自动化部署。
|
|
# 使用说明: ./build_rkllm_server_flask.sh [目标平台:rk3588/rk3576] [RKLLM-Server工作路径] [已转换的rkllm模型在板端的绝对路径]
|
|
# example: ./build_rkllm_server_flask.sh rk3588 /user/data/rkllm_server /user/data/rkllm_server/model.rkllm
|
|
#*****************************************************************************************#
|
|
|
|
#################### 检查板端是否已经安装了 pip/gradio 库 ####################
|
|
# 1.准备板端的gradio环境
|
|
adb shell << EOF
|
|
|
|
# 检查是否安装了 pip3
|
|
if ! command -v pip3 &> /dev/null; then
|
|
echo "-------- pip3 未安装，将进行安装... --------"
|
|
# 安装 pip3
|
|
sudo apt update
|
|
sudo apt install python3-pip -y
|
|
else
|
|
echo "-------- pip3 已经安装 --------"
|
|
fi
|
|
|
|
# 检查是否安装了 flask
|
|
if ! python3 -c "import flask" &> /dev/null; then
|
|
echo "-------- flask 未安装，将进行安装... --------"
|
|
# 安装 flask
|
|
pip install flask==2.2.2 Werkzeug==2.2.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
|
|
else
|
|
echo "-------- flask 已经安装 --------"
|
|
fi
|
|
|
|
exit
|
|
|
|
EOF
|
|
|
|
#################### 推送 server 运行的相关文件进入板端 ####################
|
|
# 2.检查需要推送进板端的路径是否存在
|
|
adb shell ls $2 > /dev/null 2>&1
|
|
if [ $? -ne 0 ]; then
|
|
# 如果路径不存在，则创建路径
|
|
adb shell mkdir -p $2
|
|
echo "-------- rkllm_server 工作目录不存在，已创建目录 --------"
|
|
else
|
|
echo "-------- rkllm_server 工作目录已存在 --------"
|
|
fi
|
|
|
|
# 3.更新 ./rkllm_server/lib 中的 librkllmrt.so 文件
|
|
cp ../../runtime/Linux/librkllm_api/aarch64/librkllmrt.so ./rkllm_server/lib/
|
|
|
|
# 4.推送文件到 Linux 板端
|
|
adb push ./rkllm_server $2
|
|
|
|
#################### 进入板端并启动 server 服务 ####################
|
|
# 5.进入板端启动 server 服务
|
|
adb shell << EOF
|
|
|
|
cd $2/rkllm_server/
|
|
python3 flask_server.py --target_platform $1 --rkllm_model_path $3
|
|
|
|
EOF
|