add minimal fix
This commit is contained in:
16
app/main.py
16
app/main.py
@@ -171,6 +171,12 @@ def main():
|
|||||||
def initialize_model(selected_model_key):
|
def initialize_model(selected_model_key):
|
||||||
"""Создаёт или перезагружает экземпляр ChatWithAI с выбранной моделью."""
|
"""Создаёт или перезагружает экземпляр ChatWithAI с выбранной моделью."""
|
||||||
nonlocal chat
|
nonlocal chat
|
||||||
|
if chat is not None:
|
||||||
|
logger.info(f"Смена модели")
|
||||||
|
# Удаляем экземпляр
|
||||||
|
del chat
|
||||||
|
torch.cuda.empty_cache()
|
||||||
|
|
||||||
model_path = MODEL_OPTIONS[selected_model_key]
|
model_path = MODEL_OPTIONS[selected_model_key]
|
||||||
try:
|
try:
|
||||||
chat = ChatWithAI(model_path)
|
chat = ChatWithAI(model_path)
|
||||||
@@ -183,12 +189,7 @@ def main():
|
|||||||
gr.update(visible=False), \
|
gr.update(visible=False), \
|
||||||
f"❌ Ошибка загрузки модели: {str(e)}"
|
f"❌ Ошибка загрузки модели: {str(e)}"
|
||||||
|
|
||||||
def respond(message, history, model_choice):
|
def respond(message, history):
|
||||||
nonlocal chat
|
|
||||||
if chat is None:
|
|
||||||
yield "Сначала выберите модель и дождитесь загрузки."
|
|
||||||
return
|
|
||||||
|
|
||||||
# Генерируем ответ по частям
|
# Генерируем ответ по частям
|
||||||
for token in chat.generate_response_stream(message):
|
for token in chat.generate_response_stream(message):
|
||||||
yield token
|
yield token
|
||||||
@@ -217,7 +218,6 @@ def main():
|
|||||||
label="Чат",
|
label="Чат",
|
||||||
height=600,
|
height=600,
|
||||||
bubble_full_width=False,
|
bubble_full_width=False,
|
||||||
avatar_images=("./user_avatar.png", "./bot_avatar.png")
|
|
||||||
)
|
)
|
||||||
msg = gr.Textbox(
|
msg = gr.Textbox(
|
||||||
label="Сообщение",
|
label="Сообщение",
|
||||||
@@ -236,7 +236,7 @@ def main():
|
|||||||
# Отправка сообщения
|
# Отправка сообщения
|
||||||
msg.submit(
|
msg.submit(
|
||||||
respond,
|
respond,
|
||||||
inputs=[msg, chatbot, model_dropdown],
|
inputs=[msg, chatbot],
|
||||||
outputs=[chatbot]
|
outputs=[chatbot]
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user