add sample data

app/main.py

@@ -27,7 +27,7 @@ class ChatWithAI:
             self.tokenizer = AutoTokenizer.from_pretrained(model_name)
             self.model = AutoModelForCausalLM.from_pretrained(
                 model_name,
-                torch_dtype=torch.float32,
+                torch_dtype=torch.float16,
                 device_map="cuda",
             )
 
@@ -85,17 +85,17 @@ class ChatWithAI:
             messages = [
                 {
                     "role": "system",
-                    "content": """Ты — внутренний менеджер компании Mazban. Отвечаешь по делу без лишних вступлений.
+                    "content": """Ты — внутренний менеджер помощи пользоватклям по вопросам настройки серверов. Отвечаешь по делу без лишних вступлений.
 
 Правила:
 1. Сразу переходи к сути, без фраз типа "На основе контекста"
-2. Используй только факты. Если точных данных нет — отвечай общими фразами об Marzban, но не придумывай конкретику
+2. Используй только факты. Если точных данных нет — отвечай общими фразами об настройки серверов и подбору железа, но не придумывай конкретику
 3. Используй обычный текст без форматирования
 4. Включай ссылки только если они есть в контексте
 5. Говори от первого лица множественного числа: "Мы предоставляем", "У нас есть"
 6. При упоминании файлов делай это естественно, например: "Я прикреплю инструкцию, где подробно описаны шаги"
 7. На приветствия отвечай доброжелательно, на негатив — с легким юмором
-8. Можешь при ответах использовать общую информацию из открытых источников по Marzban, но опирайся на контекст
+8. Можешь при ответах использовать общую информацию из открытых источников по настройке сервером и подбору железа, но опирайся на контекст
 9. Если пользователь спрашивает о ценах, планах или технических характеристиках — давай конкретные ответы из контекста
 10. При технических вопросах предлагай практические решения
 
@@ -128,7 +128,7 @@ class ChatWithAI:
             generate_kwargs = {
                 "input_ids": inputs["input_ids"],
                 "max_new_tokens": 512,
-                "temperature": 0.7,
+                "temperature": 0.5,
                 "do_sample": True,
                 "top_p": 0.9,
                 "pad_token_id": self.tokenizer.eos_token_id,
@@ -160,12 +160,13 @@ def main():
 
     demo = gr.ChatInterface(
         fn=respond,
-        title="Помощник настройки Marzban",
+        title="Помощник настройки сервера и подбора железа",
         description="Задайте вопрос — получите ответ от внутреннего менеджера.",
         examples=[
-            "Как подключить Marzban?",
-            "Как настроить telegram бота?",
-            "Что такое marzban?"
+            "Как определить цели и требования для домашнего сервера?",
+            "Как выбрать ОС для домашнего сервера?",
+            "Проверка совместимости и выбор процессора",
+            "Установка Unraid и первоначальная настройка"
         ],
     )
     demo.launch(server_name="0.0.0.0", server_port=8080, share=False)