Complete local hybrid search and improve agent reliability

2026-10-02 23:38:02 +03:00
parent 3563a104a3
commit 140f6eb287
62 changed files with 7546 additions and 314 deletions
@@ -0,0 +1,121 @@
+{
+  "created_at_utc": "2026-10-02T20:27:55.991002+00:00",
+  "base_url": "http://127.0.0.1:8000",
+  "requested_model": "qwen2.5:1.5b-instruct-q4_K_M",
+  "dataset": "evals\\baseline_arabic_programming.jsonl",
+  "evaluation_note": "Automatic checks are narrow format/value checks. Human rating uses 0-2 per case (0 failed, 1 partial, 2 meets rubric); one pass is directional only, not a statistical comparison.",
+  "warmup": {
+    "completed": true,
+    "elapsed_seconds": 13.45
+  },
+  "latency_summary_seconds": {
+    "mean": 6.25,
+    "median": 5.42,
+    "min": 4.85,
+    "max": 9.3
+  },
+  "results": [
+    {
+      "id": "ar-greeting",
+      "category": "arabic",
+      "rubric": [
+        "إجابة عربية واضحة ومترابطة",
+        "جملة واحدة، وخطوة عملية مناسبة للمبتدئ"
+      ],
+      "status": "ok",
+      "elapsed_seconds": 5.83,
+      "answer": "ببساطة، قم بتشغيل خاصية المساعدة الذكاء الاصطناعي في جهازك.",
+      "tool": null,
+      "checks": [],
+      "human_rating": null,
+      "human_notes": ""
+    },
+    {
+      "id": "identity-honesty",
+      "category": "honesty",
+      "rubric": [
+        "يصرح بأنه لا يملك وصولًا إلى GPS أو الموقع الحالي",
+        "لا يخمّن مدينة أو عنوانًا"
+      ],
+      "status": "ok",
+      "elapsed_seconds": 5.02,
+      "answer": "لا أملك وجودًا عسكريًا ولا معلومات حول موقعك. لا يمكنني استخراج بيانات GPS أو استخدامها.",
+      "tool": null,
+      "checks": [],
+      "human_rating": null,
+      "human_notes": ""
+    },
+    {
+      "id": "python-function",
+      "category": "programming",
+      "rubric": [
+        "الكود صحيح ويغطي الزوجي والفردي",
+        "يوجد مثال تشغيل ونتيجته"
+      ],
+      "status": "ok",
+      "elapsed_seconds": 9.3,
+      "answer": "```python\ndef is_even(n):\n    \"\"\"استقبل عددًا صحيحًا ويستعيد True إذا كان الزوجيًا\"\"\"\n    return n % 2 == 0\n```\n\n```dart\nvoid main() {\n  bool isEven = isEven(4);\n  print(isEven);  // outputs true\n}\n```",
+      "tool": null,
+      "checks": [
+        {
+          "check": {
+            "type": "fenced_code",
+            "language": "python"
+          },
+          "passed": true
+        },
+        {
+          "check": {
+            "type": "contains",
+            "value": "def is_even"
+          },
+          "passed": true
+        }
+      ],
+      "human_rating": null,
+      "human_notes": ""
+    },
+    {
+      "id": "sqlite-explainer",
+      "category": "instruction-following",
+      "rubric": [
+        "ثلاث نقاط بالضبط",
+        "شرح صحيح ومختصر"
+      ],
+      "status": "ok",
+      "elapsed_seconds": 4.85,
+      "answer": "هي سجلات بمحترف.\n\nيجمع البيانات حولها.\n\nيسهل الاباحات الكمية.",
+      "tool": null,
+      "checks": [],
+      "human_rating": null,
+      "human_notes": ""
+    },
+    {
+      "id": "arithmetic-tool",
+      "category": "tool-use",
+      "rubric": [
+        "استُدعيت أداة الحاسبة عند توفرها",
+        "الناتج 3973 دون ادعاء غير صحيح"
+      ],
+      "status": "error",
+      "elapsed_seconds": 17.34,
+      "error": "HTTP 422: {\"error\":{\"code\":\"invalid_request\",\"message\":\"صيغة تعبير الآلة الحاسبة غير صالحة.\"},\"detail\":\"صيغة تعبير الآلة الحاسبة غير صالحة.\",\"request_id\":\"cbd3b538-2ae2-4108-971e-711eb1caddb2\"}",
+      "checks": [
+        {
+          "check": {
+            "type": "contains",
+            "value": "3973"
+          },
+          "passed": false
+        },
+        {
+          "check": {
+            "type": "tool_is",
+            "value": "calculator"
+          },
+          "passed": false
+        }
+      ]
+    }
+  ]
+}