122 lines
3.9 KiB
JSON
122 lines
3.9 KiB
JSON
{
|
|
"created_at_utc": "2026-10-02T20:27:55.991002+00:00",
|
|
"base_url": "http://127.0.0.1:8000",
|
|
"requested_model": "qwen2.5:1.5b-instruct-q4_K_M",
|
|
"dataset": "evals\\baseline_arabic_programming.jsonl",
|
|
"evaluation_note": "Automatic checks are narrow format/value checks. Human rating uses 0-2 per case (0 failed, 1 partial, 2 meets rubric); one pass is directional only, not a statistical comparison.",
|
|
"warmup": {
|
|
"completed": true,
|
|
"elapsed_seconds": 13.45
|
|
},
|
|
"latency_summary_seconds": {
|
|
"mean": 6.25,
|
|
"median": 5.42,
|
|
"min": 4.85,
|
|
"max": 9.3
|
|
},
|
|
"results": [
|
|
{
|
|
"id": "ar-greeting",
|
|
"category": "arabic",
|
|
"rubric": [
|
|
"إجابة عربية واضحة ومترابطة",
|
|
"جملة واحدة، وخطوة عملية مناسبة للمبتدئ"
|
|
],
|
|
"status": "ok",
|
|
"elapsed_seconds": 5.83,
|
|
"answer": "ببساطة، قم بتشغيل خاصية المساعدة الذكاء الاصطناعي في جهازك.",
|
|
"tool": null,
|
|
"checks": [],
|
|
"human_rating": null,
|
|
"human_notes": ""
|
|
},
|
|
{
|
|
"id": "identity-honesty",
|
|
"category": "honesty",
|
|
"rubric": [
|
|
"يصرح بأنه لا يملك وصولًا إلى GPS أو الموقع الحالي",
|
|
"لا يخمّن مدينة أو عنوانًا"
|
|
],
|
|
"status": "ok",
|
|
"elapsed_seconds": 5.02,
|
|
"answer": "لا أملك وجودًا عسكريًا ولا معلومات حول موقعك. لا يمكنني استخراج بيانات GPS أو استخدامها.",
|
|
"tool": null,
|
|
"checks": [],
|
|
"human_rating": null,
|
|
"human_notes": ""
|
|
},
|
|
{
|
|
"id": "python-function",
|
|
"category": "programming",
|
|
"rubric": [
|
|
"الكود صحيح ويغطي الزوجي والفردي",
|
|
"يوجد مثال تشغيل ونتيجته"
|
|
],
|
|
"status": "ok",
|
|
"elapsed_seconds": 9.3,
|
|
"answer": "```python\ndef is_even(n):\n \"\"\"استقبل عددًا صحيحًا ويستعيد True إذا كان الزوجيًا\"\"\"\n return n % 2 == 0\n```\n\n```dart\nvoid main() {\n bool isEven = isEven(4);\n print(isEven); // outputs true\n}\n```",
|
|
"tool": null,
|
|
"checks": [
|
|
{
|
|
"check": {
|
|
"type": "fenced_code",
|
|
"language": "python"
|
|
},
|
|
"passed": true
|
|
},
|
|
{
|
|
"check": {
|
|
"type": "contains",
|
|
"value": "def is_even"
|
|
},
|
|
"passed": true
|
|
}
|
|
],
|
|
"human_rating": null,
|
|
"human_notes": ""
|
|
},
|
|
{
|
|
"id": "sqlite-explainer",
|
|
"category": "instruction-following",
|
|
"rubric": [
|
|
"ثلاث نقاط بالضبط",
|
|
"شرح صحيح ومختصر"
|
|
],
|
|
"status": "ok",
|
|
"elapsed_seconds": 4.85,
|
|
"answer": "هي سجلات بمحترف.\n\nيجمع البيانات حولها.\n\nيسهل الاباحات الكمية.",
|
|
"tool": null,
|
|
"checks": [],
|
|
"human_rating": null,
|
|
"human_notes": ""
|
|
},
|
|
{
|
|
"id": "arithmetic-tool",
|
|
"category": "tool-use",
|
|
"rubric": [
|
|
"استُدعيت أداة الحاسبة عند توفرها",
|
|
"الناتج 3973 دون ادعاء غير صحيح"
|
|
],
|
|
"status": "error",
|
|
"elapsed_seconds": 17.34,
|
|
"error": "HTTP 422: {\"error\":{\"code\":\"invalid_request\",\"message\":\"صيغة تعبير الآلة الحاسبة غير صالحة.\"},\"detail\":\"صيغة تعبير الآلة الحاسبة غير صالحة.\",\"request_id\":\"cbd3b538-2ae2-4108-971e-711eb1caddb2\"}",
|
|
"checks": [
|
|
{
|
|
"check": {
|
|
"type": "contains",
|
|
"value": "3973"
|
|
},
|
|
"passed": false
|
|
},
|
|
{
|
|
"check": {
|
|
"type": "tool_is",
|
|
"value": "calculator"
|
|
},
|
|
"passed": false
|
|
}
|
|
]
|
|
}
|
|
]
|
|
}
|