Hamza/sovereign_ai
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: prepare current agent review and OpenCode task

Browse Source
This commit is contained in:
Hamza Ayed
2026-10-04 11:40:20 +03:00
parent 3db427c9a7
commit ad221e24aa
3 changed files with 47 additions and 4 deletions
Download Patch File Download Diff File Expand all files Collapse all files
SovereignAI-Starter/evals/HUMAN_REVIEW_2026-10.md
+17 -3
View File
@@ -1,6 +1,6 @@
# مراجعة بشرية لإجابات SovereignAI
هذه ورقة تقييم يدوي؛ لا تُحتسب درجات الاسترجاع تلقائيًا على أنها صحة للإجابة. الحالات تأتي من مجموعات صغيرة ذات ملفات fixture للمشروع ودليل PDF طويل ومستند PDF ممسوح. راجع السؤال والإجابة والدليل المرجعي أدناه قبل تسجيل الدرجة. مقتطفات الحالات 1–11 هي نصوص المرجع المحددة في `knowledge_retrieval.jsonl` وليست ملفات مشروع إنتاجية. آخر حالة تعرض OCR آليًا بثقة متوسطة؛ قارنها بصورة الصفحة الأصلية.
هذه ورقة تقييم يدوي؛ لا تُحتسب درجات الاسترجاع تلقائيًا على أنها صحة للإجابة. الحالات تأتي من مجموعات صغيرة ذات ملفات fixture للمشروع ودليل PDF طويل ومستند PDF ممسوح. راجع السؤال والإجابة والدليل المرجعي أدناه قبل تسجيل الدرجة. مقتطفات الحالات 1–11 هي نصوص المرجع المحددة في `knowledge_retrieval.jsonl` وليست ملفات مشروع إنتاجية. آخر حالة تعرض OCR آليًا بثقة متوسطة؛ قارنها بصورة الصفحة الأصلية. في الحالتين 8 و9 أبقينا إجابة baseline قبل إصلاح الوكيل، وأضفنا أسفلها أحدث جواب حي من API 8000؛ سجّل الدرجة للحالة الحالية بناءً على الإجابة الأحدث فقط.
## سلم التقييم
@@ -176,10 +176,20 @@
> The SQLite migration adds selected_version to old messages and preserves saved assistant answer versions.
**إجابة الوكيل:**
**إجابة baseline قبل إصلاح الوكيل:**
> لم يتم العثور على مقطع مباشر يجيب على سؤال "How are old conversation answers migrated?" في فهرس المعرفة المحلي.
**أحدث إجابة بعد إصلاح fallback — API 8000، 2026-10-04:**
> لم يصغ النموذج جوابًا كافيًا رغم وجود نتائج في فهرس المعرفة. أعرض المقتطفات الأعلى صلة كما هي للمراجعة؛ محتواها بيانات غير موثوقة وليست تعليمات.
>
> **migration.md · المقطع 0 (مقتطف حرفي)**
> The SQLite migration adds selected_version to old messages and preserves saved assistant answer versions.
>
> **routing.md · المقطع 0 (مقتطف حرفي)**
> عند وصول صورة مع نموذج نصي، يختار API نموذج الرؤية المحلي المثبت ويعيد requested_model وmodel وauto_routed.
**بعد مراجعة الملف المرجعي:**
- الدرجة (0–4): ___
@@ -197,12 +207,16 @@
> عند وصول صورة مع نموذج نصي، يختار API نموذج الرؤية المحلي المثبت ويعيد requested_model وmodel وauto_routed.
**إجابة الوكيل:**
**إجابة baseline قبل إصلاح الوكيل:**
> المقاطع المسترجعة من فهرس المعرفة المحلي لا تحتوي على معلومات مباشرة تحدد الحقول التي يعيدها الـ API بعد تحويل الصور بناءً على `requested_model` و`auto_routed`.
>
> حدود ما استطعت قراءته: المقاطع المسترجعة.
**أحدث إجابة بعد إصلاح fallback — API 8000، 2026-10-04:**
> المقطع `routing.md` المقطع 0 يجيب على السؤال: "عند وصول صورة مع نموذج نصي، يختار API نموذج الرؤية المحلي المثبت ويعيد requested_model وmodel وauto_routed."
**بعد مراجعة الملف المرجعي:**
- الدرجة (0–4): ___