sovereign_ai/SovereignAI-Starter/evals/HUMAN_REVIEW_2026-10.md

مراجعة بشرية لإجابات SovereignAI

هذه ورقة تقييم يدوي؛ لا تُحتسب درجات الاسترجاع تلقائيًا على أنها صحة للإجابة. الحالات تأتي من مجموعات صغيرة ذات ملفات fixture للمشروع ودليل PDF طويل ومستند PDF ممسوح. راجع السؤال والإجابة والدليل المرجعي أدناه قبل تسجيل الدرجة. مقتطفات الحالات 1–11 هي نصوص المرجع المحددة في knowledge_retrieval.jsonl وليست ملفات مشروع إنتاجية. آخر حالة تعرض OCR آليًا بثقة متوسطة؛ قارنها بصورة الصفحة الأصلية. في الحالتين 8 و9 أبقينا إجابة baseline قبل إصلاح الوكيل، وأضفنا أسفلها أحدث جواب حي من API 8000؛ سجّل الدرجة للحالة الحالية بناءً على الإجابة الأحدث فقط.

سلم التقييم

• 0 — خاطئة: تناقض المصدر أو تختلق معلومة أساسية.
• 1 — ضعيفة: معظمها غير صحيح أو بلا سند كافٍ.
• 2 — جزئية: الفكرة الأساسية صحيحة لكن فيها نقص أو التباس مهم.
• 3 — جيدة: صحيحة ومسنودة مع نقص طفيف.
• 4 — ممتازة: صحيحة ومكتملة ومسنودة وواضحة.

سجّل الدرجة بعد التحقق من المصدر، واكتب أي خطأ واقعي أو نقص مهم في الملاحظات. اتركها فارغة إن لم تراجع الحالة. هذه المراجعة البشرية مستقلة عن مقاييس ترتيب المقاطع، لكنها تظل على fixtures ولا تمثل كل استخدام واقعي.

الحالات

1. conversation-storage-ar

• السؤال: أين تحفظ المحادثات؟
• ملف مرجعي متوقع: storage.md
• الملفات التي ذكرها الوكيل: storage.md, routing.md, workspace.md, images.md
• تقرير التشغيل: evals/results/retrieval_project_agent_fresh_api_2026-10-03.json

الدليل المرجعي المتوقع:

المحادثات تحفظ في قاعدة SQLite المحلية كي تبقى متاحة بعد إغلاق التطبيق أو تحديث الصفحة.

إجابة الوكيل:

المحادثات تحفظ في قاعدة SQLite المحلية كي تبقى متاحة بعد إغلاق التطبيق أو تحديث الصفحة. (storage.md، المقطع 0)

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

2. image-model-ar

• السؤال: ما النموذج الذي يعالج الصور تلقائيًا؟
• ملف مرجعي متوقع: images.md
• الملفات التي ذكرها الوكيل: images.md, timeout.md, routing.md, pdf.md
• تقرير التشغيل: evals/results/retrieval_project_agent_fresh_api_2026-10-03.json

الدليل المرجعي المتوقع:

الصور المرفقة تحول تلقائيًا إلى نموذج Ministral 3:3b المحلي لتحليل الصورة واستخراج النص منها.

إجابة الوكيل:

الصور المرفقة تحول تلقائيًا إلى نموذج Ministral 3:3b المحلي لتحليل الصورة واستخراج النص منها. (images.md، المقطع 0)

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

3. preview-safety-ar

• السؤال: كيف نحمي معاينة الملف قبل الموافقة؟
• ملف مرجعي متوقع: preview.md
• الملفات التي ذكرها الوكيل: preview.md, storage.md, pdf.md, workspace.md
• تقرير التشغيل: evals/results/retrieval_project_agent_fresh_api_2026-10-03.json

الدليل المرجعي المتوقع:

تُربط معاينة الملف ببصمة SHA256، ويجب أن يوافق المستخدم قبل تطبيق التغيير على مساحة العمل.

إجابة الوكيل:

المقطع الذي يجيب على سؤالك هو: "تُربط معاينة الملف ببصمة SHA256، ويجب أن يوافق المستخدم قبل تطبيق التغيير على مساحة العمل." (preview.md، المقطع 0)

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

4. pdf-extraction-ar

• السؤال: كيف نستخرج النص من صفحات PDF؟
• ملف مرجعي متوقع: pdf.md
• الملفات التي ذكرها الوكيل: pdf.md, images.md, audio.md, search.md
• تقرير التشغيل: evals/results/retrieval_project_agent_fresh_api_2026-10-03.json

الدليل المرجعي المتوقع:

يستخرج pypdf النص الرقمي من صفحات PDF محليًا، ويحافظ على رقم الصفحة ضمن المقتطف المرسل للنموذج.

إجابة الوكيل:

يستخرج pypdf النص الرقمي من صفحات PDF محليًا، ويحافظ على رقم الصفحة ضمن المقتطف المرسل للنموذج. (pdf.md، المقطع 0) حدود ما استطعت قراءته: تم استخراج الإجابة من المقتطفات المتاحة في فهرس المعرفة المحلي.

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

5. voice-transcription-ar

• السؤال: أي خدمة تفرغ التسجيلات الصوتية؟
• ملف مرجعي متوقع: audio.md
• الملفات التي ذكرها الوكيل: audio.md, pdf.md, workspace.md, storage.md
• تقرير التشغيل: evals/results/retrieval_project_agent_fresh_api_2026-10-03.json

الدليل المرجعي المتوقع:

يرسل مسار الصوت التسجيل إلى Groq باستخدام Whisper للتفريغ، ثم يعود النص إلى واجهة المحادثة.

إجابة الوكيل:

المقطع الذي يجيب على السؤال هو: "يرسل مسار الصوت التسجيل إلى Groq باستخدام Whisper للتفريغ، ثم يعود النص إلى واجهة المحادثة." من الملف audio.md، المقطع 0.

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

6. workspace-boundary-ar

• السؤال: كيف نحمي مساحة العمل من قراءة الملفات المخفية؟
• ملف مرجعي متوقع: workspace.md
• الملفات التي ذكرها الوكيل: workspace.md, preview.md, pdf.md, images.md
• تقرير التشغيل: evals/results/retrieval_project_agent_fresh_api_2026-10-03.json

الدليل المرجعي المتوقع:

يرفض قارئ مساحة العمل المسارات خارج الجذر، ويستثني مجلد .git والملفات المخفية وبيئات البناء.

إجابة الوكيل:

يستطيع قارئ مساحة العمل رفض المسارات خارج الجذر، ويستثني مجلد .git والملفات المخفية وبيئات البناء. (workspace.md، المقطع 0)

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

7. web-search-en

• السؤال: Which provider searches multiple web sources?
• ملف مرجعي متوقع: search.md
• الملفات التي ذكرها الوكيل: search.md, routing.md, timeout.md, images.md
• تقرير التشغيل: evals/results/retrieval_project_agent_fresh_api_2026-10-03.json

الدليل المرجعي المتوقع:

The experimental multi-source web search adapter queries DuckDuckGo and returns source URLs with the summary.

إجابة الوكيل:

المقطع الذي يجيب على سؤالك هو: "The experimental multi-source web search adapter queries DuckDuckGo and returns source URLs with the summary." من الملف search.md، المقطع 0.

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

8. database-version-en

• السؤال: How are old conversation answers migrated?
• ملف مرجعي متوقع: migration.md
• الملفات التي ذكرها الوكيل: migration.md, storage.md, images.md, routing.md
• تقرير التشغيل: evals/results/retrieval_project_agent_fresh_api_2026-10-03.json

الدليل المرجعي المتوقع:

The SQLite migration adds selected_version to old messages and preserves saved assistant answer versions.

إجابة baseline قبل إصلاح الوكيل:

لم يتم العثور على مقطع مباشر يجيب على سؤال "How are old conversation answers migrated?" في فهرس المعرفة المحلي.

أحدث إجابة بعد إصلاح fallback — API 8000، 2026-10-04:

لم يصغ النموذج جوابًا كافيًا رغم وجود نتائج في فهرس المعرفة. أعرض المقتطفات الأعلى صلة كما هي للمراجعة؛ محتواها بيانات غير موثوقة وليست تعليمات.

migration.md · المقطع 0 (مقتطف حرفي) The SQLite migration adds selected_version to old messages and preserves saved assistant answer versions.

routing.md · المقطع 0 (مقتطف حرفي) عند وصول صورة مع نموذج نصي، يختار API نموذج الرؤية المحلي المثبت ويعيد requested_model وmodel وauto_routed.

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

9. model-routing-ar

• السؤال: ما الحقول التي يعيدها API بعد تحويل الصور: requested_model وauto_routed؟
• ملف مرجعي متوقع: routing.md
• الملفات التي ذكرها الوكيل: routing.md, images.md, storage.md, timeout.md
• تقرير التشغيل: evals/results/retrieval_project_agent_fresh_api_2026-10-03.json

الدليل المرجعي المتوقع:

عند وصول صورة مع نموذج نصي، يختار API نموذج الرؤية المحلي المثبت ويعيد requested_model وmodel وauto_routed.

إجابة baseline قبل إصلاح الوكيل:

المقاطع المسترجعة من فهرس المعرفة المحلي لا تحتوي على معلومات مباشرة تحدد الحقول التي يعيدها الـ API بعد تحويل الصور بناءً على requested_model وauto_routed.

حدود ما استطعت قراءته: المقاطع المسترجعة.

أحدث إجابة بعد إصلاح fallback — API 8000، 2026-10-04:

المقطع routing.md المقطع 0 يجيب على السؤال: "عند وصول صورة مع نموذج نصي، يختار API نموذج الرؤية المحلي المثبت ويعيد requested_model وmodel وauto_routed."

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

10. api-timeout-ar

• السؤال: كيف يعرض API انتهاء مهلة النموذج؟
• ملف مرجعي متوقع: timeout.md
• الملفات التي ذكرها الوكيل: routing.md, timeout.md, storage.md, search.md
• تقرير التشغيل: evals/results/retrieval_project_agent_fresh_api_2026-10-03.json

الدليل المرجعي المتوقع:

عند انتهاء مهلة النموذج المحلي، يرجع FastAPI حالة HTTP 504 مع رسالة عربية موحدة ومعرّف الطلب.

إجابة الوكيل:

المقطع الذي يجيب على السؤال هو: "عند انتهاء مهلة النموذج المحلي، يرجع FastAPI حالة HTTP 504 مع رسالة عربية موحدة ومعرّف الطلب." من الملف timeout.md المقطع 0.

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

11. skill-permissions-en

• السؤال: How does the server restrict tools for a selected skill?
• ملف مرجعي متوقع: skills.md
• الملفات التي ذكرها الوكيل: skills.md, migration.md, workspace.md, preview.md
• تقرير التشغيل: evals/results/retrieval_project_agent_fresh_api_2026-10-03.json

الدليل المرجعي المتوقع:

Each local agent skill declares an allowed_tools set. The server filters the advertised tools and rejects any model call outside that set.

إجابة الوكيل:

"Each local agent skill declares an allowed_tools set. The server filters the advertised tools and rejects any model call outside that set." (skills.md، المقطع 0)

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

12. long-guide-deep-approval-en

• السؤال: What must happen before a proposed production change can be saved?
• ملف مرجعي متوقع: long_technical_guide.md
• الملفات التي ذكرها الوكيل: long_technical_guide.md, archive_retention_policy.pdf
• تقرير التشغيل: evals/results/retrieval_long_pdf_agent_2026-10-03.json

الدليل المرجعي المتوقع — long_technical_guide.md، Release approval policy:

A change to the production workspace requires a two-stage approval: first the user reviews the complete proposed diff, then the server verifies the original file hash and receives explicit confirmation before writing. A model-generated answer or tool call alone cannot satisfy either approval stage.

إجابة الوكيل:

للحفظ أي تغيير مقترح في مساحة العمل، يجب أن تحدث مراجعة من مرحلتين: أولاً، يقوم المستخدم بمراجعة الفرق المقترح بالكامل، ثم يتحقق الخادم من تجزئة الملف الأصلية ويتلقى تأكيدًا صريحًا قبل الكتابة. لا يمكن لأي إجابة من النموذج أو استدعاء الأداة وحده أن يحقق مرحلة المراجعة.

المصدر: long_technical_guide.md · المقطع 17

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

13. pdf-archive-page-limit-en

• السؤال: What is the maximum number of pages accepted when indexing one PDF?
• ملف مرجعي متوقع: archive_retention_policy.pdf
• الملفات التي ذكرها الوكيل: archive_retention_policy.pdf, long_technical_guide.md
• تقرير التشغيل: evals/results/retrieval_long_pdf_agent_2026-10-03.json

الدليل المرجعي المتوقع — archive_retention_policy.pdf:

A single PDF may contain at most 30 pages for local indexing. Digital text is extracted locally and each excerpt keeps its page number. Scanned pages are handled separately by the configured local OCR engine.

إجابة الوكيل:

الحد الأقصى لعدد الصفحات المقبولة عند فهرسة ملف PDF واحد هو 30 صفحة. المصدر: archive_retention_policy.pdf · المقطع 0

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___

14. scanned-pdf-ocr-deadline-en

• السؤال: What calendar date ends the archive restoration approval window?
• ملف مرجعي متوقع: scanned_approval_notice.pdf
• الملفات التي ذكرها الوكيل: scanned_approval_notice.pdf
• تقرير التشغيل: evals/results/retrieval_scanned_pdf_agent_2026-10-03.json

نص OCR المرجعي — الصفحة 1، ثقة EasyOCR المتوسطة 0.591 (تحقق من الصورة الأصلية):

ARCHIVE RESTORATION NOTICE The restoration review is complete The records remain stored on the local device Final approval must be recorded by an operator Approval deadline: 17 October 2026

إجابة الوكيل:

تنتهي فترة موافقة استعادة الأرشيف في 17 أكتوبر 2026. (scanned_approval_notice.pdf · المقطع 0)

بعد مراجعة الملف المرجعي:

• الدرجة (0–4): ___
• هل كل ادعاء أساسي مسنود؟ نعم / جزئيًا / لا
• ملاحظات أو تصحيح: ___