Hamza/sovereign_ai
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Expand retrieval evaluation to long docs and PDF

Browse Source
This commit is contained in:
Hamza Ayed
2026-10-03 19:06:54 +03:00
parent cfca1ebff0
commit 332f43aaf0
7 changed files with 530 additions and 6 deletions
Download Patch File Download Diff File Expand all files Collapse all files
SovereignAI-Starter/evals/knowledge_retrieval_extended.jsonl
+13
View File
@@ -0,0 +1,13 @@
{"id": "conversation-storage-ar", "query": "أين تحفظ المحادثات؟", "document": "storage.md", "expected_evidence": "SQLite", "text": "المحادثات تحفظ في قاعدة SQLite المحلية كي تبقى متاحة بعد إغلاق التطبيق أو تحديث الصفحة."}
{"id": "image-model-ar", "query": "ما النموذج الذي يعالج الصور تلقائيًا؟", "document": "images.md", "expected_evidence": "Ministral 3:3b", "text": "الصور المرفقة تحول تلقائيًا إلى نموذج Ministral 3:3b المحلي لتحليل الصورة واستخراج النص منها."}
{"id": "preview-safety-ar", "query": "كيف نحمي معاينة الملف قبل الموافقة؟", "document": "preview.md", "expected_evidence": "SHA256", "text": "تُربط معاينة الملف ببصمة SHA256، ويجب أن يوافق المستخدم قبل تطبيق التغيير على مساحة العمل."}
{"id": "pdf-extraction-ar", "query": "كيف نستخرج النص من صفحات PDF؟", "document": "pdf.md", "expected_evidence": "pypdf", "text": "يستخرج pypdf النص الرقمي من صفحات PDF محليًا، ويحافظ على رقم الصفحة ضمن المقتطف المرسل للنموذج."}
{"id": "voice-transcription-ar", "query": "أي خدمة تفرغ التسجيلات الصوتية؟", "document": "audio.md", "expected_evidence": "Groq", "text": "يرسل مسار الصوت التسجيل إلى Groq باستخدام Whisper للتفريغ، ثم يعود النص إلى واجهة المحادثة."}
{"id": "workspace-boundary-ar", "query": "كيف نحمي مساحة العمل من قراءة الملفات المخفية؟", "document": "workspace.md", "expected_evidence": ".git", "text": "يرفض قارئ مساحة العمل المسارات خارج الجذر، ويستثني مجلد .git والملفات المخفية وبيئات البناء."}
{"id": "web-search-en", "query": "Which provider searches multiple web sources?", "document": "search.md", "expected_evidence": "DuckDuckGo", "text": "The experimental multi-source web search adapter queries DuckDuckGo and returns source URLs with the summary."}
{"id": "database-version-en", "query": "How are old conversation answers migrated?", "document": "migration.md", "expected_evidence": "selected_version", "text": "The SQLite migration adds selected_version to old messages and preserves saved assistant answer versions."}
{"id": "model-routing-ar", "query": "ما الحقول التي يعيدها API بعد تحويل الصور: requested_model وauto_routed؟", "document": "routing.md", "expected_evidence": "auto_routed", "text": "عند وصول صورة مع نموذج نصي، يختار API نموذج الرؤية المحلي المثبت ويعيد requested_model وmodel وauto_routed."}
{"id": "api-timeout-ar", "query": "كيف يعرض API انتهاء مهلة النموذج؟", "document": "timeout.md", "expected_evidence": "504", "text": "عند انتهاء مهلة النموذج المحلي، يرجع FastAPI حالة HTTP 504 مع رسالة عربية موحدة ومعرّف الطلب."}
{"id": "skill-permissions-en", "query": "How does the server restrict tools for a selected skill?", "document": "skills.md", "expected_evidence": "allowed_tools", "text": "Each local agent skill declares an allowed_tools set. The server filters the advertised tools and rejects any model call outside that set."}
{"id": "long-guide-deep-approval-en", "query": "What must happen before a proposed production change can be saved?", "document": "long_technical_guide.md", "expected_evidence": "two-stage approval", "source_path": "evals/fixtures/long_technical_guide.md"}
{"id": "pdf-archive-page-limit-en", "query": "What is the maximum number of pages accepted when indexing one PDF?", "document": "archive_retention_policy.pdf", "expected_evidence": "30 pages", "source_path": "evals/fixtures/archive_retention_policy.pdf"}