Handle malformed sandbox output safely

SovereignAI-Starter/ROADMAP.md

@@ -106,8 +106,8 @@
 4. [x] كتابة مضبوطة: إنشاء وتعديل ملفات داخل مساحة العمل فقط، مع معاينة diff وتأكيد المستخدم قبل التطبيق. (2026-10-02: لا كتابة عند المعاينة؛ الرمز مؤقت ولمرة واحدة، وفحص المسار والبصمة يعاد قبل التطبيق؛ اجتازت اختبارات Python واختبارات واجهة Flutter، وأُعيد تشغيل Windows Debug وFastAPI بالتغييرات.)
 5. أوامر تطوير: تشغيل أوامر محددة في بيئة معزولة وبمهلة وحدود موارد، ومع موافقة لكل أمر في البداية. (2026-10-03: تحقق Windows 10 Pro 19045، Intel i7-6600U مع virtualization firmware مفعّل، RAM 15.9GB والمتاح وقت القياس 5.2GB، و40.8GB مساحة فارغة على C:. لا يوجد `WindowsSandbox.exe` أو Docker. استعلاما WSL أعادا شاشة المساعدة فلم يثبتا توفر توزيعة. فحص Windows Sandbox يحتاج مسؤولًا؛ محاولة DISM مرتفعة الصلاحية انتهت بخطأ `0xc0000142` ولم تغيّر إعدادًا. أُعدّ prototype محلي بـAppContainer وJob Object (`scripts/appcontainer_probe.cpp`): 512 MiB، حد 8 عمليات، مهلة 30 ثانية، وإنهاء شجرة العمليات عند إغلاق الـJob. في تشغيل Windows بأذونات مناسبة نجح smoke test: `cmd.exe` عمل داخل الحاوية؛ مُنع من قراءة ملف Temp للمضيف ومن إنشاء ملف خارجه، بينما نجح في الكتابة والقراءة من مجلد العمل المعزول. نُسخ `README.md` من المشروع إلى الحاوية ثم استخدم `curl.exe file://` لنسخه منها؛ النسخة تطابقت بايتًا ببايت. اختُبر `curl.exe` داخل الحاوية (`--version` exit 0)، وفشل الوصول إلى `/health` على `127.0.0.1:8100` بمهلة curl 28 رغم نجاح endpoint من المضيف؛ هذا فحص اتصال محلي فقط، وليس اختبارًا للإنترنت العام. إعداد AppContainer بلا قدرات شبكية. الجلسة المقيدة لدى Codex فشلت في إنشاء الملف الشخصي بـ`0x80070005`، بينما نجح الفاحص عبر جلسة التنفيذ المسموحة؛ يحتوي `scripts/run_appcontainer_probe.ps1` على build وتشغيل وتنظيف مؤقت قابل للتكرار. ما زال هذا prototype غير مدمج في الوكيل ولا توجد أوامر عامة قابلة للتنفيذ. التالي: تجربة نسخ ملفات محددة وآمنة من مساحة يختارها المستخدم مع حدود حجم واستثناء الأسرار والروابط الرمزية، ثم إرجاع المخرجات/diff والتحقق من الموارد والمهلة، وبعدها دمج قائمة أوامر مسموحة وموافقة صريحة في API والواجهة. [AppContainer isolation](https://learn.microsoft.com/en-us/windows/win32/secauthz/appcontainer-isolation)، [تنفيذ AppContainer](https://learn.microsoft.com/en-us/windows/win32/secauthz/implementing-an-appcontainer)، [Job Objects](https://learn.microsoft.com/en-us/windows/win32/procthread/job-objects).)
    - [x] تجهيز Snapshot محدود لملفات يختارها المستخدم (`app/execution_snapshot.py`): يفرض جذر workspace المعتمد للحساب، حتى 50 ملفًا، 512KB لكل ملف و10MB إجماليًا، ويقبل الامتدادات المدعومة فقط. يرفض المسارات المخفية/المستثناة/الخارجة، والروابط الرمزية، وأسماء أجهزة Windows المحجوزة، وأسماء الملفات/المحتوى التي تكشف مفاتيح معروفة أو قيم اعتماد مباشرة؛ وينسخ إلى مجلد مؤقت مع SHA-256 لكل ملف. 7 اختبارات snapshot و7 اختبارات workspace ناجحة (2026-10-03). فحص الأسرار محافظ وليس ماسحًا شاملًا ولا يغني عن المراجعة. مرّ الـSnapshot عبر driver تطوير تجريبي إلى broker، لكنه غير مربوط بعد بطلب API أو منتقي ملفات المستخدم.
-   - [x] تشغيل Python من ملفات Snapshot في AppContainer: نُسخت ملفات التشغيل القياسية وDLLs من Python 3.14 (33,627,970 بايت/631 ملفًا، دون `site-packages`)، وشغّل broker ملف `.py` الموجود داخل Snapshot وأعاد ملف نتيجة؛ تحقق الخروج `0`. يلتقط stdout/stderr عبر pipe ويخزن أول 64KB فقط: اختبار خرج 70KB أعاد 65,536 بايت وعلامة `truncated=true`. ما زال اختبار stderr غير UTF-8 مطلوبًا، والملف المشغل الحالي fixture تجريبي من المشروع.
+    - [x] تشغيل Python من ملفات Snapshot في AppContainer: نُسخت ملفات التشغيل القياسية وDLLs من Python 3.14 (33,627,970 بايت/631 ملفًا، دون `site-packages`)، وشغّل broker ملف `.py` الموجود داخل Snapshot وأعاد ملف نتيجة؛ تحقق الخروج `0`. يلتقط stdout/stderr عبر pipe ويخزن أول 64KB فقط: اختبار خرج 70KB أعاد 65,536 بايت وعلامة `truncated=true`. (2026-10-03: أعيد تشغيل probe كاملًا؛ fixture كتب بايتات stderr غير صالحة UTF-8، ونجح التحويل باستبدالها بـU+FFFD بدل فقد المخرجات. انتهى التشغيل `shell_exit=0`، وظلت نتيجة الملف داخل الحاوية.) الملف المشغل fixture فقط وليس كودًا اختاره المستخدم.
-   - [x] اختبار مراقبة مساحة بيانات الحاوية، لكن النتيجة **غير صالحة كحد أمني**: في تجربة تشخيصية بخلفية I/O مُعلنة 2MiB/s وهدف إيقاف 120MiB من أصل 128MiB، جرى 256 فحصًا وكان آخر حجم مرصود 92,394,158 بايت؛ انتهى التشغيل بمهلة 25 ثانية، ثم أظهر القياس النهائي 184,526,172 بايت (~176MiB). لذلك لا يمكن الاعتماد على مسح المجلد أو Job I/O للتحكم بسعة القرص. جُرّب اختبار VHDX مؤقت محدود عبر UAC، لكن Windows ألغى طلب الرفع ولم يبدأ إنشاء القرص؛ لم يتغير أي قرص. يلزم مشغّل/مخزن معزول بحدّ يفرضه نظام التشغيل، ويجب إبقاء تنفيذ الأكواد العامة معطلًا حتى يثبت ذلك.
+    - [x] اختبار مراقبة مساحة بيانات الحاوية، لكن النتيجة **غير صالحة كحد تخزين يفرضه النظام**: في تجربة تشخيصية أقدم تجاوز القياس الهدف ووصل إلى نحو 176MiB. (2026-10-03: أُعيد الاختبار بكتابة متزامنة؛ أوقف الـbroker المهمة عند `ERROR_DISK_FULL`، لكنه رصد 134,863,136 بايت مقابل حد 134,217,728، أي تجاوزًا بنحو 645KB قبل الإيقاف. هذا تحكم مراقب من العملية وليس حصة قرص صلبة، فلا يكفي لتشغيل شيفرة عامة متعددة المستخدمين.) جُرّب اختبار VHDX مؤقت محدود عبر UAC، لكن Windows ألغى طلب الرفع ولم يبدأ إنشاء القرص؛ لم يتغير أي قرص. يبقى مطلوبًا مخزن/حاوية بحدّ يفرضه نظام التشغيل؛ تظل أوامر المستخدم العامة معطلة حتى ذلك الحين.
    - [ ] إكمال الربط الإنتاجي بعد تأمين حصة تخزين يفرضها نظام التشغيل: endpoint مصادق عليه لخطة أمر allowlist وموافقة مرة واحدة مرتبطة بالمستخدم والمساحة والبصمات والمهلة؛ نسخ الملفات المحددة من API إلى broker، capture موحد وآمن للنتيجة، عرض الموافقة والحالة والمخرجات في Flutter، ومعاينة diff قبل أي تطبيق. prototype لم يُدمج في API أو الواجهة ولا يسمح حاليًا بتنفيذ أوامر المستخدم.
 6. لا وصول عام إلى القرص، ولا أوامر مدمرة أو نشر خارجي دون موافقة صريحة. كل أداة لها مخطط مدخلات ومخرجات واختبارات وسجل تدقيق.
 

SovereignAI-Starter/scripts/appcontainer_probe.cpp

@@ -906,16 +906,27 @@ int wmain() {
         pythonRuntimeFiles, entryScriptReady ? L"true" : L"false",
         pythonRunResult, pythonVersionVisible ? L"true" : L"false");
     std::vector<wchar_t> pythonOutputWide(pythonOutput.size() + 1);
+    bool pythonOutputValidUtf8 = true;
     if (!pythonOutput.empty()) {
         int wideCount = MultiByteToWideChar(CP_UTF8, MB_ERR_INVALID_CHARS,
             pythonOutput.data(), static_cast<int>(pythonOutput.size()),
             pythonOutputWide.data(), static_cast<int>(pythonOutputWide.size()));
+        if (wideCount <= 0) {
+            pythonOutputValidUtf8 = false;
+            wideCount = MultiByteToWideChar(CP_UTF8, 0,
+                pythonOutput.data(), static_cast<int>(pythonOutput.size()),
+                pythonOutputWide.data(), static_cast<int>(pythonOutputWide.size()));
+        }
         if (wideCount > 0) pythonOutputWide[wideCount] = L'\0';
         else pythonOutputWide[0] = L'\0';
     }
-    wprintf(L"python_output_bytes=%llu\npython_output_truncated=%s\npython_output=%ls\n",
+    const bool pythonOutputHasReplacement =
+        std::wstring(pythonOutputWide.data()).find(L'\uFFFD') != std::wstring::npos;
+    wprintf(L"python_output_bytes=%llu\npython_output_truncated=%s\npython_output_valid_utf8=%s\npython_output_replacement_present=%s\npython_output=%ls\n",
         static_cast<unsigned long long>(pythonOutput.size()),
         pythonOutputTruncated ? L"true" : L"false",
+        pythonOutputValidUtf8 ? L"true" : L"false",
+        pythonOutputHasReplacement ? L"true" : L"false",
         pythonOutputWide.data());
     wprintf(L"overflow_run_exit=%lu\noverflow_output_bytes=%llu\noverflow_truncated=%s\n",
         overflowRunResult, static_cast<unsigned long long>(overflowOutput.size()),
@@ -933,7 +944,7 @@ int wmain() {
         allowedWriteResult != 0 || !allowedWorkspaceWriteVisible ||
         !stagedInputCopied || stagedReadResult != 0 || !stagedInputRoundTripMatches ||
         !pythonRuntimeCopied || !pythonProbeReady || pythonRunResult != 0 ||
-        !pythonVersionVisible ||
+        !pythonVersionVisible || pythonOutputValidUtf8 || !pythonOutputHasReplacement ||
         overflowRunResult != 0 || overflowOutput.size() != 64 * 1024 ||
         !overflowTruncated ||
         !curlCopied || curlVersionResult != 0 || curlNetworkResult == 0 ||

SovereignAI-Starter/scripts/appcontainer_user_code_smoke.py

@@ -9,3 +9,4 @@ result.write_text(
     encoding="ascii",
 )
 print("sandbox-python-smoke-ok")
+sys.stderr.buffer.write(b"sandbox-invalid-utf8:\xff\xfe\n")