feat: add sovereign map server migration runbook, seeding scripts, and tactical maneuver compare view
This commit is contained in:
Hamza-Ayed
@@ -0,0 +1,402 @@
|
|||||||
|
# دليل الانتقال السيادي الشامل وخطة استعادة المنصة والنسخ الاحتياطي
|
||||||
|
## Sovereign Map Platform: Server Migration, Disaster Recovery & Offline Hosting Runbook
|
||||||
|
|
||||||
|
**المهندس المعماري والاستراتيجي للمنظومة:** حمزة عايد (Hamza Ayed)
|
||||||
|
*Founding Tech Architect & Sovereign Mobility Strategist*
|
||||||
|
**المنصة:** سيرو للخرائط السيادية والذكاء المكاني والتكتيكي (Siro Sovereign Map Engine / Map-SaaS)
|
||||||
|
**تاريخ التوثيق:** أيلول (سبتمبر) 2026
|
||||||
|
**الإصدار:** v2.4 Enterprise Sovereign Edition
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 1. الفلسفة السيادية وهيكلية النظام (Architecture Topology)
|
||||||
|
|
||||||
|
صُممت المنظومة لتكون **مستقلة سيادياً 100% (Air-Gapped Ready)**، بحيث لا تعتمد على أي خادم سحابي أجنبي أو مفاتيح اشتراك شهرية من (Google Maps, Mapbox, AWS, Esri) لتشغيل خرائط وتضاريس الأردن ثلاثية الأبعاد والتوجيه الميداني.
|
||||||
|
|
||||||
|
```
|
||||||
|
[ Internet / VPN / Tactical Mesh ]
|
||||||
|
│
|
||||||
|
[ CloudPanel / Nginx ]
|
||||||
|
(SSL: map-saas.intaleqapp.com, tiles, api)
|
||||||
|
│
|
||||||
|
┌──────────────┬──────────────┬────────┴──────┬──────────────┬──────────────┐
|
||||||
|
│ :3201 │ :3204 │ :3200 │ :3202 │ :8989 │
|
||||||
|
┌────┴─────┐ ┌──────┴──────┐ ┌─────┴──────┐ ┌──────┴──────┐ ┌─────┴──────┐
|
||||||
|
│ map-web │ │map-dashboard│ │ map-api │ │ map-martin │ │map-routing │
|
||||||
|
│ (React + │ │(Admin/Usage │ │ (NestJS + │ │(Rust Vector │ │(GraphHopper│
|
||||||
|
│ MapLibre)│ │ Developer) │ │ Spatial) │ │ + MBTiles) │ │ Engine) │
|
||||||
|
└────┬─────┘ └─────────────┘ └─────┬──────┘ └──────┬──────┘ └─────┬──────┘
|
||||||
|
│ │ │ │
|
||||||
|
│ ▼ ▼ │
|
||||||
|
│ ┌──────────────┬──────────────┐ │
|
||||||
|
│ │ map-db │ map-redis │ │
|
||||||
|
│ │(PostGIS 15 + │ (Cache & Bus │ │
|
||||||
|
│ │ Topology) │ Port 6381) │ │
|
||||||
|
│ └──────────────┴──────────────┘ │
|
||||||
|
│ │
|
||||||
|
└──────────────────────────[ Volumes ]───────────────────────┘
|
||||||
|
• postgres_data (جداول وخطوط الكنتور والطرق)
|
||||||
|
• data/mbtiles (تضاريس 3D DEM + أقمار صناعية)
|
||||||
|
• infrastructure/osm-data (شبكة الطرق الخام)
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 2. جدول أحجام البيانات وسيادتها (Data Inventory & Sizing)
|
||||||
|
|
||||||
|
نطاق التغطية الجغرافي للمملكة الأردنية الهاشمية (Jordan Bounding Box):
|
||||||
|
- **خط طول (Longitude):** من `34.8° E` إلى `39.3° E`
|
||||||
|
- **دائرة عرض (Latitude):** من `29.1° N` إلى `33.4° N`
|
||||||
|
|
||||||
|
| نوع البيانات (Data Asset) | المصدر والتقنية | مستويات التكبير (Zoom) | الحجم الفعلي التقريبي | مكان التخزين بالسيرفر |
|
||||||
|
| :--- | :--- | :--- | :--- | :--- |
|
||||||
|
| **قاعدة بيانات PostGIS المكانية** | PostgreSQL 15 + PostGIS 3.3 | N/A (Geometries) | ~1.5 - 2.8 GB (مضغوط) | حاوية `map-db` (Volume: `postgres_data`) |
|
||||||
|
| **خطوط الكنتور الطبوغرافية** | 10m/20m Index Contours | PostGIS Layer | ضمن قاعدة البيانات | جدول `jordan_contours` / Martin |
|
||||||
|
| **تضاريس الارتفاع 3D DEM** | Terrarium PNG (Sovereign MBTiles) | Zoom 0 إلى 14 (63.6k بلاطة) | ~930 MB | `data/mbtiles/jordan-dem.mbtiles` |
|
||||||
|
| **صور الأقمار الصناعية (Satellite)** | High-Res Orthophoto MBTiles | Zoom 0 إلى 14 (63.6k بلاطة) | ~1.5 GB (~6 GB لـ z15) | `data/mbtiles/jordan-satellite.mbtiles` |
|
||||||
|
| **خريطة الأردن المفتوحة الخام** | OpenStreetMap (Geofabrik) | PBF Binary Format | ~30 MB | `infrastructure/osm-data/jordan-latest.osm.pbf` |
|
||||||
|
| **حزم التوجيه الطرقي والتكتيكي** | GraphHopper & Valhalla Graphs | Graph Storage | ~150 - 300 MB | `infrastructure/osm-data/routing-packages/` |
|
||||||
|
| **الحجم الإجمالي المطلوب لنقل المملكة بالكامل** | **حزمة متكاملة سيادياً** | **شامل التضاريس والفضائي** | **~4.5 إلى 9 GB فقط!** | يمكن نقله في دقائق عبر SSH |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 3. المرحلة الأولى: أخذ النسخة الاحتياطية من السيرفر الحالي (Source Server Backup)
|
||||||
|
|
||||||
|
### الخيار (أ): التشغيل التلقائي عبر السكربت الذكي (Automated Script)
|
||||||
|
قمنا ببرمجة سكربت أوتوماتيكي يقوم بتفريغ الداتابيز، وفحص الـ Redis، ونسخ الإعدادات والخرائط وتوليد بصمات `SHA256`:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# الانتقال لمسار المشروع
|
||||||
|
cd /home/hamzadoctor/app
|
||||||
|
|
||||||
|
# تشغيل سكربت النسخ الاحتياطي الشامل
|
||||||
|
./infrastructure/scripts/backup_sovereign_map.sh
|
||||||
|
```
|
||||||
|
|
||||||
|
ينتج السكربت ملفاً مضغوطاً بصيغة:
|
||||||
|
`/home/hamzadoctor/backups/sovereign_map_full_backup_YYYYMMDD_HHMMSS.tar.gz`
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### الخيار (ب): الإجراء اليدوي خطوة بخطوة (Manual Fallback)
|
||||||
|
|
||||||
|
إذا أردت تنفيذ النسخ يدوياً بأوامر مباشرة:
|
||||||
|
|
||||||
|
#### 1. تفريغ قاعدة بيانات PostGIS بصيغة Custom Dump السريعة:
|
||||||
|
```bash
|
||||||
|
# إنشاء مجلد النسخ
|
||||||
|
mkdir -p /home/hamzadoctor/backups/manual_backup
|
||||||
|
|
||||||
|
# تصدير الداتابيز بصيغة -Fc (تدعم الاستعادة المتوازية واستعادة الجداول المحددة)
|
||||||
|
docker exec map-db pg_dump -U mapuser -d mapdb -Fc > /home/hamzadoctor/backups/manual_backup/mapdb_custom.dump
|
||||||
|
|
||||||
|
# تصدير مخطط الـ Schema بصيغة SQL للقراءة والتدقيق:
|
||||||
|
docker exec map-db pg_dump -U mapuser -d mapdb --schema-only > /home/hamzadoctor/backups/manual_backup/mapdb_schema.sql
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 2. حفظ كاش وبيانات Redis:
|
||||||
|
```bash
|
||||||
|
docker exec map-redis redis-cli bgsave
|
||||||
|
docker cp map-redis:/data/dump.rdb /home/hamzadoctor/backups/manual_backup/redis_dump.rdb
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 3. جمع ملفات التكوين والبيئة والأنماط:
|
||||||
|
```bash
|
||||||
|
mkdir -p /home/hamzadoctor/backups/manual_backup/configs
|
||||||
|
cp /home/hamzadoctor/app/.env /home/hamzadoctor/backups/manual_backup/configs/.env.backup
|
||||||
|
cp /home/hamzadoctor/app/docker-compose*.yml /home/hamzadoctor/backups/manual_backup/configs/
|
||||||
|
cp -r /home/hamzadoctor/app/style*.json /home/hamzadoctor/backups/manual_backup/configs/
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 4. ضغط الحزمة بالكامل:
|
||||||
|
```bash
|
||||||
|
cd /home/hamzadoctor/backups
|
||||||
|
tar -czvf sovereign_map_manual_backup.tar.gz manual_backup/
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 4. المرحلة الثانية: تجهيز السيرفر الجديد ومواصفاته (Target Server Setup)
|
||||||
|
|
||||||
|
### المواصفات العتادية الموصى بها (Hardware Specs):
|
||||||
|
- **المعالج:** 4 vCPU (أو 8 vCPU لأداء فائق أثناء معالجة غراف الطرق).
|
||||||
|
- **الذاكرة العشوائية (RAM):** 8 GB كحد أدنى (يُفضل 16 GB لضمان استقرار GraphHopper Heap دون OOM).
|
||||||
|
- **التخزين:** 80 GB NVMe SSD (لقاعدة البيانات والتضاريس وسجلات النظام).
|
||||||
|
- **نظام التشغيل:** Ubuntu 22.04 LTS أو Ubuntu 24.04 LTS x86_64.
|
||||||
|
|
||||||
|
### إعداد السيرفر الجديد برمجياً:
|
||||||
|
|
||||||
|
#### 1. تحديث النظام وتثبيت حزم الأدوات الأساسية:
|
||||||
|
```bash
|
||||||
|
sudo apt update && sudo apt upgrade -y
|
||||||
|
sudo apt install -y curl wget git rsync htop ufw unzip jq sqlite3
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 2. ضبط ملف المبادلة (Swap File - حاسم جداً لمنع OOM):
|
||||||
|
بسبب استهلاك محرك GraphHopper للذاكرة أثناء بناء شبكة التوجيه، يجب إنشاء 4GB Swap:
|
||||||
|
```bash
|
||||||
|
sudo fallocate -l 4G /swapfile
|
||||||
|
sudo chmod 600 /swapfile
|
||||||
|
sudo mkswap /swapfile
|
||||||
|
sudo swapon /swapfile
|
||||||
|
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 3. تثبيت Docker Engine و Docker Compose V2 الرسمي:
|
||||||
|
```bash
|
||||||
|
curl -fsSL https://get.docker.com -o get-docker.sh
|
||||||
|
sudo sh get-docker.sh
|
||||||
|
sudo usermod -aG docker $USER
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 4. ضبط الجدار الناري (UFW Firewall):
|
||||||
|
```bash
|
||||||
|
sudo ufw default deny incoming
|
||||||
|
sudo ufw default allow outgoing
|
||||||
|
sudo ufw allow 22/tcp # SSH
|
||||||
|
sudo ufw allow 80/tcp # HTTP (Reverse Proxy)
|
||||||
|
sudo ufw allow 443/tcp # HTTPS (SSL)
|
||||||
|
sudo ufw enable
|
||||||
|
```
|
||||||
|
*(ملاحظة أمنية: لا تفتح المنافذ الداخلية 5432، 6381، 3200، 3201، 3202 للعامة، بل اتركها خلف الـ Nginx Reverse Proxy الداخلي).*
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 5. المرحلة الثالثة: نقل البيانات بين السيرفرين (Direct Server-to-Server Sync)
|
||||||
|
|
||||||
|
### الطريقة الموصى بها: النقل المباشر فائق السرعة عبر `rsync`:
|
||||||
|
|
||||||
|
نفّذ الأمر التالي من السيرفر المصدر (أو من جهاز التحكم الخاص بك):
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# نقل ملف النسخة الاحتياطية الشاملة إلى السيرفر الجديد
|
||||||
|
rsync -avzP -e "ssh -i ~/.ssh/your-key" \
|
||||||
|
/home/hamzadoctor/backups/sovereign_map_full_backup_*.tar.gz \
|
||||||
|
root@<NEW_SERVER_IP>:/home/hamzadoctor/backups/
|
||||||
|
```
|
||||||
|
|
||||||
|
### استنساخ مستودع الكود إلى السيرفر الجديد:
|
||||||
|
على السيرفر الجديد:
|
||||||
|
```bash
|
||||||
|
mkdir -p /home/hamzadoctor/app
|
||||||
|
cd /home/hamzadoctor/app
|
||||||
|
|
||||||
|
# سحب الكود من Git أو نقله عبر rsync
|
||||||
|
git clone <YOUR_GIT_REPO_URL> .
|
||||||
|
# أو نسخ ملفات المشروع عبر rsync من السيرفر القديم:
|
||||||
|
# rsync -avzP --exclude 'node_modules' --exclude '.git' root@<OLD_SERVER_IP>:/home/hamzadoctor/app/ /home/hamzadoctor/app/
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 6. المرحلة الرابعة: استعادة النظام وتشغيله على السيرفر الجديد (Restoration & Bootstrap)
|
||||||
|
|
||||||
|
### الخيار (أ): الاستعادة التلقائية الذكية (One-Command Restore)
|
||||||
|
على السيرفر الجديد داخل مجلد المشروع:
|
||||||
|
```bash
|
||||||
|
cd /home/hamzadoctor/app
|
||||||
|
|
||||||
|
# تشغيل سكربت الاستعادة وتزويده بمسار ملف النسخة الاحتياطية
|
||||||
|
./infrastructure/scripts/restore_sovereign_map.sh /home/hamzadoctor/backups/sovereign_map_full_backup_YYYYMMDD_HHMMSS.tar.gz
|
||||||
|
```
|
||||||
|
يقوم هذا السكربت بـ:
|
||||||
|
1. استخراج الإعدادات والتأكد من ملف `.env`.
|
||||||
|
2. تشغيل حاوية `map-db` والانتظار حتى تصبح جاهزة للحقن.
|
||||||
|
3. تفعيل إضافات PostGIS واستعادة كافة الجداول والفهارس المكانية بدقة.
|
||||||
|
4. تنفيذ `VACUUM ANALYZE` لضمان أقصى سرعة لاستعلامات الخرائط.
|
||||||
|
5. بناء وتشغيل كافة الخدمات التابعة (`map-api`, `map-martin`, `map-web`, `map-dashboard`, `map-routing`).
|
||||||
|
6. فحص صحة المنافذ والتأكد من استجابتها.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### الخيار (ب): الاستعادة اليدوية خطوة بخطوة
|
||||||
|
|
||||||
|
```bash
|
||||||
|
cd /home/hamzadoctor/app
|
||||||
|
|
||||||
|
# 1. تجهيز ملف البيئة
|
||||||
|
cp .env.example .env
|
||||||
|
# قم بمراجعة وتعديل كلمات المرور في .env إذا أردت
|
||||||
|
|
||||||
|
# 2. تشغيل قاعدة البيانات والكاش
|
||||||
|
docker compose up -d db redis
|
||||||
|
|
||||||
|
# 3. التأكد من جهوزية قاعدة البيانات
|
||||||
|
docker exec map-db pg_isready -U mapuser -d mapdb
|
||||||
|
|
||||||
|
# 4. تفعيل PostGIS واستعادة الداتابيز
|
||||||
|
docker exec -i map-db psql -U mapuser -d mapdb -c "CREATE EXTENSION IF NOT EXISTS postgis;"
|
||||||
|
docker exec -i map-db psql -U mapuser -d mapdb -c "CREATE EXTENSION IF NOT EXISTS postgis_topology;"
|
||||||
|
docker exec -i map-db pg_restore -U mapuser -d mapdb --clean --if-exists --no-owner --no-acl < /path/to/mapdb_custom.dump
|
||||||
|
docker exec -i map-db psql -U mapuser -d mapdb -c "VACUUM ANALYZE;"
|
||||||
|
|
||||||
|
# 5. تشغيل وبناء بقية الخدمات
|
||||||
|
docker compose up -d --build api martin web dashboard routing
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 7. المرحلة الخامسة: التوليد والتشغيل الأوفلاين للتضاريس والأقمار الصناعية (Offline MBTiles)
|
||||||
|
|
||||||
|
لضمان عمل المنظومة التكتيكية **في حال انقطاع الإنترنت بالكامل أو في شبكات العمليات المغلقة**:
|
||||||
|
|
||||||
|
### 1. تشغيل مولدات التخزين السيادية (Pre-seeding Jordan Tiles):
|
||||||
|
قمنا بتجهيز سكربتات بايثون متعددة المسارات (Multi-threaded) لتحميل وتخزين مربعات الأردن كاملة في ملفات SQLite MBTiles قياسية:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
cd /home/hamzadoctor/app
|
||||||
|
|
||||||
|
# إنشاء مجلد ملفات MBTiles
|
||||||
|
mkdir -p data/mbtiles
|
||||||
|
|
||||||
|
# تحميل وتخزين تضاريس الأردن ثلاثية الأبعاد (DEM z0 إلى z14 ~ 930MB)
|
||||||
|
python3 infrastructure/scripts/seed_jordan_dem.py --format mbtiles --threads 16 --output data/mbtiles/jordan-dem.mbtiles
|
||||||
|
|
||||||
|
# تحميل وتخزين صور الأقمار الصناعية للأردن (Satellite z0 إلى z14 ~ 1.5GB)
|
||||||
|
python3 infrastructure/scripts/seed_jordan_satellite.py --format mbtiles --threads 16 --max-zoom 14 --output data/mbtiles/jordan-satellite.mbtiles
|
||||||
|
```
|
||||||
|
|
||||||
|
### 2. بث الـ MBTiles محلياً عبر خادم Martin:
|
||||||
|
خادم Martin يدعم بث ملفات MBTiles فورياً دون الحاجة لأي خادم إضافي!
|
||||||
|
في ملف `docker-compose.yml`، نقوم بربط مجلد `data/mbtiles`:
|
||||||
|
```yaml
|
||||||
|
martin:
|
||||||
|
image: maplibre/martin:latest
|
||||||
|
container_name: map-martin
|
||||||
|
ports:
|
||||||
|
- "3202:3000"
|
||||||
|
environment:
|
||||||
|
- WATCH_DB=true
|
||||||
|
volumes:
|
||||||
|
- ./data/mbtiles:/mbtiles:ro
|
||||||
|
command: ["/mbtiles", "postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@db:5432/${POSTGRES_DB}"]
|
||||||
|
```
|
||||||
|
بذلك يوفر خادم Martin الروابط المحلية التالية بسرعة استجابة فائقة (Sub-millisecond):
|
||||||
|
- **تضاريس DEM 3D:** `https://tiles.intaleqapp.com/jordan-dem/{z}/{x}/{y}`
|
||||||
|
- **صور الأقمار:** `https://tiles.intaleqapp.com/jordan-satellite/{z}/{x}/{y}`
|
||||||
|
- **الطبقات المتجهة والكنتور:** `https://tiles.intaleqapp.com/jordan_contours/{z}/{x}/{y}`
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 8. المرحلة السادسة: إعداد الـ Reverse Proxy وشهادات SSL (CloudPanel / Nginx)
|
||||||
|
|
||||||
|
قم بتوجيه النطاقات (DNS A-Records) إلى IP السيرفر الجديد، ثم أضف الإعدادات التالية في Nginx أو عبر واجهة CloudPanel:
|
||||||
|
|
||||||
|
### 1. بوابة الويب والمناورة التكتيكية (`map-saas.intaleqapp.com`):
|
||||||
|
```nginx
|
||||||
|
server {
|
||||||
|
listen 80;
|
||||||
|
server_name map-saas.intaleqapp.com;
|
||||||
|
return 301 https://$host$request_uri;
|
||||||
|
}
|
||||||
|
|
||||||
|
server {
|
||||||
|
listen 443 ssl http2;
|
||||||
|
server_name map-saas.intaleqapp.com;
|
||||||
|
|
||||||
|
# شهادات Let's Encrypt
|
||||||
|
ssl_certificate /etc/letsencrypt/live/map-saas.intaleqapp.com/fullchain.pem;
|
||||||
|
ssl_certificate_key /etc/letsencrypt/live/map-saas.intaleqapp.com/privkey.pem;
|
||||||
|
|
||||||
|
location / {
|
||||||
|
proxy_pass http://127.0.0.1:3201;
|
||||||
|
proxy_http_version 1.1;
|
||||||
|
proxy_set_header Upgrade $http_upgrade;
|
||||||
|
proxy_set_header Connection 'upgrade';
|
||||||
|
proxy_set_header Host $host;
|
||||||
|
proxy_cache_bypass $http_upgrade;
|
||||||
|
proxy_set_header X-Real-IP $remote_addr;
|
||||||
|
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||||
|
proxy_set_header X-Forwarded-Proto $scheme;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### 2. خادم مربعات الخرائط والتضاريس السيادي (`tiles.intaleqapp.com`):
|
||||||
|
```nginx
|
||||||
|
server {
|
||||||
|
listen 443 ssl http2;
|
||||||
|
server_name tiles.intaleqapp.com;
|
||||||
|
|
||||||
|
ssl_certificate /etc/letsencrypt/live/tiles.intaleqapp.com/fullchain.pem;
|
||||||
|
ssl_certificate_key /etc/letsencrypt/live/tiles.intaleqapp.com/privkey.pem;
|
||||||
|
|
||||||
|
location / {
|
||||||
|
proxy_pass http://127.0.0.1:3202;
|
||||||
|
proxy_http_version 1.1;
|
||||||
|
proxy_set_header Host $host;
|
||||||
|
proxy_set_header X-Real-IP $remote_addr;
|
||||||
|
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||||
|
|
||||||
|
# تفعيل كاش المتصفح للبلاطات
|
||||||
|
expires 7d;
|
||||||
|
add_header Cache-Control "public, no-transform";
|
||||||
|
add_header Access-Control-Allow-Origin *;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### 3. الواجهة الخلفية والذكاء المكاني (`api.map.intaleqapp.com`):
|
||||||
|
```nginx
|
||||||
|
location / {
|
||||||
|
proxy_pass http://127.0.0.1:3200;
|
||||||
|
proxy_http_version 1.1;
|
||||||
|
proxy_set_header Host $host;
|
||||||
|
proxy_set_header X-Real-IP $remote_addr;
|
||||||
|
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 9. الفحوصات والتدقيق التشغيلي بعد الانتقال (Verification Checklist)
|
||||||
|
|
||||||
|
نفّذ هذه الأوامر على السيرفر الجديد للتأكد من سلامة كافة الأجزاء بنسبة 100%:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# 1. فحص حاويات Docker
|
||||||
|
docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}"
|
||||||
|
|
||||||
|
# 2. فحص استجابة الـ API
|
||||||
|
curl -I http://localhost:3200/api/health
|
||||||
|
|
||||||
|
# 3. فحص خادم البلاطات Martin
|
||||||
|
curl -s http://localhost:3202/catalog | jq .
|
||||||
|
|
||||||
|
# 4. فحص اتصال قاعدة البيانات PostGIS والتأكد من جداول خطوط الكنتور
|
||||||
|
docker exec -it map-db psql -U mapuser -d mapdb -c "
|
||||||
|
SELECT table_name, (xpath('/row/cnt/text()', xml_count))[1]::text::int as row_count
|
||||||
|
FROM (
|
||||||
|
SELECT table_name, query_to_xml(format('select count(*) as cnt from %I', table_name), false, true, '') as xml_count
|
||||||
|
FROM information_schema.tables
|
||||||
|
WHERE table_schema = 'public' AND table_name IN ('jordan_contours', 'planet_osm_roads', 'planet_osm_line')
|
||||||
|
) t;
|
||||||
|
"
|
||||||
|
|
||||||
|
# 5. فحص محرك التوجيه GraphHopper
|
||||||
|
curl -I http://localhost:8989/health
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 10. جدول الصيانة والنسخ الاحتياطي التلقائي اليومي (Daily Automated Cron)
|
||||||
|
|
||||||
|
لضمان عدم فقدان أي بيانات مستقبلية، قم بإضافة مهمة مجدولة (Cron Job) لتوليد نسخة احتياطية مشفرة كل ليلة في الساعة 3:00 فجراً والاحتفاظ بآخر 7 أيام تلقائياً:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# فتح جدول المهام
|
||||||
|
crontab -e
|
||||||
|
```
|
||||||
|
أضف السطر التالي:
|
||||||
|
```cron
|
||||||
|
0 3 * * * /home/hamzadoctor/app/infrastructure/scripts/backup_sovereign_map.sh /home/hamzadoctor/backups >> /home/hamzadoctor/backups/backup.log 2>&1
|
||||||
|
# حذف النسخ التي يتجاوز عمرها 7 أيام تلقائياً لتوفير المساحة:
|
||||||
|
30 3 * * * find /home/hamzadoctor/backups -name "sovereign_map_full_backup_*.tar.gz" -mtime +7 -delete
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 11. خلاصة المهندس المعماري (Architect Summary)
|
||||||
|
|
||||||
|
> **"السيادة الرقمية في نظم المعلومات الجغرافية والتكتيكية ليست رفاهية؛ إنها الضمان الحقيقي لاستمرار العمليات الحيوية تحت أي ظرف سياسي أو انقطاع للبنية التحتية العالمية. هذه الحزمة تتيح لك نقل منظومة دولة كاملة وتشغيلها على أي سيرفر أو جهاز ميداني في أقل من 30 دقيقة بكفاءة تشغيلية مطلقة وتكلفة بنية تحتية تقترب من الصفر."**
|
||||||
|
> — *حمزة عايد (Hamza Ayed)*
|
||||||
+10
-1
@@ -6,6 +6,7 @@ import CompareView from './pages/CompareView'
|
|||||||
import IntelligenceDashboard from './pages/IntelligenceDashboard'
|
import IntelligenceDashboard from './pages/IntelligenceDashboard'
|
||||||
import { ExecutiveShowcase } from './pages/ExecutiveShowcase'
|
import { ExecutiveShowcase } from './pages/ExecutiveShowcase'
|
||||||
import { TacticalDefenseView } from './pages/TacticalDefenseView'
|
import { TacticalDefenseView } from './pages/TacticalDefenseView'
|
||||||
|
import { TacticalManeuverCompareView } from './pages/TacticalManeuverCompareView'
|
||||||
import { TourismMapView } from './pages/TourismMapView'
|
import { TourismMapView } from './pages/TourismMapView'
|
||||||
import { Terrain3DView } from './pages/Terrain3DView'
|
import { Terrain3DView } from './pages/Terrain3DView'
|
||||||
import { LandingPage } from './pages/LandingPage'
|
import { LandingPage } from './pages/LandingPage'
|
||||||
@@ -29,6 +30,7 @@ const NAV = [
|
|||||||
{ hash: '#terrain3d', label: 'الخريطة ثلاثية الأبعاد والتضاريس', icon: '🏔️' },
|
{ hash: '#terrain3d', label: 'الخريطة ثلاثية الأبعاد والتضاريس', icon: '🏔️' },
|
||||||
{ hash: '#tourism', label: 'الخريطة السياحية والتراثية', icon: '🏛️' },
|
{ hash: '#tourism', label: 'الخريطة السياحية والتراثية', icon: '🏛️' },
|
||||||
{ hash: '#tactical', label: 'المنظومة التكتيكية', icon: '🎖️' },
|
{ hash: '#tactical', label: 'المنظومة التكتيكية', icon: '🎖️' },
|
||||||
|
{ hash: '#maneuver', label: 'المناورة ونماذج الارتفاع', icon: '⚔️' },
|
||||||
{ hash: '#compare', label: 'مقارنة العمالقة والأسعار', icon: '⚖️' },
|
{ hash: '#compare', label: 'مقارنة العمالقة والأسعار', icon: '⚖️' },
|
||||||
{ hash: '#review', label: 'تدقيق الطرق الذكي', icon: '🔍' },
|
{ hash: '#review', label: 'تدقيق الطرق الذكي', icon: '🔍' },
|
||||||
]
|
]
|
||||||
@@ -420,11 +422,12 @@ function Root() {
|
|||||||
const isLanding = hash === '#landing' || hash === '#portal';
|
const isLanding = hash === '#landing' || hash === '#portal';
|
||||||
const isTourism = hash === '#tourism' || hash === '#heritage' || hash === '#tourist';
|
const isTourism = hash === '#tourism' || hash === '#heritage' || hash === '#tourist';
|
||||||
const isTactical = hash === '#tactical' || hash === '#military' || hash === '#siro';
|
const isTactical = hash === '#tactical' || hash === '#military' || hash === '#siro';
|
||||||
|
const isManeuver = hash === '#maneuver' || hash === '#contour' || hash === '#elevation';
|
||||||
const isTerrain3D = hash === '#terrain3d' || hash === '#3d' || hash === '#terrain';
|
const isTerrain3D = hash === '#terrain3d' || hash === '#3d' || hash === '#terrain';
|
||||||
const isExecutive = hash === '#showcase' || hash === '#pitch';
|
const isExecutive = hash === '#showcase' || hash === '#pitch';
|
||||||
const isCompare = hash === '#compare';
|
const isCompare = hash === '#compare';
|
||||||
const isReview = hash === '#review';
|
const isReview = hash === '#review';
|
||||||
const isMap = hash === '#map' || (!isLanding && !isTourism && !isTactical && !isTerrain3D && !isExecutive && !isCompare && !isReview);
|
const isMap = hash === '#map' || (!isLanding && !isTourism && !isTactical && !isManeuver && !isTerrain3D && !isExecutive && !isCompare && !isReview);
|
||||||
|
|
||||||
return (
|
return (
|
||||||
<ErrorBoundary>
|
<ErrorBoundary>
|
||||||
@@ -464,6 +467,12 @@ function Root() {
|
|||||||
</div>
|
</div>
|
||||||
)}
|
)}
|
||||||
|
|
||||||
|
{isManeuver && (
|
||||||
|
<div style={{ width: '100%', height: '100%' }}>
|
||||||
|
<TacticalManeuverCompareView />
|
||||||
|
</div>
|
||||||
|
)}
|
||||||
|
|
||||||
{isExecutive && (
|
{isExecutive && (
|
||||||
<div style={{ width: '100%', height: '100%', overflowY: 'auto', overflowX: 'hidden' }}>
|
<div style={{ width: '100%', height: '100%', overflowY: 'auto', overflowX: 'hidden' }}>
|
||||||
<ExecutiveShowcase />
|
<ExecutiveShowcase />
|
||||||
|
|||||||
File diff suppressed because it is too large
Load Diff
+11
-5
@@ -4,6 +4,7 @@ services:
|
|||||||
db:
|
db:
|
||||||
image: postgis/postgis:15-3.3
|
image: postgis/postgis:15-3.3
|
||||||
container_name: map-db
|
container_name: map-db
|
||||||
|
restart: unless-stopped
|
||||||
platform: linux/amd64 # Ensure compatibility on Mac Silicon
|
platform: linux/amd64 # Ensure compatibility on Mac Silicon
|
||||||
environment:
|
environment:
|
||||||
POSTGRES_USER: ${POSTGRES_USER}
|
POSTGRES_USER: ${POSTGRES_USER}
|
||||||
@@ -25,6 +26,7 @@ services:
|
|||||||
redis:
|
redis:
|
||||||
image: redis:7-alpine
|
image: redis:7-alpine
|
||||||
container_name: map-redis
|
container_name: map-redis
|
||||||
|
restart: unless-stopped
|
||||||
platform: linux/amd64
|
platform: linux/amd64
|
||||||
ports:
|
ports:
|
||||||
- "6381:6379"
|
- "6381:6379"
|
||||||
@@ -42,18 +44,18 @@ services:
|
|||||||
context: .
|
context: .
|
||||||
dockerfile: ./infrastructure/docker/graphhopper/Dockerfile
|
dockerfile: ./infrastructure/docker/graphhopper/Dockerfile
|
||||||
container_name: map-routing
|
container_name: map-routing
|
||||||
|
restart: unless-stopped
|
||||||
platform: linux/amd64
|
platform: linux/amd64
|
||||||
ports:
|
ports:
|
||||||
- "8989:8080"
|
- "8989:8080"
|
||||||
environment:
|
environment:
|
||||||
# 7.8GB إجمالي على السيرفر. باقي الحاويات ~1.3GB + النظام ~0.5GB.
|
# Memory tuning for GraphHopper:
|
||||||
# Xmx5g كان ينتج RSS ~6GB فيصطدم بالسقف ويُقتل بالـ OOM لحظة عودة باقي
|
# Pre-built graph (783MB) runs stably on 2.5GB heap, preventing kernel OOM killer
|
||||||
# الحاويات — رغم أن البناء نفسه ينجح حين تكون موقوفة. 4g تترك هامشاً حقيقياً.
|
- JAVA_OPTS=-Xmx3g -Xms512m
|
||||||
- JAVA_OPTS=-Xmx4g -Xms1g
|
|
||||||
deploy:
|
deploy:
|
||||||
resources:
|
resources:
|
||||||
limits:
|
limits:
|
||||||
memory: 6g
|
memory: 4g
|
||||||
volumes:
|
volumes:
|
||||||
- ./infrastructure/osm-data:/data
|
- ./infrastructure/osm-data:/data
|
||||||
- graphhopper-srtm-cache:/data/srtm-cache
|
- graphhopper-srtm-cache:/data/srtm-cache
|
||||||
@@ -93,6 +95,7 @@ services:
|
|||||||
context: .
|
context: .
|
||||||
dockerfile: ./infrastructure/docker/api/Dockerfile
|
dockerfile: ./infrastructure/docker/api/Dockerfile
|
||||||
container_name: map-api
|
container_name: map-api
|
||||||
|
restart: unless-stopped
|
||||||
platform: linux/amd64
|
platform: linux/amd64
|
||||||
ports:
|
ports:
|
||||||
- "3200:3200"
|
- "3200:3200"
|
||||||
@@ -132,6 +135,7 @@ services:
|
|||||||
martin:
|
martin:
|
||||||
image: maplibre/martin:latest
|
image: maplibre/martin:latest
|
||||||
container_name: map-martin
|
container_name: map-martin
|
||||||
|
restart: unless-stopped
|
||||||
platform: linux/amd64
|
platform: linux/amd64
|
||||||
ports:
|
ports:
|
||||||
- "3202:3000"
|
- "3202:3000"
|
||||||
@@ -181,6 +185,7 @@ services:
|
|||||||
context: .
|
context: .
|
||||||
dockerfile: ./infrastructure/docker/web/Dockerfile
|
dockerfile: ./infrastructure/docker/web/Dockerfile
|
||||||
container_name: map-web
|
container_name: map-web
|
||||||
|
restart: unless-stopped
|
||||||
platform: linux/amd64
|
platform: linux/amd64
|
||||||
ports:
|
ports:
|
||||||
- "3201:5173"
|
- "3201:5173"
|
||||||
@@ -201,6 +206,7 @@ services:
|
|||||||
context: .
|
context: .
|
||||||
dockerfile: ./infrastructure/docker/dashboard/Dockerfile
|
dockerfile: ./infrastructure/docker/dashboard/Dockerfile
|
||||||
container_name: map-dashboard
|
container_name: map-dashboard
|
||||||
|
restart: unless-stopped
|
||||||
platform: linux/amd64
|
platform: linux/amd64
|
||||||
ports:
|
ports:
|
||||||
- "3204:80"
|
- "3204:80"
|
||||||
|
|||||||
+139
@@ -0,0 +1,139 @@
|
|||||||
|
#!/usr/bin/env bash
|
||||||
|
# ==============================================================================
|
||||||
|
# Sovereign Map Platform - Full Autonomous Backup System
|
||||||
|
# منصة الخرائط السيادية - نظام النسخ الاحتياطي الشامل والأتمتة لنقل السيرفر
|
||||||
|
# ==============================================================================
|
||||||
|
# Architect: Hamza Ayed - Founding Tech Architect & Sovereign Mobility Strategist
|
||||||
|
# Stack: PostGIS 15, Martin Tile Server, GraphHopper, Redis, NestJS, React
|
||||||
|
# ==============================================================================
|
||||||
|
|
||||||
|
set -euo pipefail
|
||||||
|
|
||||||
|
# ANSI Color Codes
|
||||||
|
GREEN='\033[0;32m'
|
||||||
|
BLUE='\033[0;34m'
|
||||||
|
YELLOW='\033[1;33m'
|
||||||
|
RED='\033[0;31m'
|
||||||
|
CYAN='\033[0;36m'
|
||||||
|
NC='\033[0m' # No Color
|
||||||
|
|
||||||
|
TIMESTAMP=$(date +"%Y%m%d_%H%M%S")
|
||||||
|
ROOT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")/../.." && pwd)"
|
||||||
|
BACKUP_BASE_DIR="${1:-$ROOT_DIR/backups}"
|
||||||
|
BACKUP_DIR="$BACKUP_BASE_DIR/sovereign_backup_$TIMESTAMP"
|
||||||
|
ARCHIVE_NAME="sovereign_map_full_backup_$TIMESTAMP.tar.gz"
|
||||||
|
|
||||||
|
echo -e "${CYAN}==================================================================${NC}"
|
||||||
|
echo -e "${CYAN} 🛡️ منصة خرائط سيرو السيادية | إطلاق النسخ الاحتياطي الشامل${NC}"
|
||||||
|
echo -e "${CYAN}==================================================================${NC}"
|
||||||
|
echo -e "📁 مسار المشروع (Project Root): ${YELLOW}$ROOT_DIR${NC}"
|
||||||
|
echo -e "📦 مجلد النسخة الاحتياطية: ${YELLOW}$BACKUP_DIR${NC}"
|
||||||
|
echo -e "⏰ توقيت البدء: ${YELLOW}$(date)${NC}"
|
||||||
|
echo -e "------------------------------------------------------------------"
|
||||||
|
|
||||||
|
mkdir -p "$BACKUP_DIR"
|
||||||
|
mkdir -p "$BACKUP_DIR/database"
|
||||||
|
mkdir -p "$BACKUP_DIR/configs"
|
||||||
|
mkdir -p "$BACKUP_DIR/geodata"
|
||||||
|
mkdir -p "$BACKUP_DIR/styles"
|
||||||
|
|
||||||
|
# 1. PostgreSQL + PostGIS Full Database Dump
|
||||||
|
echo -e "\n${BLUE}[1/5] 🐘 جاري تصدير قاعدة بيانات PostGIS المكانية بالكامل...${NC}"
|
||||||
|
DB_CONTAINER="map-db"
|
||||||
|
|
||||||
|
if docker ps --format '{{.Names}}' | grep -q "^${DB_CONTAINER}$"; then
|
||||||
|
echo -e " ✅ تم العثور على الحاوية: ${GREEN}$DB_CONTAINER${NC}"
|
||||||
|
|
||||||
|
# Custom compressed dump (-Fc: Fast, compressed, supports selective restore)
|
||||||
|
echo -e " ⏳ جاري إنشاء Custom Dump المضغوط (موصى به للاستعادة)..."
|
||||||
|
docker exec "$DB_CONTAINER" pg_dump -U mapuser -d mapdb -Fc > "$BACKUP_DIR/database/mapdb_custom.dump"
|
||||||
|
|
||||||
|
# Plain text SQL schema & functions (for auditing and quick inspection)
|
||||||
|
echo -e " ⏳ جاري تصدير مخطط الجداول والدوال المكانية (Schema-only SQL)..."
|
||||||
|
docker exec "$DB_CONTAINER" pg_dump -U mapuser -d mapdb --schema-only > "$BACKUP_DIR/database/mapdb_schema.sql"
|
||||||
|
|
||||||
|
DUMP_SIZE=$(du -h "$BACKUP_DIR/database/mapdb_custom.dump" | cut -f1)
|
||||||
|
echo -e " ✅ تم تصدير قاعدة البيانات بنجاح! الحجم: ${GREEN}$DUMP_SIZE${NC}"
|
||||||
|
else
|
||||||
|
echo -e " ${YELLOW}⚠️ تحذير: حاوية $DB_CONTAINER ليست قيد التشغيل حالياً!${NC}"
|
||||||
|
echo -e " سيتم تخطي تفريغ الداتابيز المباشر. إذا كان لديك dump سابق سيتم تضمينه."
|
||||||
|
fi
|
||||||
|
|
||||||
|
# 2. Redis State Backup
|
||||||
|
echo -e "\n${BLUE}[2/5] ⚡ جاري حفظ حالة الذاكرة اللحظية والتخزين المؤقت (Redis)...${NC}"
|
||||||
|
REDIS_CONTAINER="map-redis"
|
||||||
|
if docker ps --format '{{.Names}}' | grep -q "^${REDIS_CONTAINER}$"; then
|
||||||
|
echo -e " ⏳ تفعيل BGSAVE في Redis..."
|
||||||
|
docker exec "$REDIS_CONTAINER" redis-cli bgsave || true
|
||||||
|
sleep 2
|
||||||
|
# Copy dump.rdb if accessible
|
||||||
|
docker cp "$REDIS_CONTAINER:/data/dump.rdb" "$BACKUP_DIR/database/redis_dump.rdb" 2>/dev/null || echo " ℹ️ لم يتوفر dump.rdb فوري (ذاكرة كاش خفيفة)."
|
||||||
|
echo -e " ✅ اكتملت إجراءات Redis."
|
||||||
|
fi
|
||||||
|
|
||||||
|
# 3. Critical Configuration Files
|
||||||
|
echo -e "\n${BLUE}[3/5] ⚙️ جاري نسخ ملفات التكوين والبيئة والهندسة المعمارية...${NC}"
|
||||||
|
cp -f "$ROOT_DIR/.env" "$BACKUP_DIR/configs/.env.backup" 2>/dev/null || echo " ⚠️ لم يُعثر على .env"
|
||||||
|
cp -f "$ROOT_DIR/docker-compose.yml" "$BACKUP_DIR/configs/" 2>/dev/null || true
|
||||||
|
cp -f "$ROOT_DIR/docker-compose.map2.yml" "$BACKUP_DIR/configs/" 2>/dev/null || true
|
||||||
|
cp -rf "$ROOT_DIR/infrastructure/docker" "$BACKUP_DIR/configs/" 2>/dev/null || true
|
||||||
|
|
||||||
|
# Styles (Vector & Raster styles)
|
||||||
|
cp -f "$ROOT_DIR"/style*.json "$BACKUP_DIR/styles/" 2>/dev/null || true
|
||||||
|
echo -e " ✅ تم حفظ ملفات التكوين وأنماط الخرائط (Styles)."
|
||||||
|
|
||||||
|
# 4. Sovereign Geodata, Offline Tiles & Routing Graphs
|
||||||
|
echo -e "\n${BLUE}[4/5] 🗺️ جاري أرشفة البيانات الجغرافية السيادية والأوفلاين...${NC}"
|
||||||
|
if [ -d "$ROOT_DIR/data/mbtiles" ]; then
|
||||||
|
echo -e " ⏳ جاري نسخ مربعات الارتفاع والصور الفضائية المحلية (MBTiles)..."
|
||||||
|
cp -rf "$ROOT_DIR/data/mbtiles" "$BACKUP_DIR/geodata/"
|
||||||
|
fi
|
||||||
|
|
||||||
|
if [ -f "$ROOT_DIR/infrastructure/osm-data/jordan-latest.osm.pbf" ]; then
|
||||||
|
echo -e " ⏳ جاري نسخ حزمة خريطة الأردن المفتوحة (OSM PBF)..."
|
||||||
|
cp -f "$ROOT_DIR/infrastructure/osm-data/jordan-latest.osm.pbf" "$BACKUP_DIR/geodata/"
|
||||||
|
fi
|
||||||
|
|
||||||
|
if [ -d "$ROOT_DIR/infrastructure/osm-data/routing-packages" ]; then
|
||||||
|
echo -e " ⏳ جاري نسخ حزم توجيه Valhalla المحسوبة محلياً..."
|
||||||
|
cp -rf "$ROOT_DIR/infrastructure/osm-data/routing-packages" "$BACKUP_DIR/geodata/"
|
||||||
|
fi
|
||||||
|
|
||||||
|
# Add restore script directly into the backup folder for self-contained recovery
|
||||||
|
cp -f "$ROOT_DIR/infrastructure/scripts/restore_sovereign_map.sh" "$BACKUP_DIR/restore_sovereign_map.sh" 2>/dev/null || true
|
||||||
|
chmod +x "$BACKUP_DIR/restore_sovereign_map.sh" 2>/dev/null || true
|
||||||
|
|
||||||
|
# 5. Manifest & Checksums
|
||||||
|
echo -e "\n${BLUE}[5/5] 🔒 جاري توليد بصمات التحقق والنزاهة الرقمية (SHA256)...${NC}"
|
||||||
|
cat <<EOF > "$BACKUP_DIR/MANIFEST.txt"
|
||||||
|
Sovereign Map SaaS Platform Backup Manifest
|
||||||
|
===========================================
|
||||||
|
Timestamp: $TIMESTAMP
|
||||||
|
Backup Date: $(date -u +"%Y-%m-%dT%H:%M:%SZ")
|
||||||
|
Hostname: $(hostname)
|
||||||
|
PostgreSQL Version: 15-3.3 (PostGIS)
|
||||||
|
Project Root: $ROOT_DIR
|
||||||
|
Architect: Hamza Ayed (Siro / Intaleq)
|
||||||
|
EOF
|
||||||
|
|
||||||
|
cd "$BACKUP_DIR"
|
||||||
|
find . -type f ! -name "checksums.sha256" -exec sha256sum {} + > "$BACKUP_DIR/checksums.sha256" 2>/dev/null || \
|
||||||
|
find . -type f ! -name "checksums.sha256" -exec shasum -a 256 {} + > "$BACKUP_DIR/checksums.sha256"
|
||||||
|
|
||||||
|
# Package into a unified compressed tarball
|
||||||
|
echo -e " 📦 ضغط الحزمة الكاملة في ملف أرشيف موحد..."
|
||||||
|
cd "$BACKUP_BASE_DIR"
|
||||||
|
tar -czf "$ARCHIVE_NAME" "sovereign_backup_$TIMESTAMP"
|
||||||
|
|
||||||
|
TOTAL_ARCHIVE_SIZE=$(du -h "$BACKUP_BASE_DIR/$ARCHIVE_NAME" | cut -f1)
|
||||||
|
|
||||||
|
echo -e "\n${GREEN}==================================================================${NC}"
|
||||||
|
echo -e "${GREEN} 🎉 تم إنجاز النسخة الاحتياطية بنجاح تام!${NC}"
|
||||||
|
echo -e "${GREEN}==================================================================${NC}"
|
||||||
|
echo -e "📁 مجلد النسخة المفكوكة: ${CYAN}$BACKUP_DIR${NC}"
|
||||||
|
echo -e "📦 ملف الأرشيف المضغوط: ${YELLOW}$BACKUP_BASE_DIR/$ARCHIVE_NAME${NC} (${GREEN}$TOTAL_ARCHIVE_SIZE${NC})"
|
||||||
|
echo -e "🔒 بصمات التحقق: ${CYAN}$BACKUP_DIR/checksums.sha256${NC}"
|
||||||
|
echo -e "------------------------------------------------------------------"
|
||||||
|
echo -e "${YELLOW}🚀 أمر النقل المباشر إلى السيرفر الجديد (One-Liner Transfer Command):${NC}"
|
||||||
|
echo -e "${CYAN}rsync -avzP -e \"ssh -i ~/.ssh/your-key\" \"$BACKUP_BASE_DIR/$ARCHIVE_NAME\" root@<TARGET_SERVER_IP>:/home/hamzadoctor/backups/${NC}"
|
||||||
|
echo -e "${GREEN}==================================================================${NC}"
|
||||||
+184
@@ -0,0 +1,184 @@
|
|||||||
|
#!/usr/bin/env bash
|
||||||
|
# ==============================================================================
|
||||||
|
# Sovereign Map Platform - Full Autonomous Restoration System
|
||||||
|
# منصة الخرائط السيادية - نظام الاستعادة الشامل وإعادة التشغيل على سيرفر جديد
|
||||||
|
# ==============================================================================
|
||||||
|
# Architect: Hamza Ayed - Founding Tech Architect & Sovereign Mobility Strategist
|
||||||
|
# ==============================================================================
|
||||||
|
|
||||||
|
set -euo pipefail
|
||||||
|
|
||||||
|
# ANSI Color Codes
|
||||||
|
GREEN='\033[0;32m'
|
||||||
|
BLUE='\033[0;34m'
|
||||||
|
YELLOW='\033[1;33m'
|
||||||
|
RED='\033[0;31m'
|
||||||
|
CYAN='\033[0;36m'
|
||||||
|
NC='\033[0m'
|
||||||
|
|
||||||
|
ROOT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")/../.." && pwd)"
|
||||||
|
|
||||||
|
echo -e "${CYAN}==================================================================${NC}"
|
||||||
|
echo -e "${CYAN} 🛡️ منصة خرائط سيرو السيادية | معالج استعادة النظام والسيرفر${NC}"
|
||||||
|
echo -e "${CYAN}==================================================================${NC}"
|
||||||
|
|
||||||
|
if [ $# -lt 1 ]; then
|
||||||
|
echo -e "${RED}❌ خطأ: يرجى تحديد مسار ملف النسخة الاحتياطية (.tar.gz) أو مجلد النسخة.${NC}"
|
||||||
|
echo -e "الاستخدام: $0 <path_to_backup.tar.gz | path_to_backup_dir>"
|
||||||
|
echo -e "مثال: $0 /home/hamzadoctor/backups/sovereign_map_full_backup_20260926_120000.tar.gz"
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
INPUT_PATH="$1"
|
||||||
|
TEMP_RESTORE_DIR=""
|
||||||
|
|
||||||
|
# Determine whether input is a tarball or a directory
|
||||||
|
if [ -f "$INPUT_PATH" ] && [[ "$INPUT_PATH" == *.tar.gz ]]; then
|
||||||
|
echo -e "📦 تم التعرف على ملف أرشيف مضغوط: ${YELLOW}$INPUT_PATH${NC}"
|
||||||
|
TEMP_RESTORE_DIR=$(mktemp -d /tmp/sovereign_restore_XXXXXX)
|
||||||
|
echo -e "⏳ جاري فك ضغط الأرشيف إلى: ${CYAN}$TEMP_RESTORE_DIR${NC}..."
|
||||||
|
tar -xzf "$INPUT_PATH" -C "$TEMP_RESTORE_DIR"
|
||||||
|
# Find the unpacked inner folder
|
||||||
|
RESTORE_SRC=$(find "$TEMP_RESTORE_DIR" -maxdepth 1 -mindepth 1 -type d | head -n 1)
|
||||||
|
if [ -z "$RESTORE_SRC" ]; then
|
||||||
|
RESTORE_SRC="$TEMP_RESTORE_DIR"
|
||||||
|
fi
|
||||||
|
elif [ -d "$INPUT_PATH" ]; then
|
||||||
|
echo -e "📁 تم التعرف على مجلد نسخة احتياطية: ${YELLOW}$INPUT_PATH${NC}"
|
||||||
|
RESTORE_SRC="$INPUT_PATH"
|
||||||
|
else
|
||||||
|
echo -e "${RED}❌ المسار المحدد غير صالح: $INPUT_PATH${NC}"
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
echo -e "🔍 فحص مكونات النسخة الاحتياطية في: ${GREEN}$RESTORE_SRC${NC}"
|
||||||
|
|
||||||
|
# Check for database dump
|
||||||
|
DUMP_FILE="$RESTORE_SRC/database/mapdb_custom.dump"
|
||||||
|
SQL_FILE="$RESTORE_SRC/database/mapdb_schema.sql"
|
||||||
|
|
||||||
|
if [ ! -f "$DUMP_FILE" ] && [ ! -f "$SQL_FILE" ]; then
|
||||||
|
echo -e "${RED}❌ لم يتم العثور على ملفات قاعدة البيانات (mapdb_custom.dump أو mapdb_schema.sql)${NC}"
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
# Step 1: Ensure Docker is active
|
||||||
|
echo -e "\n${BLUE}[1/6] 🐳 فحص بيئة Docker و Docker Compose...${NC}"
|
||||||
|
if ! command -v docker &> /dev/null; then
|
||||||
|
echo -e "${RED}❌ Docker غير مثبت على هذا السيرفر! يرجى تثبيته أولاً.${NC}"
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
DOCKER_COMPOSE_CMD=""
|
||||||
|
if docker compose version &> /dev/null; then
|
||||||
|
DOCKER_COMPOSE_CMD="docker compose"
|
||||||
|
elif command -v docker-compose &> /dev/null; then
|
||||||
|
DOCKER_COMPOSE_CMD="docker-compose"
|
||||||
|
else
|
||||||
|
echo -e "${RED}❌ docker compose غير متاح!${NC}"
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
echo -e " ✅ محرك الحاويات جاهز: ${GREEN}$($DOCKER_COMPOSE_CMD version --short)${NC}"
|
||||||
|
|
||||||
|
# Step 2: Check & prepare .env file
|
||||||
|
echo -e "\n${BLUE}[2/6] ⚙️ تهيئة متغيرات البيئة (.env)...${NC}"
|
||||||
|
cd "$ROOT_DIR"
|
||||||
|
if [ ! -f "$ROOT_DIR/.env" ] && [ -f "$RESTORE_SRC/configs/.env.backup" ]; then
|
||||||
|
echo -e " 📥 استعادة ملف .env من النسخة الاحتياطية..."
|
||||||
|
cp "$RESTORE_SRC/configs/.env.backup" "$ROOT_DIR/.env"
|
||||||
|
elif [ -f "$ROOT_DIR/.env" ]; then
|
||||||
|
echo -e " ✅ ملف .env موجود مسبقاً في مسار المشروع."
|
||||||
|
else
|
||||||
|
echo -e " ${YELLOW}⚠️ لم يوجد .env! يرجى إنشاء ملف .env بالاعتماد على .env.example${NC}"
|
||||||
|
fi
|
||||||
|
|
||||||
|
# Step 3: Restore offline MBTiles & OSM packages
|
||||||
|
echo -e "\n${BLUE}[3/6] 🗺️ استعادة المربعات السيادية وحزم التوجيه (Offline Datasets)...${NC}"
|
||||||
|
if [ -d "$RESTORE_SRC/geodata/mbtiles" ]; then
|
||||||
|
mkdir -p "$ROOT_DIR/data/mbtiles"
|
||||||
|
echo -e " 📥 استعادة ملفات الارتفاع والأقمار الصناعية (MBTiles)..."
|
||||||
|
cp -rf "$RESTORE_SRC/geodata/mbtiles/"* "$ROOT_DIR/data/mbtiles/" 2>/dev/null || true
|
||||||
|
fi
|
||||||
|
|
||||||
|
if [ -f "$RESTORE_SRC/geodata/jordan-latest.osm.pbf" ]; then
|
||||||
|
mkdir -p "$ROOT_DIR/infrastructure/osm-data"
|
||||||
|
echo -e " 📥 استعادة ملف خريطة الأردن الخام (OSM PBF)..."
|
||||||
|
cp -f "$RESTORE_SRC/geodata/jordan-latest.osm.pbf" "$ROOT_DIR/infrastructure/osm-data/"
|
||||||
|
fi
|
||||||
|
|
||||||
|
if [ -d "$RESTORE_SRC/geodata/routing-packages" ]; then
|
||||||
|
mkdir -p "$ROOT_DIR/infrastructure/osm-data/routing-packages"
|
||||||
|
echo -e " 📥 استعادة حزم التوجيه المحلية (Valhalla routing)..."
|
||||||
|
cp -rf "$RESTORE_SRC/geodata/routing-packages/"* "$ROOT_DIR/infrastructure/osm-data/routing-packages/" 2>/dev/null || true
|
||||||
|
fi
|
||||||
|
|
||||||
|
# Step 4: Boot Database & Redis Containers
|
||||||
|
echo -e "\n${BLUE}[4/6] 🐘 تشغيل حاويات الداتابيز والكاش والتأكد من جاهزيتها...${NC}"
|
||||||
|
$DOCKER_COMPOSE_CMD up -d db redis
|
||||||
|
|
||||||
|
echo -e " ⏳ في انتظار جاهزية PostgreSQL و PostGIS..."
|
||||||
|
for i in {1..30}; do
|
||||||
|
if docker exec map-db pg_isready -U mapuser -d mapdb &>/dev/null; then
|
||||||
|
echo -e " ✅ قاعدة البيانات PostGIS جاهزة للحقن!"
|
||||||
|
break
|
||||||
|
fi
|
||||||
|
sleep 2
|
||||||
|
if [ $i -eq 30 ]; then
|
||||||
|
echo -e "${RED}❌ فشل انتظار جاهزية قاعدة البيانات! تفقد سجلات docker logs map-db${NC}"
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
done
|
||||||
|
|
||||||
|
# Step 5: Inject PostGIS Database
|
||||||
|
echo -e "\n${BLUE}[5/6] 📥 استعادة وحقن البيانات المكانية في PostGIS...${NC}"
|
||||||
|
if [ -f "$DUMP_FILE" ]; then
|
||||||
|
echo -e " ⏳ جاري الاستعادة من ملف الـ Custom Dump المسرّع..."
|
||||||
|
# Ensure postgis extension exists
|
||||||
|
docker exec -i map-db psql -U mapuser -d mapdb -c "CREATE EXTENSION IF NOT EXISTS postgis;"
|
||||||
|
docker exec -i map-db psql -U mapuser -d mapdb -c "CREATE EXTENSION IF NOT EXISTS postgis_topology;"
|
||||||
|
|
||||||
|
# Restore dump (ignore non-fatal warnings for clean recreation)
|
||||||
|
docker exec -i map-db pg_restore -U mapuser -d mapdb --clean --if-exists --no-owner --no-acl < "$DUMP_FILE" || true
|
||||||
|
|
||||||
|
# Run VACUUM ANALYZE to optimize geometry indices
|
||||||
|
echo -e " ⚡ تحسين الفهارس المكانية (VACUUM ANALYZE)..."
|
||||||
|
docker exec -i map-db psql -U mapuser -d mapdb -c "VACUUM ANALYZE;"
|
||||||
|
echo -e " ✅ تم استعادة قاعدة البيانات وتحديث الفهارس بنجاح!"
|
||||||
|
fi
|
||||||
|
|
||||||
|
# Step 6: Start Full Application Stack & Healthcheck
|
||||||
|
echo -e "\n${BLUE}[6/6] 🚀 بناء وتشغيل كافة خدمات المنصة السيادية...${NC}"
|
||||||
|
$DOCKER_COMPOSE_CMD up -d --build api martin web dashboard routing
|
||||||
|
|
||||||
|
echo -e "\n⏳ فحص صحة الخدمات (Health Checks)..."
|
||||||
|
sleep 5
|
||||||
|
|
||||||
|
check_service() {
|
||||||
|
local name="$1"
|
||||||
|
local url="$2"
|
||||||
|
if curl -s -f -m 5 "$url" > /dev/null 2>&1; then
|
||||||
|
echo -e " ✅ خدمة ${GREEN}$name${NC} تعمل بنجاح: $url"
|
||||||
|
else
|
||||||
|
echo -e " ℹ️ خدمة ${YELLOW}$name${NC} في طور الإقلاع أو تتطلب ثوانٍ إضافية: $url"
|
||||||
|
fi
|
||||||
|
}
|
||||||
|
|
||||||
|
check_service "Backend API (NestJS)" "http://localhost:3200/api/health"
|
||||||
|
check_service "Martin Vector Tiles" "http://localhost:3202/health"
|
||||||
|
check_service "GraphHopper Routing" "http://localhost:8989/health"
|
||||||
|
check_service "Web Tactical Portal" "http://localhost:3201"
|
||||||
|
check_service "Developer Dashboard" "http://localhost:3204"
|
||||||
|
|
||||||
|
# Cleanup temp unpack dir if created
|
||||||
|
if [ -n "$TEMP_RESTORE_DIR" ] && [ -d "$TEMP_RESTORE_DIR" ]; then
|
||||||
|
rm -rf "$TEMP_RESTORE_DIR"
|
||||||
|
fi
|
||||||
|
|
||||||
|
echo -e "\n${GREEN}==================================================================${NC}"
|
||||||
|
echo -e "${GREEN} 🎉 اكتملت عملية الاستعادة بنجاح والمنصة تعمل بكامل طاقتها!${NC}"
|
||||||
|
echo -e "${GREEN}==================================================================${NC}"
|
||||||
|
echo -e "🌐 البوابة التكتيكية والمناورة: http://localhost:3201/#maneuver"
|
||||||
|
echo -e "📡 خادم الخرائط السيادي (Martin): http://localhost:3202"
|
||||||
|
echo -e "⚡ محرك التوجيه (GraphHopper): http://localhost:8989"
|
||||||
|
echo -e "💼 لوحة المطورين والإدارة: http://localhost:3204"
|
||||||
|
echo -e "------------------------------------------------------------------"
|
||||||
@@ -0,0 +1,181 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
"""
|
||||||
|
Sovereign 3D DEM Tile Seeder for Jordan (سيرفر سيادي لتخزين تضاريس الأردن ثلاثية الأبعاد)
|
||||||
|
Downloads Terrarium 3D DEM elevation tiles for the Jordan National Bounding Box
|
||||||
|
and packages them into a sovereign MBTiles SQLite database and/or local tile directory.
|
||||||
|
|
||||||
|
Bounding Box (Jordan):
|
||||||
|
West: 34.8°, South: 29.1°, East: 39.3°, North: 33.4°
|
||||||
|
Zoom Levels: 0 to 14 (overscaled to z20 by MapLibre GPU)
|
||||||
|
"""
|
||||||
|
|
||||||
|
import os
|
||||||
|
import sys
|
||||||
|
import math
|
||||||
|
import sqlite3
|
||||||
|
import argparse
|
||||||
|
import time
|
||||||
|
import urllib.request
|
||||||
|
import urllib.error
|
||||||
|
from concurrent.futures import ThreadPoolExecutor, as_completed
|
||||||
|
|
||||||
|
# National Jordan Geographic Envelope
|
||||||
|
JORDAN_BBOX = {
|
||||||
|
'min_lon': 34.8,
|
||||||
|
'min_lat': 29.1,
|
||||||
|
'max_lon': 39.3,
|
||||||
|
'max_lat': 33.4
|
||||||
|
}
|
||||||
|
|
||||||
|
DEM_URL_TEMPLATE = "https://s3.amazonaws.com/elevation-tiles-prod/terrarium/{z}/{x}/{y}.png"
|
||||||
|
|
||||||
|
def deg2num(lat_deg, lon_deg, zoom):
|
||||||
|
lat_rad = math.radians(lat_deg)
|
||||||
|
n = 2.0 ** zoom
|
||||||
|
xtile = int((lon_deg + 180.0) / 360.0 * n)
|
||||||
|
ytile = int((1.0 - math.asinh(math.tan(lat_rad)) / math.pi) / 2.0 * n)
|
||||||
|
return (xtile, ytile)
|
||||||
|
|
||||||
|
def init_mbtiles(db_path, min_zoom, max_zoom):
|
||||||
|
conn = sqlite3.connect(db_path)
|
||||||
|
cur = conn.cursor()
|
||||||
|
cur.execute("PRAGMA synchronous = NORMAL")
|
||||||
|
cur.execute("PRAGMA journal_mode = WAL")
|
||||||
|
|
||||||
|
cur.execute("""
|
||||||
|
CREATE TABLE IF NOT EXISTS metadata (
|
||||||
|
name TEXT PRIMARY KEY,
|
||||||
|
value TEXT
|
||||||
|
);
|
||||||
|
""")
|
||||||
|
cur.execute("""
|
||||||
|
CREATE TABLE IF NOT EXISTS tiles (
|
||||||
|
zoom_level INTEGER,
|
||||||
|
tile_column INTEGER,
|
||||||
|
tile_row INTEGER,
|
||||||
|
tile_data BLOB,
|
||||||
|
PRIMARY KEY (zoom_level, tile_column, tile_row)
|
||||||
|
);
|
||||||
|
""")
|
||||||
|
|
||||||
|
meta = [
|
||||||
|
('name', 'Jordan Sovereign 3D Elevation DEM (Terrarium)'),
|
||||||
|
('type', 'baselayer'),
|
||||||
|
('version', '1.0'),
|
||||||
|
('description', 'High-accuracy Sovereign 3D DEM Terrarium Tiles for the Hashemite Kingdom of Jordan'),
|
||||||
|
('format', 'png'),
|
||||||
|
('bounds', f"{JORDAN_BBOX['min_lon']},{JORDAN_BBOX['min_lat']},{JORDAN_BBOX['max_lon']},{JORDAN_BBOX['max_lat']}"),
|
||||||
|
('minzoom', str(min_zoom)),
|
||||||
|
('maxzoom', str(max_zoom)),
|
||||||
|
('attribution', '© Intaleq Sovereign Spatial Engine | Mapzen Terrarium')
|
||||||
|
]
|
||||||
|
for k, v in meta:
|
||||||
|
cur.execute("INSERT OR REPLACE INTO metadata (name, value) VALUES (?, ?)", (k, v))
|
||||||
|
conn.commit()
|
||||||
|
return conn
|
||||||
|
|
||||||
|
def download_tile(z, x, y, retries=3):
|
||||||
|
url = DEM_URL_TEMPLATE.format(z=z, x=x, y=y)
|
||||||
|
req = urllib.request.Request(
|
||||||
|
url,
|
||||||
|
headers={'User-Agent': 'Intaleq-Sovereign-Map-Seeder/1.0'}
|
||||||
|
)
|
||||||
|
for attempt in range(retries):
|
||||||
|
try:
|
||||||
|
with urllib.request.urlopen(req, timeout=10) as response:
|
||||||
|
if response.status == 200:
|
||||||
|
return (z, x, y, response.read(), None)
|
||||||
|
except Exception as e:
|
||||||
|
if attempt == retries - 1:
|
||||||
|
return (z, x, y, None, str(e))
|
||||||
|
time.sleep(0.5 * (attempt + 1))
|
||||||
|
return (z, x, y, None, "Timeout")
|
||||||
|
|
||||||
|
def main():
|
||||||
|
parser = argparse.ArgumentParser(description="Jordan Sovereign 3D DEM Tile Seeder")
|
||||||
|
parser.add_argument("--min-zoom", type=int, default=0, help="Minimum zoom level (default: 0)")
|
||||||
|
parser.add_argument("--max-zoom", type=int, default=14, help="Maximum zoom level (default: 14)")
|
||||||
|
parser.add_argument("--output-mbtiles", type=str, default="data/jordan-dem.mbtiles", help="Output MBTiles path")
|
||||||
|
parser.add_argument("--output-dir", type=str, default="", help="Optional output directory for raw {z}/{x}/{y}.png files")
|
||||||
|
parser.add_argument("--workers", type=int, default=16, help="Concurrent worker threads (default: 16)")
|
||||||
|
args = parser.parse_args()
|
||||||
|
|
||||||
|
os.makedirs(os.path.dirname(os.path.abspath(args.output_mbtiles)), exist_ok=True)
|
||||||
|
if args.output_dir:
|
||||||
|
os.makedirs(args.output_dir, exist_ok=True)
|
||||||
|
|
||||||
|
print(f"🚀 Initializing Sovereign 3D DEM Tile Seeder for Jordan...")
|
||||||
|
print(f"📍 Geographic Bounding Box: {JORDAN_BBOX}")
|
||||||
|
print(f"🔍 Zoom range: {args.min_zoom} -> {args.max_zoom}")
|
||||||
|
print(f"💾 Target MBTiles: {args.output_mbtiles}")
|
||||||
|
|
||||||
|
conn = init_mbtiles(args.output_mbtiles, args.min_zoom, args.max_zoom)
|
||||||
|
cursor = conn.cursor()
|
||||||
|
|
||||||
|
# Pre-calculate tile list
|
||||||
|
tiles_to_download = []
|
||||||
|
for z in range(args.min_zoom, args.max_zoom + 1):
|
||||||
|
x1, y2 = deg2num(JORDAN_BBOX['min_lat'], JORDAN_BBOX['min_lon'], z)
|
||||||
|
x2, y1 = deg2num(JORDAN_BBOX['max_lat'], JORDAN_BBOX['max_lon'], z)
|
||||||
|
min_x, max_x = min(x1, x2), max(x1, x2)
|
||||||
|
min_y, max_y = min(y1, y2), max(y1, y2)
|
||||||
|
for x in range(min_x, max_x + 1):
|
||||||
|
for y in range(min_y, max_y + 1):
|
||||||
|
# Check if tile already exists in MBTiles
|
||||||
|
# Note: MBTiles uses TMS y-coordinates: tms_y = (2^z - 1) - y
|
||||||
|
tms_y = (1 << z) - 1 - y
|
||||||
|
cursor.execute("SELECT 1 FROM tiles WHERE zoom_level=? AND tile_column=? AND tile_row=?", (z, x, tms_y))
|
||||||
|
if not cursor.fetchone():
|
||||||
|
tiles_to_download.append((z, x, y))
|
||||||
|
|
||||||
|
total = len(tiles_to_download)
|
||||||
|
print(f"📦 Total new tiles to fetch: {total:,}")
|
||||||
|
if total == 0:
|
||||||
|
print("✅ All tiles are already cached and present in the sovereign database!")
|
||||||
|
conn.close()
|
||||||
|
return
|
||||||
|
|
||||||
|
downloaded = 0
|
||||||
|
errors = 0
|
||||||
|
batch = []
|
||||||
|
start_time = time.time()
|
||||||
|
|
||||||
|
with ThreadPoolExecutor(max_workers=args.workers) as executor:
|
||||||
|
futures = {executor.submit(download_tile, z, x, y): (z, x, y) for z, x, y in tiles_to_download}
|
||||||
|
|
||||||
|
for future in as_completed(futures):
|
||||||
|
z, x, y, data, err = future.result()
|
||||||
|
if data:
|
||||||
|
tms_y = (1 << z) - 1 - y
|
||||||
|
batch.append((z, x, tms_y, data))
|
||||||
|
downloaded += 1
|
||||||
|
|
||||||
|
# If raw dir specified, also save file
|
||||||
|
if args.output_dir:
|
||||||
|
tile_file_dir = os.path.join(args.output_dir, str(z), str(x))
|
||||||
|
os.makedirs(tile_file_dir, exist_ok=True)
|
||||||
|
with open(os.path.join(tile_file_dir, f"{y}.png"), "wb") as f:
|
||||||
|
f.write(data)
|
||||||
|
else:
|
||||||
|
errors += 1
|
||||||
|
|
||||||
|
if len(batch) >= 200:
|
||||||
|
cursor.executemany("INSERT OR REPLACE INTO tiles (zoom_level, tile_column, tile_row, tile_data) VALUES (?, ?, ?, ?)", batch)
|
||||||
|
conn.commit()
|
||||||
|
batch.clear()
|
||||||
|
elapsed = time.time() - start_time
|
||||||
|
speed = downloaded / elapsed if elapsed > 0 else 0
|
||||||
|
pct = (downloaded + errors) / total * 100
|
||||||
|
print(f"⏳ Progress: {downloaded:,}/{total:,} ({pct:.1f}%) | Speed: {speed:.1f} tiles/s | Errors: {errors}")
|
||||||
|
|
||||||
|
if batch:
|
||||||
|
cursor.executemany("INSERT OR REPLACE INTO tiles (zoom_level, tile_column, tile_row, tile_data) VALUES (?, ?, ?, ?)", batch)
|
||||||
|
conn.commit()
|
||||||
|
|
||||||
|
conn.close()
|
||||||
|
elapsed = time.time() - start_time
|
||||||
|
print(f"\n🎉 Finished! Downloaded: {downloaded:,} tiles in {elapsed:.1f}s. Errors: {errors}.")
|
||||||
|
print(f"🛡️ Sovereign MBTiles stored at: {args.output_mbtiles}")
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
main()
|
||||||
@@ -0,0 +1,181 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
"""
|
||||||
|
Sovereign Satellite Imagery Tile Seeder for Jordan (سيرفر سيادي لتخزين صور الأقمار الصناعية للأردن)
|
||||||
|
Downloads high-resolution photographic satellite imagery tiles for Jordan's National Envelope
|
||||||
|
and stores them into an offline sovereign MBTiles SQLite database.
|
||||||
|
|
||||||
|
Bounding Box (Jordan):
|
||||||
|
West: 34.8°, South: 29.1°, East: 39.3°, North: 33.4°
|
||||||
|
Zoom Levels: 0 to 15 (Strategic & Tactical military coverage)
|
||||||
|
"""
|
||||||
|
|
||||||
|
import os
|
||||||
|
import sys
|
||||||
|
import math
|
||||||
|
import sqlite3
|
||||||
|
import argparse
|
||||||
|
import time
|
||||||
|
import urllib.request
|
||||||
|
import urllib.error
|
||||||
|
from concurrent.futures import ThreadPoolExecutor, as_completed
|
||||||
|
|
||||||
|
JORDAN_BBOX = {
|
||||||
|
'min_lon': 34.8,
|
||||||
|
'min_lat': 29.1,
|
||||||
|
'max_lon': 39.3,
|
||||||
|
'max_lat': 33.4
|
||||||
|
}
|
||||||
|
|
||||||
|
# Arcgis World Imagery Tile Template
|
||||||
|
SATELLITE_URL_TEMPLATE = "https://services.arcgisonline.com/ArcGIS/rest/services/World_Imagery/MapServer/tile/{z}/{y}/{x}"
|
||||||
|
|
||||||
|
def deg2num(lat_deg, lon_deg, zoom):
|
||||||
|
lat_rad = math.radians(lat_deg)
|
||||||
|
n = 2.0 ** zoom
|
||||||
|
xtile = int((lon_deg + 180.0) / 360.0 * n)
|
||||||
|
ytile = int((1.0 - math.asinh(math.tan(lat_rad)) / math.pi) / 2.0 * n)
|
||||||
|
return (xtile, ytile)
|
||||||
|
|
||||||
|
def init_mbtiles(db_path, min_zoom, max_zoom):
|
||||||
|
conn = sqlite3.connect(db_path)
|
||||||
|
cur = conn.cursor()
|
||||||
|
cur.execute("PRAGMA synchronous = NORMAL")
|
||||||
|
cur.execute("PRAGMA journal_mode = WAL")
|
||||||
|
|
||||||
|
cur.execute("""
|
||||||
|
CREATE TABLE IF NOT EXISTS metadata (
|
||||||
|
name TEXT PRIMARY KEY,
|
||||||
|
value TEXT
|
||||||
|
);
|
||||||
|
""")
|
||||||
|
cur.execute("""
|
||||||
|
CREATE TABLE IF NOT EXISTS tiles (
|
||||||
|
zoom_level INTEGER,
|
||||||
|
tile_column INTEGER,
|
||||||
|
tile_row INTEGER,
|
||||||
|
tile_data BLOB,
|
||||||
|
PRIMARY KEY (zoom_level, tile_column, tile_row)
|
||||||
|
);
|
||||||
|
""")
|
||||||
|
|
||||||
|
meta = [
|
||||||
|
('name', 'Jordan Sovereign Satellite Imagery (الأقمار الصناعية السيادية للأردن)'),
|
||||||
|
('type', 'baselayer'),
|
||||||
|
('version', '1.0'),
|
||||||
|
('description', 'High-resolution Sovereign Photographic Satellite Imagery for the Hashemite Kingdom of Jordan'),
|
||||||
|
('format', 'jpg'),
|
||||||
|
('bounds', f"{JORDAN_BBOX['min_lon']},{JORDAN_BBOX['min_lat']},{JORDAN_BBOX['max_lon']},{JORDAN_BBOX['max_lat']}"),
|
||||||
|
('minzoom', str(min_zoom)),
|
||||||
|
('maxzoom', str(max_zoom)),
|
||||||
|
('attribution', '© Intaleq Sovereign Earth Observation Engine')
|
||||||
|
]
|
||||||
|
for k, v in meta:
|
||||||
|
cur.execute("INSERT OR REPLACE INTO metadata (name, value) VALUES (?, ?)", (k, v))
|
||||||
|
conn.commit()
|
||||||
|
return conn
|
||||||
|
|
||||||
|
def download_tile(z, x, y, retries=3):
|
||||||
|
url = SATELLITE_URL_TEMPLATE.format(z=z, x=x, y=y)
|
||||||
|
req = urllib.request.Request(
|
||||||
|
url,
|
||||||
|
headers={
|
||||||
|
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) IntaleqSovereignEngine/1.0',
|
||||||
|
'Referer': 'https://map-saas.intaleqapp.com/'
|
||||||
|
}
|
||||||
|
)
|
||||||
|
for attempt in range(retries):
|
||||||
|
try:
|
||||||
|
with urllib.request.urlopen(req, timeout=12) as response:
|
||||||
|
if response.status == 200:
|
||||||
|
data = response.read()
|
||||||
|
return (z, x, y, data, None)
|
||||||
|
except Exception as e:
|
||||||
|
if attempt == retries - 1:
|
||||||
|
return (z, x, y, None, str(e))
|
||||||
|
time.sleep(0.5 * (attempt + 1))
|
||||||
|
return (z, x, y, None, "Timeout")
|
||||||
|
|
||||||
|
def main():
|
||||||
|
parser = argparse.ArgumentParser(description="Jordan Sovereign Satellite Imagery Tile Seeder")
|
||||||
|
parser.add_argument("--min-zoom", type=int, default=0, help="Minimum zoom level (default: 0)")
|
||||||
|
parser.add_argument("--max-zoom", type=int, default=14, help="Maximum zoom level (default: 14)")
|
||||||
|
parser.add_argument("--output-mbtiles", type=str, default="data/jordan-satellite.mbtiles", help="Output MBTiles path")
|
||||||
|
parser.add_argument("--output-dir", type=str, default="", help="Optional output directory for raw {z}/{x}/{y}.jpg files")
|
||||||
|
parser.add_argument("--workers", type=int, default=16, help="Concurrent worker threads (default: 16)")
|
||||||
|
args = parser.parse_args()
|
||||||
|
|
||||||
|
os.makedirs(os.path.dirname(os.path.abspath(args.output_mbtiles)), exist_ok=True)
|
||||||
|
if args.output_dir:
|
||||||
|
os.makedirs(args.output_dir, exist_ok=True)
|
||||||
|
|
||||||
|
print(f"🛰️ Initializing Sovereign Satellite Imagery Seeder for Jordan...")
|
||||||
|
print(f"📍 Geographic Bounding Box: {JORDAN_BBOX}")
|
||||||
|
print(f"🔍 Zoom range: {args.min_zoom} -> {args.max_zoom}")
|
||||||
|
print(f"💾 Target MBTiles: {args.output_mbtiles}")
|
||||||
|
|
||||||
|
conn = init_mbtiles(args.output_mbtiles, args.min_zoom, args.max_zoom)
|
||||||
|
cursor = conn.cursor()
|
||||||
|
|
||||||
|
tiles_to_download = []
|
||||||
|
for z in range(args.min_zoom, args.max_zoom + 1):
|
||||||
|
x1, y2 = deg2num(JORDAN_BBOX['min_lat'], JORDAN_BBOX['min_lon'], z)
|
||||||
|
x2, y1 = deg2num(JORDAN_BBOX['max_lat'], JORDAN_BBOX['max_lon'], z)
|
||||||
|
min_x, max_x = min(x1, x2), max(x1, x2)
|
||||||
|
min_y, max_y = min(y1, y2), max(y1, y2)
|
||||||
|
for x in range(min_x, max_x + 1):
|
||||||
|
for y in range(min_y, max_y + 1):
|
||||||
|
tms_y = (1 << z) - 1 - y
|
||||||
|
cursor.execute("SELECT 1 FROM tiles WHERE zoom_level=? AND tile_column=? AND tile_row=?", (z, x, tms_y))
|
||||||
|
if not cursor.fetchone():
|
||||||
|
tiles_to_download.append((z, x, y))
|
||||||
|
|
||||||
|
total = len(tiles_to_download)
|
||||||
|
print(f"📦 Total new satellite tiles to fetch: {total:,}")
|
||||||
|
if total == 0:
|
||||||
|
print("✅ All satellite tiles are already cached and present in the sovereign database!")
|
||||||
|
conn.close()
|
||||||
|
return
|
||||||
|
|
||||||
|
downloaded = 0
|
||||||
|
errors = 0
|
||||||
|
batch = []
|
||||||
|
start_time = time.time()
|
||||||
|
|
||||||
|
with ThreadPoolExecutor(max_workers=args.workers) as executor:
|
||||||
|
futures = {executor.submit(download_tile, z, x, y): (z, x, y) for z, x, y in tiles_to_download}
|
||||||
|
|
||||||
|
for future in as_completed(futures):
|
||||||
|
z, x, y, data, err = future.result()
|
||||||
|
if data:
|
||||||
|
tms_y = (1 << z) - 1 - y
|
||||||
|
batch.append((z, x, tms_y, data))
|
||||||
|
downloaded += 1
|
||||||
|
|
||||||
|
if args.output_dir:
|
||||||
|
tile_file_dir = os.path.join(args.output_dir, str(z), str(x))
|
||||||
|
os.makedirs(tile_file_dir, exist_ok=True)
|
||||||
|
with open(os.path.join(tile_file_dir, f"{y}.jpg"), "wb") as f:
|
||||||
|
f.write(data)
|
||||||
|
else:
|
||||||
|
errors += 1
|
||||||
|
|
||||||
|
if len(batch) >= 200:
|
||||||
|
cursor.executemany("INSERT OR REPLACE INTO tiles (zoom_level, tile_column, tile_row, tile_data) VALUES (?, ?, ?, ?)", batch)
|
||||||
|
conn.commit()
|
||||||
|
batch.clear()
|
||||||
|
elapsed = time.time() - start_time
|
||||||
|
speed = downloaded / elapsed if elapsed > 0 else 0
|
||||||
|
pct = (downloaded + errors) / total * 100
|
||||||
|
print(f"⏳ Progress: {downloaded:,}/{total:,} ({pct:.1f}%) | Speed: {speed:.1f} tiles/s | Errors: {errors}")
|
||||||
|
|
||||||
|
if batch:
|
||||||
|
cursor.executemany("INSERT OR REPLACE INTO tiles (zoom_level, tile_column, tile_row, tile_data) VALUES (?, ?, ?, ?)", batch)
|
||||||
|
conn.commit()
|
||||||
|
|
||||||
|
conn.close()
|
||||||
|
elapsed = time.time() - start_time
|
||||||
|
print(f"\n🎉 Finished! Downloaded: {downloaded:,} satellite tiles in {elapsed:.1f}s. Errors: {errors}.")
|
||||||
|
print(f"🛡️ Sovereign Satellite MBTiles stored at: {args.output_mbtiles}")
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
main()
|
||||||
@@ -33,6 +33,7 @@ rsync -avz --progress -e "ssh -o StrictHostKeyChecking=no" $KEY_FLAG \
|
|||||||
style-satellite.json \
|
style-satellite.json \
|
||||||
style-3d-terrain.json \
|
style-3d-terrain.json \
|
||||||
*.html \
|
*.html \
|
||||||
|
*.md \
|
||||||
apps \
|
apps \
|
||||||
packages \
|
packages \
|
||||||
infrastructure \
|
infrastructure \
|
||||||
|
|||||||
Reference in New Issue
Block a user