Abdellah Aazdag

منصة لمعالجة البيانات المالية

Smart Transformer

منصة full-stack حدّثت تدفقات بيانات مالية قائمة على جداول البيانات من خلال الاستيعاب المنظم والتوحيد والمعالجة الحتمية والتحليل المدعوم بالذكاء الاصطناعي ضمن حدود واضحة.

المحاور الهندسية

  • الهندسة الخلفية
  • تكامل full-stack
  • معمارية البرمجيات
  • معالجة البيانات
  • أنظمة مدعومة بالذكاء الاصطناعي

السياق

سياق المشروع

طُوّر Smart Transformer خلال تدريب نهاية الدراسة الهندسية لمدة ستة أشهر لدى CDG Capital في عام 2026.

تبقى دراسة الحالة على مستوى النظام البرمجي؛ فهي تصف انتقال تدفق قائم على جداول البيانات إلى تطبيق منظم دون كشف العمليات الداخلية أو البيانات المالية الحساسة.

المشكلة

مشكلة النظام

احتاجت التدفقات المعتمدة على جداول البيانات وVBA والخطوات شبه اليدوية إلى مسار قابل للصيانة ينقل المدخلات غير المتجانسة إلى بيانات موحدة وحسابات متكررة وتحليلات ومخرجات منظمة.

  1. 01

    استيعاب مدخلات جداول البيانات غير المتجانسة والتحقق منها.

  2. 02

    توحيد البيانات قبل الحساب والتحليل.

  3. 03

    الحفاظ على قابلية إعادة إنتاج العمليات الحتمية.

  4. 04

    توليد مخرجات JSON وXML منظمة.

القيود

حدود التصميم

كان على المنصة التعامل مع ملفات إدخال غير متجانسة وبيانات حساسة وحسابات متوقعة ومصادقة ومعالجة منظمة قابلة للتتبع وواجهات قائمة على الملفات.

  • C01مدخلات جداول بيانات غير متجانسة
  • C02متطلبات حساب حتمي
  • C03معالجة بيانات حساسة
  • C04متطلبات المصادقة
  • C05معالجة منظمة قابلة للتتبع
  • C06واجهات قائمة على الملفات

نطاق مساهمتي

المساهمة

مساهمة كبيرة في تصميم المنصة وتنفيذها عبر الخدمات الخلفية وتكامل الواجهة وتوحيد البيانات والمعالجة الحتمية والمصادقة وتنسيق الذكاء الاصطناعي والاختبارات الآلية وأتمتة التسليم.

  • الخدمات الخلفية وواجهات API
  • تكامل الواجهة
  • توحيد البيانات والمعالجة الحتمية
  • المصادقة وتنسيق الذكاء الاصطناعي
  • الاختبارات الآلية وأتمتة التسليم

معمارية النظام

المنافذ والمهايئات

تتواصل واجهة React مع تطبيق/API مبني بـ FastAPI. تفصل الحدود السداسية قلب التطبيق ومعالجة المجال عن مهايئات التخزين والهوية والملفات والذكاء الاصطناعي.

يبقى منطق المجال والتطبيق منفصلاً عن مهايئات البنية التحتية.

يمكن للواجهات الخارجية أن تتطور دون إعادة تعريف قلب المعالجة.

تقلل الحدود الواضحة الاقتران وتجعل اختبار السلوك الأساسي أسهل.

الشكل A

عرض المنافذ والمهايئات

  1. 01واجهة ويب React
  2. 02تطبيق / API مبني بـ FastAPI
  3. 03قلب التطبيق ومعالجة المجال

حد المنافذ / المهايئات

  • مهايئ تخزين PostgreSQL
  • مهايئ البيانات المرجعية ذات الإصدارات
  • مهايئ الهوية
  • مهايئات إدخال وإخراج الملفات
  • مهايئ تنسيق الذكاء الاصطناعي
يعتمد قلب المعالجة على حدود صريحة؛ وتبقى اهتمامات البنية التحتية خارجه وتتصل به عبر مهايئات.

تدفق البيانات

تسلسل المعالجة

تمر مدخلات Excel أو المدخلات المنظمة عبر الاستيعاب والتحقق والتوحيد وتمثيل JSON منظم والمعالجة الحتمية والتحليل المنضبط ثم توليد مخرجات XML أو مخرجات منظمة.

الشكل B

مسار المعالجة

  1. 01مدخل Excel / منظم
  2. 02الاستيعاب والتحقق
  3. 03التوحيد
  4. 04تمثيل JSON منظم
  5. 05معالجة حتمية
  6. 06تحليل مدعوم بالذكاء الاصطناعي عند الحاجةمرحلة احتمالية منضبطة
  7. 07مخرج XML / منظم
المسار الحتمي حد المساعدة بالذكاء الاصطناعي
تظهر مساعدة الذكاء الاصطناعي عند حد تحليلي صريح؛ وتبقى المعالجة الحتمية مسؤولة عن حسابات قواعد العمل القابلة لإعادة الإنتاج.

القرارات الهندسية

سجل القرارات

تركزت القرارات على الحدود بين الحتمي والاحتمالي وعزل المجال وتوحيد البيانات الداخلية والبيانات المرجعية ذات الإصدارات والمصادقة الملائمة للمتصفح والتحقق القابل للتكرار.

  1. D01

    المعالجة الحتمية مقابل مساعدة الذكاء الاصطناعي

    القرار
    إبقاء حسابات قواعد العمل المنظمة ضمن منطق Python حتمي، واستخدام الذكاء الاصطناعي للمهام الموجهة إلى التحليل والتفسير.
    السبب
    لا ينبغي للحسابات التي تتطلب سلوكاً متوقعاً وقابلاً لإعادة الإنتاج أن تعتمد على مخرجات احتمالية.
    النتيجة
    يعزز الذكاء الاصطناعي التدفق دون أن يصبح المرجع للحسابات الحتمية.
  2. D02

    المعمارية السداسية

    القرار
    فصل منطق التطبيق ومعالجة المجال عن تكاملات التخزين والهوية والملفات والذكاء الاصطناعي عبر المنافذ والمهايئات.
    السبب
    احتاج قلب المعالجة إلى حدود واضحة تفصله عن اهتمامات البنية التحتية.
    النتيجة
    بقيت المهايئات قابلة للاستبدال وأمكن اختبار السلوك الأساسي مع اقتران أقل بالبنية التحتية.
  3. D03

    تمثيل JSON موحد

    القرار
    توحيد بيانات جداول البيانات غير المتجانسة في تمثيل JSON منظم قبل المعالجة اللاحقة.
    السبب
    يوفر التمثيل الداخلي الثابت حداً موحداً لمدخلات مراحل الحساب والتحليل والإخراج.
  4. D04

    بيانات مرجعية ذات إصدارات

    القرار
    إدارة إعدادات المطابقة والبيانات المرجعية بوصفها بيانات واعية بالإصدار دون كشف القيم الداخلية.
    السبب
    احتاجت المعالجة إلى تغييرات منضبطة للبيانات المرجعية مع الحفاظ على السياق التاريخي.
  5. D05

    Keycloak مع PKCE وJWT

    القرار
    استخدام Authorization Code Flow مع PKCE S256 للمتصفح والتحقق من JWT باستخدام RS256.
    السبب
    احتاجت المصادقة إلى تدفق معياري يناسب المتصفح بدلاً من التعامل المباشر مع بيانات الاعتماد داخل التطبيق.
  6. D06

    اختبارات آلية والتحقق من التسليم

    القرار
    استخدام pytest وTox وGitHub Actions وDocker لاختبارات وتحقق وتحضير للتسليم قابلة للتكرار.
    السبب
    يستفيد نظام المعالجة متعدد المراحل من الحماية من الانحدار والأتمتة القابلة للتكرار.

تكامل الذكاء الاصطناعي

قدرة منضبطة

دعمت الوكلاء المساعدة بالذكاء الاصطناعي تحديد الحقول ومهام التحليل وتوليد التقارير. عززت التدفق دون أن تصبح مرجعاً لحسابات العمل الحتمية.

حتمي

المعالجة المرجعية

تبقى حسابات قواعد العمل المنظمة قابلة للتوقع وإعادة الإنتاج.

احتمالي

مساعدة التحليل

يدعم الذكاء الاصطناعي أعمال التفسير ضمن حدود صريحة.

مسؤوليات الوكلاء

  1. A01تحديد الحقول
  2. A02تحليل البيانات
  3. A03المساعدة في تحليل الحسابات
  4. A04توليد التقارير

الأمن

مصادقة المتصفح

وفّر Keycloak مصادقة OAuth 2.0 وOpenID Connect عبر Authorization Code Flow مع PKCE S256، مع التحقق من JWT باستخدام RS256.

S01المتصفح
S02Authorization Code + PKCE
S03موفر الهوية
S04رمز الوصول
S05تحقق API

يبعد هذا النهج التعامل المباشر مع بيانات الاعتماد عن تدفق التطبيق، بينما تتحقق API من رموز الوصول الموقعة. حُجبت الإعدادات وتفاصيل realm ومعرفات العميل ونقاط النهاية الخاصة عمداً.

التسليم والجودة

التحقق والتسليم

دعمت أكثر من 450 اختباراً آلياً وpytest وTox وGitHub Actions وDocker فحوص الانحدار والتحقق الآلي والتحضير القابل للتكرار للتسليم.

450+اختبار آلي
  • pytest لتنفيذ الاختبارات الآلية
  • Tox لبيئات تحقق قابلة للتكرار
  • GitHub Actions للتحقق ضمن CI
  • Docker للتحضير للتسليم بالحاويات

النتائج

نتيجة مقاسة

لعبء العمل المختبر، انخفض زمن تدفق كان يستغرق قرابة أربع ساعات إلى أقل من 45 ثانية.

قبل≈ 240 دقيقة
بعد< 45 ثانية

لعبء العمل المختبر

خلاصات هندسية

سجل هندسي

أكد المشروع قيمة التوحيد المبكر للمدخلات غير المتجانسة وعزل منطق المجال وتصميم مهايئات قابلة للاستبدال وإبقاء المساعدة الاحتمالية خارج حدود السلطة الحتمية.

  1. T01

    توحيد المدخلات غير المتجانسة قبل معالجة المجال.

  2. T02

    جعل الحدود بين الحتمي والاحتمالي صريحة.

  3. T03

    عزل البنية التحتية كي تبقى التكاملات الخارجية قابلة للاستبدال.

  4. T04

    استخدام الاختبارات الآلية والتسليم القابل للتكرار لتقليل مخاطر الانحدار.

الفهرس التقني

مرجع تقني

مرجع موجز للتقنيات المثبتة المستخدمة في الواجهة والخلفية والبيانات والأمن والمعمارية والذكاء الاصطناعي والجودة والتسليم.

الواجهة
React / TypeScript
الخلفية
Python / FastAPI / Pydantic / SQLAlchemy / Alembic
البيانات
PostgreSQL / JSON منظم / معالجة Excel / XML
الأمن
Keycloak / OAuth 2.0 / OIDC / PKCE S256 / JWT / RS256
المعمارية
المعمارية السداسية / المنافذ والمهايئات
الذكاء الاصطناعي
وكلاء قائمون على LLM / تنسيق عدة وكلاء
الجودة
pytest / Tox / اختبارات آلية
التسليم
GitHub Actions / Docker / CI/CD