منصة لمعالجة البيانات المالية
Smart Transformer
منصة full-stack حدّثت تدفقات بيانات مالية قائمة على جداول البيانات من خلال الاستيعاب المنظم والتوحيد والمعالجة الحتمية والتحليل المدعوم بالذكاء الاصطناعي ضمن حدود واضحة.
المحاور الهندسية
- الهندسة الخلفية
- تكامل full-stack
- معمارية البرمجيات
- معالجة البيانات
- أنظمة مدعومة بالذكاء الاصطناعي
السياق
سياق المشروع
طُوّر Smart Transformer خلال تدريب نهاية الدراسة الهندسية لمدة ستة أشهر لدى CDG Capital في عام 2026.
تبقى دراسة الحالة على مستوى النظام البرمجي؛ فهي تصف انتقال تدفق قائم على جداول البيانات إلى تطبيق منظم دون كشف العمليات الداخلية أو البيانات المالية الحساسة.
المشكلة
مشكلة النظام
احتاجت التدفقات المعتمدة على جداول البيانات وVBA والخطوات شبه اليدوية إلى مسار قابل للصيانة ينقل المدخلات غير المتجانسة إلى بيانات موحدة وحسابات متكررة وتحليلات ومخرجات منظمة.
- 01
استيعاب مدخلات جداول البيانات غير المتجانسة والتحقق منها.
- 02
توحيد البيانات قبل الحساب والتحليل.
- 03
الحفاظ على قابلية إعادة إنتاج العمليات الحتمية.
- 04
توليد مخرجات JSON وXML منظمة.
القيود
حدود التصميم
كان على المنصة التعامل مع ملفات إدخال غير متجانسة وبيانات حساسة وحسابات متوقعة ومصادقة ومعالجة منظمة قابلة للتتبع وواجهات قائمة على الملفات.
- C01مدخلات جداول بيانات غير متجانسة
- C02متطلبات حساب حتمي
- C03معالجة بيانات حساسة
- C04متطلبات المصادقة
- C05معالجة منظمة قابلة للتتبع
- C06واجهات قائمة على الملفات
نطاق مساهمتي
المساهمة
مساهمة كبيرة في تصميم المنصة وتنفيذها عبر الخدمات الخلفية وتكامل الواجهة وتوحيد البيانات والمعالجة الحتمية والمصادقة وتنسيق الذكاء الاصطناعي والاختبارات الآلية وأتمتة التسليم.
- الخدمات الخلفية وواجهات API
- تكامل الواجهة
- توحيد البيانات والمعالجة الحتمية
- المصادقة وتنسيق الذكاء الاصطناعي
- الاختبارات الآلية وأتمتة التسليم
معمارية النظام
المنافذ والمهايئات
تتواصل واجهة React مع تطبيق/API مبني بـ FastAPI. تفصل الحدود السداسية قلب التطبيق ومعالجة المجال عن مهايئات التخزين والهوية والملفات والذكاء الاصطناعي.
يبقى منطق المجال والتطبيق منفصلاً عن مهايئات البنية التحتية.
يمكن للواجهات الخارجية أن تتطور دون إعادة تعريف قلب المعالجة.
تقلل الحدود الواضحة الاقتران وتجعل اختبار السلوك الأساسي أسهل.
الشكل A
عرض المنافذ والمهايئات
- 01واجهة ويب React
- 02تطبيق / API مبني بـ FastAPI
- 03قلب التطبيق ومعالجة المجال
حد المنافذ / المهايئات
- مهايئ تخزين PostgreSQL
- مهايئ البيانات المرجعية ذات الإصدارات
- مهايئ الهوية
- مهايئات إدخال وإخراج الملفات
- مهايئ تنسيق الذكاء الاصطناعي
تدفق البيانات
تسلسل المعالجة
تمر مدخلات Excel أو المدخلات المنظمة عبر الاستيعاب والتحقق والتوحيد وتمثيل JSON منظم والمعالجة الحتمية والتحليل المنضبط ثم توليد مخرجات XML أو مخرجات منظمة.
الشكل B
مسار المعالجة
- 01مدخل Excel / منظم
- 02الاستيعاب والتحقق
- 03التوحيد
- 04تمثيل JSON منظم
- 05معالجة حتمية
- 06تحليل مدعوم بالذكاء الاصطناعي عند الحاجةمرحلة احتمالية منضبطة
- 07مخرج XML / منظم
القرارات الهندسية
سجل القرارات
تركزت القرارات على الحدود بين الحتمي والاحتمالي وعزل المجال وتوحيد البيانات الداخلية والبيانات المرجعية ذات الإصدارات والمصادقة الملائمة للمتصفح والتحقق القابل للتكرار.
D01 المعالجة الحتمية مقابل مساعدة الذكاء الاصطناعي
- القرار
- إبقاء حسابات قواعد العمل المنظمة ضمن منطق Python حتمي، واستخدام الذكاء الاصطناعي للمهام الموجهة إلى التحليل والتفسير.
- السبب
- لا ينبغي للحسابات التي تتطلب سلوكاً متوقعاً وقابلاً لإعادة الإنتاج أن تعتمد على مخرجات احتمالية.
- النتيجة
- يعزز الذكاء الاصطناعي التدفق دون أن يصبح المرجع للحسابات الحتمية.
D02 المعمارية السداسية
- القرار
- فصل منطق التطبيق ومعالجة المجال عن تكاملات التخزين والهوية والملفات والذكاء الاصطناعي عبر المنافذ والمهايئات.
- السبب
- احتاج قلب المعالجة إلى حدود واضحة تفصله عن اهتمامات البنية التحتية.
- النتيجة
- بقيت المهايئات قابلة للاستبدال وأمكن اختبار السلوك الأساسي مع اقتران أقل بالبنية التحتية.
D03 تمثيل JSON موحد
- القرار
- توحيد بيانات جداول البيانات غير المتجانسة في تمثيل JSON منظم قبل المعالجة اللاحقة.
- السبب
- يوفر التمثيل الداخلي الثابت حداً موحداً لمدخلات مراحل الحساب والتحليل والإخراج.
D04 بيانات مرجعية ذات إصدارات
- القرار
- إدارة إعدادات المطابقة والبيانات المرجعية بوصفها بيانات واعية بالإصدار دون كشف القيم الداخلية.
- السبب
- احتاجت المعالجة إلى تغييرات منضبطة للبيانات المرجعية مع الحفاظ على السياق التاريخي.
D05 Keycloak مع PKCE وJWT
- القرار
- استخدام Authorization Code Flow مع PKCE S256 للمتصفح والتحقق من JWT باستخدام RS256.
- السبب
- احتاجت المصادقة إلى تدفق معياري يناسب المتصفح بدلاً من التعامل المباشر مع بيانات الاعتماد داخل التطبيق.
D06 اختبارات آلية والتحقق من التسليم
- القرار
- استخدام pytest وTox وGitHub Actions وDocker لاختبارات وتحقق وتحضير للتسليم قابلة للتكرار.
- السبب
- يستفيد نظام المعالجة متعدد المراحل من الحماية من الانحدار والأتمتة القابلة للتكرار.
تكامل الذكاء الاصطناعي
قدرة منضبطة
دعمت الوكلاء المساعدة بالذكاء الاصطناعي تحديد الحقول ومهام التحليل وتوليد التقارير. عززت التدفق دون أن تصبح مرجعاً لحسابات العمل الحتمية.
حتمي
المعالجة المرجعية
تبقى حسابات قواعد العمل المنظمة قابلة للتوقع وإعادة الإنتاج.احتمالي
مساعدة التحليل
يدعم الذكاء الاصطناعي أعمال التفسير ضمن حدود صريحة.مسؤوليات الوكلاء
- A01تحديد الحقول
- A02تحليل البيانات
- A03المساعدة في تحليل الحسابات
- A04توليد التقارير
الأمن
مصادقة المتصفح
وفّر Keycloak مصادقة OAuth 2.0 وOpenID Connect عبر Authorization Code Flow مع PKCE S256، مع التحقق من JWT باستخدام RS256.
يبعد هذا النهج التعامل المباشر مع بيانات الاعتماد عن تدفق التطبيق، بينما تتحقق API من رموز الوصول الموقعة. حُجبت الإعدادات وتفاصيل realm ومعرفات العميل ونقاط النهاية الخاصة عمداً.
التسليم والجودة
التحقق والتسليم
دعمت أكثر من 450 اختباراً آلياً وpytest وTox وGitHub Actions وDocker فحوص الانحدار والتحقق الآلي والتحضير القابل للتكرار للتسليم.
- pytest لتنفيذ الاختبارات الآلية
- Tox لبيئات تحقق قابلة للتكرار
- GitHub Actions للتحقق ضمن CI
- Docker للتحضير للتسليم بالحاويات
النتائج
نتيجة مقاسة
لعبء العمل المختبر، انخفض زمن تدفق كان يستغرق قرابة أربع ساعات إلى أقل من 45 ثانية.
لعبء العمل المختبر
خلاصات هندسية
سجل هندسي
أكد المشروع قيمة التوحيد المبكر للمدخلات غير المتجانسة وعزل منطق المجال وتصميم مهايئات قابلة للاستبدال وإبقاء المساعدة الاحتمالية خارج حدود السلطة الحتمية.
- T01
توحيد المدخلات غير المتجانسة قبل معالجة المجال.
- T02
جعل الحدود بين الحتمي والاحتمالي صريحة.
- T03
عزل البنية التحتية كي تبقى التكاملات الخارجية قابلة للاستبدال.
- T04
استخدام الاختبارات الآلية والتسليم القابل للتكرار لتقليل مخاطر الانحدار.
الفهرس التقني
مرجع تقني
مرجع موجز للتقنيات المثبتة المستخدمة في الواجهة والخلفية والبيانات والأمن والمعمارية والذكاء الاصطناعي والجودة والتسليم.
- الواجهة
- React / TypeScript
- الخلفية
- Python / FastAPI / Pydantic / SQLAlchemy / Alembic
- البيانات
- PostgreSQL / JSON منظم / معالجة Excel / XML
- الأمن
- Keycloak / OAuth 2.0 / OIDC / PKCE S256 / JWT / RS256
- المعمارية
- المعمارية السداسية / المنافذ والمهايئات
- الذكاء الاصطناعي
- وكلاء قائمون على LLM / تنسيق عدة وكلاء
- الجودة
- pytest / Tox / اختبارات آلية
- التسليم
- GitHub Actions / Docker / CI/CD