تخطَّ إلى المحتوى

إبقاء نظام آخر متزامنًا مع Salesforce

متاح أيضًا بـ22 لغة

English · Español (Latinoamérica) · 日本語 · Português (Brasil) · Français · Deutsch · Italiano · 한국어 · 简体中文 · Português (Portugal) · 繁體中文 · Bahasa Indonesia · Türkçe · Polski · Tiếng Việt · ไทย · Nederlands · Українська · हिन्दी · Español (México) · Français (Canada) · Deutsch (Schweiz)

An old timber barn on the far bank of a still farm pond, its reflection exact in the water except at one corner, where a breeze has started to ripple it.
صورة مولّدة بالذكاء الاصطناعي

الوحدة 5 من 5 في فصل الترحيل والمزامنة، الفصل 10 من دورة Data Architect. كل وحدة قائمة بذاتها. السابق: عطلة نهاية أسبوع الـ cutover · التالي: الفصل التالي، المعاملات والتزامن والموثوقية

السؤال الذي تجيب عنه هذه الوحدة: كيف تنقل نسخة من بيانات Salesforce إلى نظام آخر، بأحجام كبيرة، وتبقيها محدّثة؟

تحدثنا حتى الآن عن إدخال البيانات إلى Salesforce. لكن معماري البيانات يحتاج أيضًا إلى إخراجها منه. والهدف ليس مغادرة Salesforce، بل إن البيانات موجودة في Salesforce ونظامًا آخر يحتاج نسخة منها: مستودع بيانات مثل Snowflake للتقارير والتحليلات، أو أرشيف، أو نسخة احتياطية، أو org آخر في Salesforce، أو sandbox فيه بيانات واقعية لإجراء بروفة. و«عدد الأصفار» عند Steve (Steve’s Number of Zeros) يعمل في الاتجاه المعاكس أيضًا: إخراج 500 سجل أمر سهل، أما إخراج 50 مليونًا فهو قرار معماري. ونادرًا ما تكون النسخة لمرة واحدة. في العادة يريدها النظام الآخر اليوم، ثم غدًا، ثم كل يوم بعد ذلك.

هذه خريطة الأنظمة لدى Steve Trucking بعد الـ cutover (الانتقال النهائي إلى النظام الجديد). تم إيقاف RouteDesk. وأصبح Salesforce هو الـ system of record (النظام المرجعي للبيانات) لكل توصيلة (Delivery). وهناك سهم واحد ينقل تاريخ الحالات من Salesforce، عبر طبقة الـ integration، إلى Snowflake، حيث توجد تقارير الإدارة للسنوات الخمس ويعمل المحللون.

نسخة مطابقة بلا نهاية خريطة أنظمة Steve Trucking بعد الـ cutover (الانتقال النهائي إلى النظام الجديد)، والعناصر في أماكنها نفسها: الأشخاص على اليسار، وSalesforce مع Field Service في الوسط، وطبقة التكامل على يمينه، والأنظمة من حوله، وRouteDesk متوقف وتاريخه في Snowflake. سهمان مميّزان باللون الكهرماني، هما النسخة المطابقة (mirror) التي تركّز عليها هذه الوحدة: status events من Salesforce إلى طبقة التكامل، وstatus events من طبقة التكامل إلى Snowflake. وفي الأسفل: بعد الـ cutover، يصبح Salesforce هو الـ system of record (النظام المرجعي للبيانات)، ويحتفظ Snowflake بنسخة مطابقة لتاريخ حالاته، كل يوم، دون تاريخ انتهاء. في الأعلى: الهوية، APPEXCHANGE، الويب الناس على اليمين: الأنظمة الداخلية في الأسفل: قنوات العملاء أسفل اليمين: الشركاء والمزوّدون منسّقو الـ dispatch 45، داخل 9 مراكز توزيع للشركاء طواقم التوصيل ~700 على 330 شاحنة خدمة العملاء وموظفو المكاتب 100: الخدمة، العمليات، المالية مستخدمو شركاء التجزئة ~300 لدى 3 شركاء المستلمون ~1 مليون سنويًا IdP الشركة SSO لموظفي المكاتب فقط بوابة شركاء التجزئة صفحة التتبّع التكامل Snowflake تاريخ الحالات، التحليلات FleetLink بيانات GPS الخام تبقى هنا ERP المالية يُصدر فواتير الشركاء ويدفع للطواقم تخزين الصور 4–5 ملايين سنويًا، خارج النواة RouteDesk متوقف؛ تاريخه في Snowflake الهاتف موظفو خدمة العملاء البريد الإلكتروني email-to-case مزوّد SMS والبريد الإلكتروني رسالة قبل يوم، مع رابط Redrock REST API، webhooks Keystone CSV عبر SFTP Brightwave EDI عبر شبكة طرف ثالث Salesforce Field Service، org واحد في الولايات المتحدة رابط، دون تسجيل دخول موظفو المكاتب فقط مكالمات Cases واردة manifests واردة الحالة صادرة manifests واردة الحالة صادرة manifests واردة الحالة صادرة upserts، مفتاح الشريك status events status events آخر موقع فقط أعداد التوصيلات أعداد التوصيلات صور، من تطبيق الطواقم قبل يوم، مع رابط Salesforce مجتمع الناس الهوية، التطبيقات، الويب نظام داخلي قناة عملاء طبقة التكامل يبدأ من النظام الذي يفتح الاتصال؛ والتسمية تقول ما الذي ينتقل شهادة مشتركة: ثقة، بلا استدعاء مباشر النسخة المطابقة التي نركّز عليها بعد الـ cutover. Salesforce هو الـ system of record؛ وSnowflake يحتفظ بنسخة مطابقة لتاريخ حالاته، كل يوم، دون تاريخ انتهاء. © 2026 Twinshark LLC · stevetecharc.com
انقر للتكبير

Salesforce يحتفظ بالبيانات. وSnowflake يحتفظ بنسخة مطابقة منها، كل يوم.

Salesforce باقٍ في مكانه. وSnowflake لا يحل محله، بل يحتاج نسخة من جزء منه تبقى متزامنة معه. هذا هو الغرض من إخراج البيانات، وهو في الحقيقة مشكلتان متتاليتان: النسخة الأولى، وقد تكون كبيرة، ثم كل نسخة بعدها، ويجب أن تكون محدّثة.

لماذا قد تحتاج إلى إخراج كمية كبيرة؟

Section titled “لماذا قد تحتاج إلى إخراج كمية كبيرة؟ ”

النسخة الأولى هي الكبيرة. عندما يبدأ Snowflake في الاحتفاظ بنسخة مطابقة من تاريخ الحالات، يحتاج كل ما سبق، لا تغييرات اليوم فقط. في Steve Trucking يبدأ ذلك مباشرة بعد الـ cutover: فالوحدة 3 أجّلت تاريخ حالات الـ 196,400 Work Order التي رُحّلت من RouteDesk إلى «backfill واحد بعد التحميل». هذا الـ backfill (تعبئة البيانات التاريخية) هو أول استخراج كبير من Salesforce. ومع نمو العمل، كل نسخة مطابقة جديدة، وكل مخزن تقارير جديد، وكل إعادة بناء بعد مشكلة، يبدأ بنسخة من كل شيء.

وهناك أسباب أخرى تقودك إلى هنا أيضًا: أرشيف للسجلات التي تخرج من النواة (الفصل 7)، أو نسخة احتياطية يمكن الاستعادة منها، أو org آخر في Salesforce يحتاج جزءًا من البيانات، أو sandbox فيه بيانات واقعية لإجراء بروفة.

ولا تصدّر كل شيء لمجرد أنك تستطيع. ثماني سنوات من التاريخ، وملفات كبيرة، وسجلات متقادمة، وبيانات مؤقتة، وقيم مشتقة، ومعاملات مؤرشفة: افهم لماذا تستخرج كل فئة منها. لكل سجل تكلفة: في الوقت، والتخزين، والتحويل، والنقل، والتحقق، والمطابقة، والأمان، والتزامات الاحتفاظ في الأنظمة اللاحقة. و«صدّر الـ org كله» ليس معمارية بحد ذاته.

يوفر لك Salesforce عدة مخارج، وكل منها يناسب مهمة مختلفة.

  • Data Export Service. تُنتج Data Export في Setup ملف zip يضم ملفات CSV للـ org كله، أسبوعيًا (إصدارات Enterprise وPerformance وUnlimited) أو شهريًا (كل الإصدارات ما عدا Database.com)، عند الطلب أو وفق جدول زمني. يمكنك تشغيلها يدويًا مرة كل 7 أيام (الأسبوعي) أو كل 29 يومًا (الشهري). أما Professional Edition وDeveloper Edition فلهما التصدير الشهري فقط. تُحذف الملفات بعد 48 ساعة من إرسال البريد الإلكتروني، دون احتساب عطلات نهاية الأسبوع، وحقول الصيغ (formula) وحقول الملخص التجميعي (roll-up summary) مستبعدة دائمًا، وكل من لديه إذن Weekly Data Export يستطيع رؤية جميع البيانات المصدّرة (Export Backup Data from Salesforce (يُفتح في علامة تبويب جديدة)، Salesforce Help، بالإنجليزية، تم التحقق في 2026-11-07). إنها لقطة على هيئة نسخة احتياطية، وليست migration pipeline (مسار ترحيل).
  • Data Loader والتقارير. يصدّر Data Loader كائنًا واحدًا في كل مرة إلى CSV، مع خيار Export All لتضمين السجلات المحذوفة والمؤرشفة، أما تصدير التقرير فيناسب استخراجًا صغيرًا بشكل محدد. كلاهما مناسب لآلاف الصفوف، لا لعشرات الملايين.
  • Bulk query. مع الأحجام الكبيرة، يعمل رصيف التحميل في الاتجاهين: أحيانًا تُفرَّغ الشاحنة، وأحيانًا تُحمَّل. يعمل الـ bulk query بشكل asynchronous ويُرجع نتائجه في ملفات. يتولى Bulk API 2.0 الـ batching نيابةً عنك، وفي الجداول الكبيرة يقسّم الاستعلام بنفسه: فمهام الاستعلام فيه «تحدد تلقائيًا أفضل طريقة لتقسيم مهمة الاستعلام إلى أجزاء أصغر، مما يساعد على تجنب الأعطال أو انتهاء المهلة» (Understanding Bulk API 2.0 Query (يُفتح في علامة تبويب جديدة)، بالإنجليزية، تم التحقق في 2026-11-07). أما في Bulk API (1.0) فعليك تفعيل ذلك بنفسك، باستخدام PK chunking. ودليل Large Data Volumes من Salesforce يرسم الحد الفاصل: «عند استخدام استعلام قد يُرجع أكثر من مليون نتيجة، فكّر في استخدام إمكانية الاستعلام في Bulk API 2.0» (Extracting Data from the API (يُفتح في علامة تبويب جديدة)، Winter ‘27، بالإنجليزية، تم التحقق في 2026-11-07).
  • منتج نسخ احتياطي للاستعادة، مثل Backup & Recover من Salesforce نفسها، وهذه مهمة مختلفة عن الترحيل: استعادة البيانات إلى نقطة زمنية معينة، لا نقلها إلى مكان جديد.

في النسخة المطابقة، أريد استخراجًا قابلًا للتكرار، ومسجّلًا في الـ logs، وقابلًا للمطابقة، وهذا يعني عادةً bulk query يشغّله script، لا نقرات يدوية. والـ backfill في Steve Trucking هو بالضبط ذلك: bulk query للـ Work Orders المرحّلة وتاريخ حالاتها، يُكتب في Snowflake مرة واحدة، ثم تتم مطابقته.

معلومة للاختبار. اعرف الطرق التي تخرج بها البيانات من Salesforce والغرض من كل منها. الـ Data Export Service نسخة احتياطية مجدولة بصيغة CSV للـ org كله (أسبوعية أو شهرية حسب الإصدار، والملفات تُحفظ 48 ساعة، ودون حقول formula أو roll-up). Data Loader والتقارير تناسب الاستخراجات الصغيرة، كائنًا كائنًا أو بشكل محدد. واستعلام Bulk API يتعامل مع الأحجام الكبيرة بشكل asynchronous. أما منتج النسخ الاحتياطي فيستعيد نقطة زمنية معينة، وليس أداة ترحيل.

النسخ الضخمة جدًا: PK chunking

Section titled “النسخ الضخمة جدًا: PK chunking ”

خمسون مليون سجل في استعلام واحد ضخم قد لا ينتهي أبدًا. يقسّم PK chunking الجدول حسب الـ primary key، أي الـ record ID (معرّف السجل): يضيف Salesforce حدودًا من الـ IDs إلى استعلامك ويشغّله كسلسلة من الاستعلامات الأصغر، كل منها batch مستقل بنتائجه الخاصة. الحجم الافتراضي للـ chunk هو 100,000 سجل، والحد الأقصى 250,000. ويوصي به Salesforce للجداول التي تتجاوز نحو 10 ملايين سجل، أو عندما يتكرر انتهاء مهلة الـ bulk query. وهناك أستخدمه أنا أيضًا: فهو أداة متخصصة للتصديرات الضخمة جدًا. إنه header في Bulk API 1.0، ويعمل على قائمة محددة من الكائنات، وكل chunk يُحتسب ضمن الحصة اليومية من الـ batches (PK Chunking (يُفتح في علامة تبويب جديدة)، بالإنجليزية، تم التحقق في 2026-11-07). يقوم Bulk API 2.0 بالتقسيم نفسه نيابةً عنك، لكن وجود ORDER BY أو LIMIT يوقفه في كلا الـ API، وقد تنتهي مهلة الاستعلام حينها.

وستصل Steve Trucking إلى هذه النقطة. نحو مليون Work Order في السنة، مع نمو 30% سنويًا، يصل المجموع إلى نحو 12.8 مليون بنهاية السنة 6، ما لم تُبقِ الأرشفة في الفصل 7 الجدول أصغر. والـ Work Order موجود في قائمة Salesforce للكائنات المدعومة.

PK chunking: جدول واحد كبير، واستعلامات صغيرة كثيرة على اليسار، مميَّزًا، جدول واحد كبير: Work Orders، نحو 12.8 مليون بحلول السنة 6 إذا لم يُؤرشف شيء. وعلى اليمين، chunks حسب الـ record ID، لكل منها استعلامه الخاص: الـ chunk 1، أول 250,000 record ID، والـ chunk 2، الـ 250,000 التالية، والـ chunks من 3 إلى 51، نطاقًا بعد نطاق، والـ chunk 52، آخر الـ record IDs. كل chunk يُرجع نتائجه الخاصة. وفي الأسفل: في Bulk API 1.0 تفعّل PK chunking بنفسك، وكل chunk هو batch تنزّله، أما استعلام Bulk API 2.0 فيقسّم نيابةً عنك. جدول واحد كبير CHUNKS حسب الـ RECORD ID، لكلٍّ منها استعلامه Work Orders نحو 12.8 مليون بحلول السنة 6، إذا لم يُؤرشف شيء الـ chunk 1 أول 250,000 record ID الـ chunk 2 الـ 250,000 التالية الـ chunks من 3 إلى 51 نطاقًا بعد نطاق الـ chunk 52 آخر الـ record IDs نتائجه الخاصة نتائجه الخاصة نتائجها الخاصة نتائجه الخاصة Bulk API 1.0: تفعّل PK chunking بنفسك، وكل chunk هو batch تنزّله. استعلام Bulk API 2.0: يقسّم نيابةً عنك. طريقة القراءة الجدول: بعد 10 ملايين صف، توصي Salesforce بالتقسيم إلى chunks © 2026 Twinshark LLC · stevetecharc.com
انقر للتكبير

اثنا عشر مليون صف تصبح نحو 52 استعلامًا، في كل منها 250,000.

تفاصيل الـ syntax مكانها التوثيق. ما يجب أن يتعرّف عليه المعماري هو النمط: عندما يتغيّر «عدد الأصفار»، قد تحتاج استراتيجية الاستخراج إلى التغيير أيضًا.

معلومة للاختبار. في الاستخراجات الضخمة جدًا (حدّ Salesforce هو أكثر من 10 ملايين سجل)، يقسّم PK chunking الـ bulk query إلى نطاقات من الـ record IDs، يُشغَّل كل منها ويُنزَّل على حدة. وهو header تضبطه في Bulk API 1.0، أما مهام الاستعلام في Bulk API 2.0 فتقسّم تلقائيًا. ويعطّله ORDER BY وLIMIT.

النسخة الأولى هي snapshot (لقطة). وحين تنتهي، يكون المصدر قد تغيّر: الأطقم (Crew) أغلقت توصيلات، والمنسّقون غيّروا نوافذ المواعيد، وشركاء التجزئة (Retail Partner) عدّلوا بيانات الشحنة (manifest). هذا طبيعي. وعلى المعمارية أن تجيب: ما الذي تغيّر بعد الـ baseline؟ هذه مهمة الـ watermark (علامة آخر نقطة نسخ): طابع زمني، أو رقم تسلسلي، أو آلية لتتبع التغييرات، أو معرّف من المصدر. من حيث المبدأ يقول: هذا ما نسخناه، وهذه هي النقطة التي كان محدّثًا حتى عندها، وهذه هي التغييرات منذ ذلك الحين. ومن دون هذا الحد، تصبح الـ delta processing (معالجة الفروقات) مجرد تخمين. على جانب Salesforce، يكون الـ watermark عادةً SystemModstamp، وهو مفهرس (الفصل 8): كل تشغيل يطلب ما تغيّر منذ watermark التشغيل السابق، ولا يحرّك الـ watermark إلى الأمام إلا إذا نجح التشغيل.

ولا تنسَ عمليات الحذف. السجل المحذوف في Salesforce يجب أن يختفي من النسخة المطابقة أيضًا، وإلا ستظل التقارير تحتسبه. الاستعلام العادي لا يُرجع السجلات المحذوفة، أما الـ bulk query بعملية queryAll فإنه «يُرجع السجلات التي حُذفت بسبب merge أو حذف» (Create a Query Job (يُفتح في علامة تبويب جديدة)، Bulk API 2.0، بالإنجليزية، تم التحقق في 2026-11-07). لكن السجلات المحذوفة تبقى في Recycle Bin لمدة 15 يومًا كحد أقصى، وأقل إن أفرغه أحد (Deleting Data (يُفتح في علامة تبويب جديدة)، Best Practices for Deployments with Large Data Volumes، بالإنجليزية، تم التحقق في 2026-11-07)، لذلك فالنسخة المطابقة التي تبحث عن المحذوفات بوتيرة أقل من ذلك ستفوّت بعضها. أما الـ hard delete فيتجاوز Recycle Bin تمامًا، لذا خطّط أيضًا لكيفية معرفة النسخة المطابقة بهذه المحذوفات.

كم مرة؟ هذا سؤال الفصل 9، وإرشادات Salesforce نفسها ترسم الحد: استدعاءات getUpdated() وgetDeleted() في SOAP API للفترات التي تزيد على 5 دقائق، وإذا احتجت تكرارًا أعلى من ذلك فدع Salesforce يرسل التغيير بنفسه (السؤال كل دقيقة). وSteve Trucking تفعل الأمرين: الـ backfill عبارة عن bulk query، ومن watermark الـ cutover فصاعدًا، يرسل Change Data Capture كل تغيير في الحالة عبر طبقة الـ integration لحظة حدوثه.

كيف نُبقي النسخة المطابقة محدّثة Salesforce على اليسار، مميَّزًا، وهو الـ system of record، ومعه الـ Work Orders وحالاتها. وSnowflake على اليمين، النسخة المطابقة: تاريخ الحالات، ولا يُكتب منه شيء إلى Salesforce أبدًا. وبينهما طريقة انتقال النسخة، وتُضاف خطوة بعد خطوة. أولًا، مرة واحدة: النسخة الأولى، bulk query لكل ما سبق، يضبط الـ watermark، ويرسل كل ما سبق إلى Snowflake. ثم، لحظة الحدوث: كل تغيير لاحق، عبر Change Data Capture من خلال طبقة الـ integration، يرسل كل تغيير. وأخيرًا، كل بضعة أيام: المحذوفات، فحص queryAll يجري قبل انقضاء أيام Recycle Bin الـ 15 بوقت كافٍ، ويخبر Snowflake بما يجب حذفه. وفي الأسفل: نسخة كبيرة واحدة، ثم تدفق من النسخ الصغيرة، وكل نسخة تعرف أين توقفت سابقتها. الـ SYSTEM OF RECORD كيف تنتقل النسخة النسخة المطابقة Salesforce الـ Work Orders وحالاتها النسخة الأولى bulk query لكل ما سبق، يضبط الـ watermark Snowflake تاريخ الحالات، لا يُكتب منه شيء إلى Salesforce مرة واحدة كل ما سبق نسخة كبيرة واحدة، ثم تدفق من النسخ الصغيرة. وكل نسخة تعرف أين توقفت سابقتها. طريقة القراءة الـ system of record: هنا تتم التصحيحات © 2026 Twinshark LLC · stevetecharc.com
انقر للتكبير

مرة واحدة: النسخة الأولى، كل ما سبق. وهي التي تضبط الـ watermark.

كيف نُبقي النسخة المطابقة محدّثة Salesforce على اليسار، مميَّزًا، وهو الـ system of record، ومعه الـ Work Orders وحالاتها. وSnowflake على اليمين، النسخة المطابقة: تاريخ الحالات، ولا يُكتب منه شيء إلى Salesforce أبدًا. وبينهما طريقة انتقال النسخة، وتُضاف خطوة بعد خطوة. أولًا، مرة واحدة: النسخة الأولى، bulk query لكل ما سبق، يضبط الـ watermark، ويرسل كل ما سبق إلى Snowflake. ثم، لحظة الحدوث: كل تغيير لاحق، عبر Change Data Capture من خلال طبقة الـ integration، يرسل كل تغيير. وأخيرًا، كل بضعة أيام: المحذوفات، فحص queryAll يجري قبل انقضاء أيام Recycle Bin الـ 15 بوقت كافٍ، ويخبر Snowflake بما يجب حذفه. وفي الأسفل: نسخة كبيرة واحدة، ثم تدفق من النسخ الصغيرة، وكل نسخة تعرف أين توقفت سابقتها. الـ SYSTEM OF RECORD كيف تنتقل النسخة النسخة المطابقة Salesforce الـ Work Orders وحالاتها النسخة الأولى bulk query لكل ما سبق، يضبط الـ watermark كل تغيير لاحق Change Data Capture، عبر طبقة الـ integration Snowflake تاريخ الحالات، لا يُكتب منه شيء إلى Salesforce مرة واحدة لحظة الحدوث كل ما سبق كل تغيير نسخة كبيرة واحدة، ثم تدفق من النسخ الصغيرة. وكل نسخة تعرف أين توقفت سابقتها. طريقة القراءة الـ system of record: هنا تتم التصحيحات © 2026 Twinshark LLC · stevetecharc.com
انقر للتكبير

ثم كل تغيير بعد الـ watermark، لحظة حدوثه.

كيف نُبقي النسخة المطابقة محدّثة Salesforce على اليسار، مميَّزًا، وهو الـ system of record، ومعه الـ Work Orders وحالاتها. وSnowflake على اليمين، النسخة المطابقة: تاريخ الحالات، ولا يُكتب منه شيء إلى Salesforce أبدًا. وبينهما طريقة انتقال النسخة، وتُضاف خطوة بعد خطوة. أولًا، مرة واحدة: النسخة الأولى، bulk query لكل ما سبق، يضبط الـ watermark، ويرسل كل ما سبق إلى Snowflake. ثم، لحظة الحدوث: كل تغيير لاحق، عبر Change Data Capture من خلال طبقة الـ integration، يرسل كل تغيير. وأخيرًا، كل بضعة أيام: المحذوفات، فحص queryAll يجري قبل انقضاء أيام Recycle Bin الـ 15 بوقت كافٍ، ويخبر Snowflake بما يجب حذفه. وفي الأسفل: نسخة كبيرة واحدة، ثم تدفق من النسخ الصغيرة، وكل نسخة تعرف أين توقفت سابقتها. الـ SYSTEM OF RECORD كيف تنتقل النسخة النسخة المطابقة Salesforce الـ Work Orders وحالاتها النسخة الأولى bulk query لكل ما سبق، يضبط الـ watermark كل تغيير لاحق Change Data Capture، عبر طبقة الـ integration المحذوفات فحص queryAll، قبل انقضاء الـ 15 يومًا بوقت كافٍ Snowflake تاريخ الحالات، لا يُكتب منه شيء إلى Salesforce مرة واحدة لحظة الحدوث كل بضعة أيام كل ما سبق كل تغيير ما يجب حذفه نسخة كبيرة واحدة، ثم تدفق من النسخ الصغيرة. وكل نسخة تعرف أين توقفت سابقتها. طريقة القراءة الـ system of record: هنا تتم التصحيحات © 2026 Twinshark LLC · stevetecharc.com
انقر للتكبير

وكل بضعة أيام، المحذوفات. نسخة كبيرة واحدة، ثم تدفق من النسخ الصغيرة.

معلومة للاختبار. لإبقاء نظام آخر محدّثًا، استخرج فقط ما تغيّر منذ الـ watermark (SystemModstamp مفهرس)، واستخدم queryAll لالتقاط السجلات المحذوفة أو المدموجة. تبقى السجلات المحذوفة في Recycle Bin لمدة 15 يومًا، لذا شغّل فحص المحذوفات بوتيرة أعلى من ذلك. وللتغييرات المطلوبة خلال دقائق، استخدم الـ events (Change Data Capture) بدلًا من الـ polling.

نسخة مرة واحدة، أم نسخة إلى الأبد

Section titled “نسخة مرة واحدة، أم نسخة إلى الأبد ”

هذا هو التمييز الذي أعتمده: الترحيل (migration) له بداية ونهاية محددتان. ننتقل من حالة إلى أخرى. قد يبدأ بأول استخراج من بيئة الإنتاج، ويشمل عدة preloads، ويستمر أسبوعًا، ويتضمن عدة delta loads (تحميلات للتغييرات فقط). يبقى ترحيلًا، لأن له وجهة: نقطة يكتمل عندها.

المزامنة (synchronization) عملية مستمرة لإبقاء نظامين متسقين. لا توجد لحظة نقول فيها «اكتمل الترحيل، أوقفوه». يبقى النظامان مهمّين، والتغييرات تستمر، ولا بد أن تنتقل. وهنا نعود إلى الفصل 9: أي نظام يملك القيمة؟ في أي اتجاه تنتقل؟ ما المفتاح الذي يعرّفها؟ من يدفع البيانات ومن يضمن اكتمالها؟ كيف نعيد محاولة ما فشل ونراقبه؟ وماذا يحدث عندما يغيّر النظامان الشيء نفسه؟ ما إن يصبح المتطلب «أبقِ هذين النظامين متسقين»، لم نعد نصمّم ترحيلًا. نحن نصمّم integration.

كان لدى Steve Trucking واحد من كل نوع، في عطلة نهاية الأسبوع نفسها. نقل RouteDesk إلى Salesforce كان ترحيلًا: سدّت الـ delta loads الفجوة، ثم انتهى. أما من Salesforce إلى Snowflake فهو مزامنة: بدأت في تلك العطلة، ولن تنتهي أبدًا.

نسخة مرة واحدة، أم نسخة إلى الأبد لوحتان متساويتان. الأولى: نسخة مرة واحدة، ترحيل، من RouteDesk إلى Salesforce: ينتهي صباح الاثنين، عندما يتقاعد RouteDesk؛ يُبنى باستخدام runbook وdelta loads وcutover؛ ويُثبَت عبر الإثباتات الأربعة، مرة واحدة، قبل الانطلاق؛ وعند الفشل، أصلِح وأعِد التشغيل من الـ preparation data store؛ ومالكه فريق الترحيل، حتى ينتهي. الثانية: نسخة إلى الأبد، مزامنة، من Salesforce إلى Snowflake: لا ينتهي أبدًا، ما دامت التقارير تحتاجه؛ يُبنى باستخدام contract وwatermark وevents؛ ويُثبَت عبر إثبات التسليم، في كل تشغيل؛ وعند الفشل، اللحاق من آخر watermark سليم؛ ومالكه مالك للـ integration، بشكل دائم. وفي الأسفل: للترحيل بداية ونهاية محددتان؛ المزامنة عملية مستمرة لإبقاء نظامين متسقين. نسخة مرة واحدة ترحيل: من RouteDesk إلى Salesforce متى ينتهي صباح الاثنين، عندما يتقاعد RouteDesk يُبنى باستخدام runbook، وdelta loads، وcutover يُثبَت عبر الإثباتات الأربعة، مرة واحدة، قبل الانطلاق عند الفشل أصلِح وأعِد التشغيل من الـ preparation data store المالك فريق الترحيل، حتى ينتهي نسخة إلى الأبد مزامنة: من Salesforce إلى Snowflake متى ينتهي أبدًا: ما دامت التقارير تحتاجه يُبنى باستخدام contract، وwatermark، وevents يُثبَت عبر إثبات التسليم، في كل تشغيل عند الفشل اللحاق من آخر watermark سليم المالك مالك للـ integration، بشكل دائم للترحيل بداية ونهاية محددتان. المزامنة عملية مستمرة لإبقاء نظامين متسقين. © 2026 Twinshark LLC · stevetecharc.com
انقر للتكبير

عطلة نهاية الأسبوع نفسها، سهمان. أحدهما له نهاية، ولهذا يختلف فيه كل شيء.

لكن وجود delta لا يعني تلقائيًا أنها مزامنة. «لدينا delta loads، إذن نحن نزامن». ليس بالضرورة. اسأل: هل للعملية نهاية محددة؟ إن كان الجواب «نعم، نشغّل هذه الـ deltas حتى الـ cutover، ثم تتوقف العملية القديمة»، فهذا لا يزال ترحيلًا؛ الـ deltas تساعدنا على الوصول إلى حالته النهائية. وإن كان «لا، يبقى النظامان نشطين، وهذه العملية تبقيهما متسقين بلا نهاية»، فهذه مزامنة. قد تبدو العملية نفسها. لكن الالتزام المعماري مختلف.

معلومة للاختبار. للترحيل نهاية محددة؛ المزامنة مستمرة. الـ delta loads قبل الـ cutover جزء من الترحيل. أما إبقاء نظام آخر متزامنًا مع Salesforce بعد ذلك فهو مزامنة، ويحتاج إلى تصميم integration بمالك واضح لكل قيمة.

النسخة المرآة ليست الأصل

Section titled “النسخة المرآة ليست الأصل ”

Salesforce يملك حالة التوصيلة، وSnowflake يحتفظ بنسخة منها. ويجب أن يبقى هذا صحيحًا. افترض أن محللًا لاحظ حالة خاطئة في Snowflake فصحّحها هناك. الآن يختلف النظامان، والمزامنة التالية إما أن تكتب فوق التصحيح، أو، وهذا أسوأ، يبني أحدهم feed ليعيده إلى Salesforce. عندها يظن النظامان أنهما يملكان Delivery Status. آخر كتابة تفوز؟ Salesforce يفوز؟ مراجعة بشرية؟ إن لم تكن هناك إجابة، فنحن لم نبنِ نسخة مرآة؛ بل أنشأنا نسختين قابلتين للكتابة. قاعدة الفصل 9: الصلاحية التقنية ليست مرجعية معمارية. صحّح القيمة من المصدر، ودع المزامنة تنقل التصحيح.

لذلك اكتب عقد السهم، كما يفعل الفصل 9: من يملك كل قيمة، في أي اتجاه تنتقل، ما المفتاح الذي يعرّفها، إلى أي مدى يجب أن تكون حديثة، ما الذي يُعدّ تسليمًا، كيف نعيد محاولة ما فشل، كيف نراقبها، وما هو الـ watermark. هذه ليست أسئلة سكربت استخراج؛ إنها أسئلة نموذج تشغيل. النسخة الأولى تبني حالة البداية، والمزامنة تحافظ على تماسكها.

أثبِت النسخة الأولى، ثم استمر في إثباتها

Section titled “أثبِت النسخة الأولى، ثم استمر في إثباتها ”

استخدم الإثباتات الأربعة من الوحدة 4 (الأعداد، والمجاميع، والفحص بالعيّنات، والتقارير التجميعية) على النسخة الأولى. أثبِت نقطة البداية قبل أن تصبح المزامنة هي نموذج التشغيل المعتاد، وإلا ستحافظ المزامنة بأمانة على نقطة بداية سيئة. الـ integration لا يصلح نسخة سيئة لمجرد أنه يعمل باستمرار؛ بل قد يبقي النظامين متزامنين تمامًا حول بيانات خاطئة.

ثم استمر في إثباتها. النسخة المرآة التي تتوقف بصمت هي مشكلة جودة بيانات مؤجَّلة: تبدو التقارير سليمة، ثم تتقادم ببطء. إثبات التسليم (proof of delivery) من الفصل 9 ينطبق على كل تشغيل: الطرف الذي يعرف ما يجب أن يصل يتحقق من وصوله، بمقارنة الأعداد مع نافذة الـ watermark، ويُبلَّغ شخص ما عندما لا يصل.

الذكاء الاصطناعي يساعد في رصد الانحراف. أبقِ الحدود حتمية.

Section titled “الذكاء الاصطناعي يساعد في رصد الانحراف. أبقِ الحدود حتمية. ”

يمكن للذكاء الاصطناعي أن يساعد في العثور على السجلات المتغيرة، والفروقات غير المتوقعة بين Salesforce والنسخة المرآة، والحالات الشاذة، والتعارضات المحتملة، والسجلات التي يبدو أنها فاتت. هذا مفيد. لكن سؤال «هل وصل هذا التغيير إلى النسخة المرآة؟» لا ينبغي أن يعتمد على تخمين الذكاء الاصطناعي من السياق. الـ watermarks والمفاتيح وقواعد الملكية والحالة هي التي تحسم ذلك.

ما بعد الاختبار: ما الذي يغيّره الذكاء الاصطناعي. يمكن للذكاء الاصطناعي أن يسرّع كثيرًا المقارنة واكتشاف الحالات الشاذة بين النظام ونسخته المرآة. لكن أبقِ المزامنة حتمية (deterministic): المفاتيح الصريحة والمرجعية والـ watermarks هي التي تقرر ما ينتقل ومتى.

ما الذي يقرره المعماري هنا

Section titled “ما الذي يقرره المعماري هنا ”
  • لماذا توجد كل نسخة من بيانات Salesforce، وما فئات البيانات التي تحتاجها فعلًا، وأي نظام يملك كل قيمة.
  • أي آلية تصدير تناسب المهمة و«عدد الأصفار» (Number of Zeros): Data Export Service، أو Data Loader أو التقارير، أو bulk query، أو PK chunking للجداول الكبيرة جدًا.
  • أي watermark يحدد نقطة البداية، وكيف تُلتقط التغييرات والحذف بعد ذلك، وبأي تكرار (polling أو events).
  • هل نقل البيانات ترحيل له نهاية أم مزامنة بلا نهاية، وما عقد الـ integration الذي يبقي النسخة المرآة متسقة.
  • كيف تُثبَت النسخة الأولى، وكيف يُفحص كل تشغيل بعدها.

إخراج البيانات لا يعني مغادرة Salesforce. بل يعني إعطاء نظام آخر ما يحتاجه: مرة واحدة بحجم كبير، ثم كل يوم بعدها، حديثة وكاملة، ولا تكون الأصل أبدًا. النسخة الأولى هي المهمة الكبيرة؛ أما إبقاؤها حديثة فهو المهمة الطويلة. تذكّر العبارة من هذا الفصل: للترحيل بداية ونهاية محددتان؛ المزامنة عملية مستمرة لإبقاء نظامين متسقين. النسخة الأولى توصل النسخة المرآة إلى هناك. والمزامنة تبقيها هناك.