إبقاء نظام آخر متزامنًا مع Salesforce
متاح أيضًا بـ22 لغة
English · Español (Latinoamérica) · 日本語 · Português (Brasil) · Français · Deutsch · Italiano · 한국어 · 简体中文 · Português (Portugal) · 繁體中文 · Bahasa Indonesia · Türkçe · Polski · Tiếng Việt · ไทย · Nederlands · Українська · हिन्दी · Español (México) · Français (Canada) · Deutsch (Schweiz)

الوحدة 5 من 5 في فصل الترحيل والمزامنة، الفصل 10 من دورة Data Architect. كل وحدة قائمة بذاتها. السابق: عطلة نهاية أسبوع الـ cutover · التالي: الفصل التالي، المعاملات والتزامن والموثوقية
السؤال الذي تجيب عنه هذه الوحدة: كيف تنقل نسخة من بيانات Salesforce إلى نظام آخر، بأحجام كبيرة، وتبقيها محدّثة؟
تحدثنا حتى الآن عن إدخال البيانات إلى Salesforce. لكن معماري البيانات يحتاج أيضًا إلى إخراجها منه. والهدف ليس مغادرة Salesforce، بل إن البيانات موجودة في Salesforce ونظامًا آخر يحتاج نسخة منها: مستودع بيانات مثل Snowflake للتقارير والتحليلات، أو أرشيف، أو نسخة احتياطية، أو org آخر في Salesforce، أو sandbox فيه بيانات واقعية لإجراء بروفة. و«عدد الأصفار» عند Steve (Steve’s Number of Zeros) يعمل في الاتجاه المعاكس أيضًا: إخراج 500 سجل أمر سهل، أما إخراج 50 مليونًا فهو قرار معماري. ونادرًا ما تكون النسخة لمرة واحدة. في العادة يريدها النظام الآخر اليوم، ثم غدًا، ثم كل يوم بعد ذلك.
ابدأ بالصورة
Section titled “ابدأ بالصورة ”هذه خريطة الأنظمة لدى Steve Trucking بعد الـ cutover (الانتقال النهائي إلى النظام الجديد). تم إيقاف RouteDesk. وأصبح Salesforce هو الـ system of record (النظام المرجعي للبيانات) لكل توصيلة (Delivery). وهناك سهم واحد ينقل تاريخ الحالات من Salesforce، عبر طبقة الـ integration، إلى Snowflake، حيث توجد تقارير الإدارة للسنوات الخمس ويعمل المحللون.
Salesforce يحتفظ بالبيانات. وSnowflake يحتفظ بنسخة مطابقة منها، كل يوم.
Salesforce باقٍ في مكانه. وSnowflake لا يحل محله، بل يحتاج نسخة من جزء منه تبقى متزامنة معه. هذا هو الغرض من إخراج البيانات، وهو في الحقيقة مشكلتان متتاليتان: النسخة الأولى، وقد تكون كبيرة، ثم كل نسخة بعدها، ويجب أن تكون محدّثة.
لماذا قد تحتاج إلى إخراج كمية كبيرة؟
Section titled “لماذا قد تحتاج إلى إخراج كمية كبيرة؟ ”النسخة الأولى هي الكبيرة. عندما يبدأ Snowflake في الاحتفاظ بنسخة مطابقة من تاريخ الحالات، يحتاج كل ما سبق، لا تغييرات اليوم فقط. في Steve Trucking يبدأ ذلك مباشرة بعد الـ cutover: فالوحدة 3 أجّلت تاريخ حالات الـ 196,400 Work Order التي رُحّلت من RouteDesk إلى «backfill واحد بعد التحميل». هذا الـ backfill (تعبئة البيانات التاريخية) هو أول استخراج كبير من Salesforce. ومع نمو العمل، كل نسخة مطابقة جديدة، وكل مخزن تقارير جديد، وكل إعادة بناء بعد مشكلة، يبدأ بنسخة من كل شيء.
وهناك أسباب أخرى تقودك إلى هنا أيضًا: أرشيف للسجلات التي تخرج من النواة (الفصل 7)، أو نسخة احتياطية يمكن الاستعادة منها، أو org آخر في Salesforce يحتاج جزءًا من البيانات، أو sandbox فيه بيانات واقعية لإجراء بروفة.
ولا تصدّر كل شيء لمجرد أنك تستطيع. ثماني سنوات من التاريخ، وملفات كبيرة، وسجلات متقادمة، وبيانات مؤقتة، وقيم مشتقة، ومعاملات مؤرشفة: افهم لماذا تستخرج كل فئة منها. لكل سجل تكلفة: في الوقت، والتخزين، والتحويل، والنقل، والتحقق، والمطابقة، والأمان، والتزامات الاحتفاظ في الأنظمة اللاحقة. و«صدّر الـ org كله» ليس معمارية بحد ذاته.
طرق الخروج
Section titled “طرق الخروج ”يوفر لك Salesforce عدة مخارج، وكل منها يناسب مهمة مختلفة.
- Data Export Service. تُنتج Data Export في Setup ملف zip يضم ملفات CSV للـ org كله، أسبوعيًا (إصدارات Enterprise وPerformance وUnlimited) أو شهريًا (كل الإصدارات ما عدا Database.com)، عند الطلب أو وفق جدول زمني. يمكنك تشغيلها يدويًا مرة كل 7 أيام (الأسبوعي) أو كل 29 يومًا (الشهري). أما Professional Edition وDeveloper Edition فلهما التصدير الشهري فقط. تُحذف الملفات بعد 48 ساعة من إرسال البريد الإلكتروني، دون احتساب عطلات نهاية الأسبوع، وحقول الصيغ (formula) وحقول الملخص التجميعي (roll-up summary) مستبعدة دائمًا، وكل من لديه إذن Weekly Data Export يستطيع رؤية جميع البيانات المصدّرة (Export Backup Data from Salesforce (يُفتح في علامة تبويب جديدة)، Salesforce Help، بالإنجليزية، تم التحقق في 2026-11-07). إنها لقطة على هيئة نسخة احتياطية، وليست migration pipeline (مسار ترحيل).
- Data Loader والتقارير. يصدّر Data Loader كائنًا واحدًا في كل مرة إلى CSV، مع خيار Export All لتضمين السجلات المحذوفة والمؤرشفة، أما تصدير التقرير فيناسب استخراجًا صغيرًا بشكل محدد. كلاهما مناسب لآلاف الصفوف، لا لعشرات الملايين.
- Bulk query. مع الأحجام الكبيرة، يعمل رصيف التحميل في الاتجاهين: أحيانًا تُفرَّغ الشاحنة، وأحيانًا تُحمَّل. يعمل الـ bulk query بشكل asynchronous ويُرجع نتائجه في ملفات. يتولى Bulk API 2.0 الـ batching نيابةً عنك، وفي الجداول الكبيرة يقسّم الاستعلام بنفسه: فمهام الاستعلام فيه «تحدد تلقائيًا أفضل طريقة لتقسيم مهمة الاستعلام إلى أجزاء أصغر، مما يساعد على تجنب الأعطال أو انتهاء المهلة» (Understanding Bulk API 2.0 Query (يُفتح في علامة تبويب جديدة)، بالإنجليزية، تم التحقق في 2026-11-07). أما في Bulk API (1.0) فعليك تفعيل ذلك بنفسك، باستخدام PK chunking. ودليل Large Data Volumes من Salesforce يرسم الحد الفاصل: «عند استخدام استعلام قد يُرجع أكثر من مليون نتيجة، فكّر في استخدام إمكانية الاستعلام في Bulk API 2.0» (Extracting Data from the API (يُفتح في علامة تبويب جديدة)، Winter ‘27، بالإنجليزية، تم التحقق في 2026-11-07).
- منتج نسخ احتياطي للاستعادة، مثل Backup & Recover من Salesforce نفسها، وهذه مهمة مختلفة عن الترحيل: استعادة البيانات إلى نقطة زمنية معينة، لا نقلها إلى مكان جديد.
في النسخة المطابقة، أريد استخراجًا قابلًا للتكرار، ومسجّلًا في الـ logs، وقابلًا للمطابقة، وهذا يعني عادةً bulk query يشغّله script، لا نقرات يدوية. والـ backfill في Steve Trucking هو بالضبط ذلك: bulk query للـ Work Orders المرحّلة وتاريخ حالاتها، يُكتب في Snowflake مرة واحدة، ثم تتم مطابقته.
معلومة للاختبار. اعرف الطرق التي تخرج بها البيانات من Salesforce والغرض من كل منها. الـ Data Export Service نسخة احتياطية مجدولة بصيغة CSV للـ org كله (أسبوعية أو شهرية حسب الإصدار، والملفات تُحفظ 48 ساعة، ودون حقول formula أو roll-up). Data Loader والتقارير تناسب الاستخراجات الصغيرة، كائنًا كائنًا أو بشكل محدد. واستعلام Bulk API يتعامل مع الأحجام الكبيرة بشكل asynchronous. أما منتج النسخ الاحتياطي فيستعيد نقطة زمنية معينة، وليس أداة ترحيل.
النسخ الضخمة جدًا: PK chunking
Section titled “النسخ الضخمة جدًا: PK chunking ”خمسون مليون سجل في استعلام واحد ضخم قد لا ينتهي أبدًا. يقسّم PK chunking الجدول حسب الـ primary key، أي الـ record ID (معرّف السجل): يضيف Salesforce حدودًا من الـ IDs إلى استعلامك ويشغّله كسلسلة من الاستعلامات الأصغر، كل منها batch مستقل بنتائجه الخاصة. الحجم الافتراضي للـ chunk هو 100,000 سجل، والحد الأقصى 250,000. ويوصي به Salesforce للجداول التي تتجاوز نحو 10 ملايين سجل، أو عندما يتكرر انتهاء مهلة الـ bulk query. وهناك أستخدمه أنا أيضًا: فهو أداة متخصصة للتصديرات الضخمة جدًا. إنه header في Bulk API 1.0، ويعمل على قائمة محددة من الكائنات، وكل chunk يُحتسب ضمن الحصة اليومية من الـ batches (PK Chunking (يُفتح في علامة تبويب جديدة)، بالإنجليزية، تم التحقق في 2026-11-07). يقوم Bulk API 2.0 بالتقسيم نفسه نيابةً عنك، لكن وجود ORDER BY أو LIMIT يوقفه في كلا الـ API، وقد تنتهي مهلة الاستعلام حينها.
وستصل Steve Trucking إلى هذه النقطة. نحو مليون Work Order في السنة، مع نمو 30% سنويًا، يصل المجموع إلى نحو 12.8 مليون بنهاية السنة 6، ما لم تُبقِ الأرشفة في الفصل 7 الجدول أصغر. والـ Work Order موجود في قائمة Salesforce للكائنات المدعومة.
اثنا عشر مليون صف تصبح نحو 52 استعلامًا، في كل منها 250,000.
تفاصيل الـ syntax مكانها التوثيق. ما يجب أن يتعرّف عليه المعماري هو النمط: عندما يتغيّر «عدد الأصفار»، قد تحتاج استراتيجية الاستخراج إلى التغيير أيضًا.
معلومة للاختبار. في الاستخراجات الضخمة جدًا (حدّ Salesforce هو أكثر من 10 ملايين سجل)، يقسّم PK chunking الـ bulk query إلى نطاقات من الـ record IDs، يُشغَّل كل منها ويُنزَّل على حدة. وهو header تضبطه في Bulk API 1.0، أما مهام الاستعلام في Bulk API 2.0 فتقسّم تلقائيًا. ويعطّله
ORDER BYوLIMIT.
ثم أبقِها محدّثة
Section titled “ثم أبقِها محدّثة ”النسخة الأولى هي snapshot (لقطة). وحين تنتهي، يكون المصدر قد تغيّر: الأطقم (Crew) أغلقت توصيلات، والمنسّقون غيّروا نوافذ المواعيد، وشركاء التجزئة (Retail Partner) عدّلوا بيانات الشحنة (manifest). هذا طبيعي. وعلى المعمارية أن تجيب: ما الذي تغيّر بعد الـ baseline؟ هذه مهمة الـ watermark (علامة آخر نقطة نسخ): طابع زمني، أو رقم تسلسلي، أو آلية لتتبع التغييرات، أو معرّف من المصدر. من حيث المبدأ يقول: هذا ما نسخناه، وهذه هي النقطة التي كان محدّثًا حتى عندها، وهذه هي التغييرات منذ ذلك الحين. ومن دون هذا الحد، تصبح الـ delta processing (معالجة الفروقات) مجرد تخمين. على جانب Salesforce، يكون الـ watermark عادةً SystemModstamp، وهو مفهرس (الفصل 8): كل تشغيل يطلب ما تغيّر منذ watermark التشغيل السابق، ولا يحرّك الـ watermark إلى الأمام إلا إذا نجح التشغيل.
ولا تنسَ عمليات الحذف. السجل المحذوف في Salesforce يجب أن يختفي من النسخة المطابقة أيضًا، وإلا ستظل التقارير تحتسبه. الاستعلام العادي لا يُرجع السجلات المحذوفة، أما الـ bulk query بعملية queryAll فإنه «يُرجع السجلات التي حُذفت بسبب merge أو حذف» (Create a Query Job (يُفتح في علامة تبويب جديدة)، Bulk API 2.0، بالإنجليزية، تم التحقق في 2026-11-07). لكن السجلات المحذوفة تبقى في Recycle Bin لمدة 15 يومًا كحد أقصى، وأقل إن أفرغه أحد (Deleting Data (يُفتح في علامة تبويب جديدة)، Best Practices for Deployments with Large Data Volumes، بالإنجليزية، تم التحقق في 2026-11-07)، لذلك فالنسخة المطابقة التي تبحث عن المحذوفات بوتيرة أقل من ذلك ستفوّت بعضها. أما الـ hard delete فيتجاوز Recycle Bin تمامًا، لذا خطّط أيضًا لكيفية معرفة النسخة المطابقة بهذه المحذوفات.
كم مرة؟ هذا سؤال الفصل 9، وإرشادات Salesforce نفسها ترسم الحد: استدعاءات getUpdated() وgetDeleted() في SOAP API للفترات التي تزيد على 5 دقائق، وإذا احتجت تكرارًا أعلى من ذلك فدع Salesforce يرسل التغيير بنفسه (السؤال كل دقيقة). وSteve Trucking تفعل الأمرين: الـ backfill عبارة عن bulk query، ومن watermark الـ cutover فصاعدًا، يرسل Change Data Capture كل تغيير في الحالة عبر طبقة الـ integration لحظة حدوثه.
مرة واحدة: النسخة الأولى، كل ما سبق. وهي التي تضبط الـ watermark.
ثم كل تغيير بعد الـ watermark، لحظة حدوثه.
وكل بضعة أيام، المحذوفات. نسخة كبيرة واحدة، ثم تدفق من النسخ الصغيرة.
معلومة للاختبار. لإبقاء نظام آخر محدّثًا، استخرج فقط ما تغيّر منذ الـ watermark (
SystemModstampمفهرس)، واستخدمqueryAllلالتقاط السجلات المحذوفة أو المدموجة. تبقى السجلات المحذوفة في Recycle Bin لمدة 15 يومًا، لذا شغّل فحص المحذوفات بوتيرة أعلى من ذلك. وللتغييرات المطلوبة خلال دقائق، استخدم الـ events (Change Data Capture) بدلًا من الـ polling.
نسخة مرة واحدة، أم نسخة إلى الأبد
Section titled “نسخة مرة واحدة، أم نسخة إلى الأبد ”هذا هو التمييز الذي أعتمده: الترحيل (migration) له بداية ونهاية محددتان. ننتقل من حالة إلى أخرى. قد يبدأ بأول استخراج من بيئة الإنتاج، ويشمل عدة preloads، ويستمر أسبوعًا، ويتضمن عدة delta loads (تحميلات للتغييرات فقط). يبقى ترحيلًا، لأن له وجهة: نقطة يكتمل عندها.
المزامنة (synchronization) عملية مستمرة لإبقاء نظامين متسقين. لا توجد لحظة نقول فيها «اكتمل الترحيل، أوقفوه». يبقى النظامان مهمّين، والتغييرات تستمر، ولا بد أن تنتقل. وهنا نعود إلى الفصل 9: أي نظام يملك القيمة؟ في أي اتجاه تنتقل؟ ما المفتاح الذي يعرّفها؟ من يدفع البيانات ومن يضمن اكتمالها؟ كيف نعيد محاولة ما فشل ونراقبه؟ وماذا يحدث عندما يغيّر النظامان الشيء نفسه؟ ما إن يصبح المتطلب «أبقِ هذين النظامين متسقين»، لم نعد نصمّم ترحيلًا. نحن نصمّم integration.
كان لدى Steve Trucking واحد من كل نوع، في عطلة نهاية الأسبوع نفسها. نقل RouteDesk إلى Salesforce كان ترحيلًا: سدّت الـ delta loads الفجوة، ثم انتهى. أما من Salesforce إلى Snowflake فهو مزامنة: بدأت في تلك العطلة، ولن تنتهي أبدًا.
عطلة نهاية الأسبوع نفسها، سهمان. أحدهما له نهاية، ولهذا يختلف فيه كل شيء.
لكن وجود delta لا يعني تلقائيًا أنها مزامنة. «لدينا delta loads، إذن نحن نزامن». ليس بالضرورة. اسأل: هل للعملية نهاية محددة؟ إن كان الجواب «نعم، نشغّل هذه الـ deltas حتى الـ cutover، ثم تتوقف العملية القديمة»، فهذا لا يزال ترحيلًا؛ الـ deltas تساعدنا على الوصول إلى حالته النهائية. وإن كان «لا، يبقى النظامان نشطين، وهذه العملية تبقيهما متسقين بلا نهاية»، فهذه مزامنة. قد تبدو العملية نفسها. لكن الالتزام المعماري مختلف.
معلومة للاختبار. للترحيل نهاية محددة؛ المزامنة مستمرة. الـ delta loads قبل الـ cutover جزء من الترحيل. أما إبقاء نظام آخر متزامنًا مع Salesforce بعد ذلك فهو مزامنة، ويحتاج إلى تصميم integration بمالك واضح لكل قيمة.
النسخة المرآة ليست الأصل
Section titled “النسخة المرآة ليست الأصل ”Salesforce يملك حالة التوصيلة، وSnowflake يحتفظ بنسخة منها. ويجب أن يبقى هذا صحيحًا. افترض أن محللًا لاحظ حالة خاطئة في Snowflake فصحّحها هناك. الآن يختلف النظامان، والمزامنة التالية إما أن تكتب فوق التصحيح، أو، وهذا أسوأ، يبني أحدهم feed ليعيده إلى Salesforce. عندها يظن النظامان أنهما يملكان Delivery Status. آخر كتابة تفوز؟ Salesforce يفوز؟ مراجعة بشرية؟ إن لم تكن هناك إجابة، فنحن لم نبنِ نسخة مرآة؛ بل أنشأنا نسختين قابلتين للكتابة. قاعدة الفصل 9: الصلاحية التقنية ليست مرجعية معمارية. صحّح القيمة من المصدر، ودع المزامنة تنقل التصحيح.
لذلك اكتب عقد السهم، كما يفعل الفصل 9: من يملك كل قيمة، في أي اتجاه تنتقل، ما المفتاح الذي يعرّفها، إلى أي مدى يجب أن تكون حديثة، ما الذي يُعدّ تسليمًا، كيف نعيد محاولة ما فشل، كيف نراقبها، وما هو الـ watermark. هذه ليست أسئلة سكربت استخراج؛ إنها أسئلة نموذج تشغيل. النسخة الأولى تبني حالة البداية، والمزامنة تحافظ على تماسكها.
أثبِت النسخة الأولى، ثم استمر في إثباتها
Section titled “أثبِت النسخة الأولى، ثم استمر في إثباتها ”استخدم الإثباتات الأربعة من الوحدة 4 (الأعداد، والمجاميع، والفحص بالعيّنات، والتقارير التجميعية) على النسخة الأولى. أثبِت نقطة البداية قبل أن تصبح المزامنة هي نموذج التشغيل المعتاد، وإلا ستحافظ المزامنة بأمانة على نقطة بداية سيئة. الـ integration لا يصلح نسخة سيئة لمجرد أنه يعمل باستمرار؛ بل قد يبقي النظامين متزامنين تمامًا حول بيانات خاطئة.
ثم استمر في إثباتها. النسخة المرآة التي تتوقف بصمت هي مشكلة جودة بيانات مؤجَّلة: تبدو التقارير سليمة، ثم تتقادم ببطء. إثبات التسليم (proof of delivery) من الفصل 9 ينطبق على كل تشغيل: الطرف الذي يعرف ما يجب أن يصل يتحقق من وصوله، بمقارنة الأعداد مع نافذة الـ watermark، ويُبلَّغ شخص ما عندما لا يصل.
الذكاء الاصطناعي يساعد في رصد الانحراف. أبقِ الحدود حتمية.
Section titled “الذكاء الاصطناعي يساعد في رصد الانحراف. أبقِ الحدود حتمية. ”يمكن للذكاء الاصطناعي أن يساعد في العثور على السجلات المتغيرة، والفروقات غير المتوقعة بين Salesforce والنسخة المرآة، والحالات الشاذة، والتعارضات المحتملة، والسجلات التي يبدو أنها فاتت. هذا مفيد. لكن سؤال «هل وصل هذا التغيير إلى النسخة المرآة؟» لا ينبغي أن يعتمد على تخمين الذكاء الاصطناعي من السياق. الـ watermarks والمفاتيح وقواعد الملكية والحالة هي التي تحسم ذلك.
ما بعد الاختبار: ما الذي يغيّره الذكاء الاصطناعي. يمكن للذكاء الاصطناعي أن يسرّع كثيرًا المقارنة واكتشاف الحالات الشاذة بين النظام ونسخته المرآة. لكن أبقِ المزامنة حتمية (deterministic): المفاتيح الصريحة والمرجعية والـ watermarks هي التي تقرر ما ينتقل ومتى.
ما الذي يقرره المعماري هنا
Section titled “ما الذي يقرره المعماري هنا ”- لماذا توجد كل نسخة من بيانات Salesforce، وما فئات البيانات التي تحتاجها فعلًا، وأي نظام يملك كل قيمة.
- أي آلية تصدير تناسب المهمة و«عدد الأصفار» (Number of Zeros): Data Export Service، أو Data Loader أو التقارير، أو bulk query، أو PK chunking للجداول الكبيرة جدًا.
- أي watermark يحدد نقطة البداية، وكيف تُلتقط التغييرات والحذف بعد ذلك، وبأي تكرار (polling أو events).
- هل نقل البيانات ترحيل له نهاية أم مزامنة بلا نهاية، وما عقد الـ integration الذي يبقي النسخة المرآة متسقة.
- كيف تُثبَت النسخة الأولى، وكيف يُفحص كل تشغيل بعدها.
المزامنة تبقيك هناك
Section titled “المزامنة تبقيك هناك ”إخراج البيانات لا يعني مغادرة Salesforce. بل يعني إعطاء نظام آخر ما يحتاجه: مرة واحدة بحجم كبير، ثم كل يوم بعدها، حديثة وكاملة، ولا تكون الأصل أبدًا. النسخة الأولى هي المهمة الكبيرة؛ أما إبقاؤها حديثة فهو المهمة الطويلة. تذكّر العبارة من هذا الفصل: للترحيل بداية ونهاية محددتان؛ المزامنة عملية مستمرة لإبقاء نظامين متسقين. النسخة الأولى توصل النسخة المرآة إلى هناك. والمزامنة تبقيها هناك.
للاستزادة
Section titled “للاستزادة ”- Salesforce Help، Export Backup Data from Salesforce (يُفتح في علامة تبويب جديدة)، بالإنجليزية، تم التحقق في 2026-11-01.
- Salesforce، PK Chunking (يُفتح في علامة تبويب جديدة)، وUnderstanding Bulk API 2.0 Query (يُفتح في علامة تبويب جديدة)، وCreate a Query Job (يُفتح في علامة تبويب جديدة)، وBulk API and Bulk API 2.0 Limits and Allocations (يُفتح في علامة تبويب جديدة)، بالإنجليزية، تم التحقق في 2026-11-01.
- Salesforce، Best Practices for Deployments with Large Data Volumes، Deleting Data (يُفتح في علامة تبويب جديدة)، بالإنجليزية، تم التحقق في 2026-11-01.
- في هذه الدورة: التكامل ونقل البيانات (العقد، وpolling أو events، وإثبات التسليم)، وللسجل التاريخي خارج النواة: التصميم من أجل التوسع.
- Salesforce Developers، Extracting Data from the API (يُفتح في علامة تبويب جديدة)، Best Practices for Deployments with Large Data Volumes، Winter ‘27، بالإنجليزية، تم التحقق في 2026-11-01.
