Bỏ qua để đến nội dung
SteveTechArcSteveTechArc Courses

Nơi kiến trúc dữ liệu gặp thực tế

Cũng có bằng 19 ngôn ngữ khác

English · Español · 日本語 · Português (Brasil) · Français · Deutsch · Italiano · 한국어 · 简体中文 · Português (Portugal) · 繁體中文 · Bahasa Indonesia · Türkçe · Polski · ไทย · Українська · Español (México) · Français (Canada) · Deutsch (Schweiz)

Chương 10 của Data Architect, Phần 2: Kiến trúc ở quy mô lớn. Trước: Tích hợp và di chuyển dữ liệu.

Chuyển đổi dữ liệu là nơi kiến trúc dữ liệu gặp thực tế. Mọi quyết định về mô hình hóa, chất lượng, dữ liệu chủ và khối lượng mà chúng ta đã đưa ra đều được thử thách vào ngày hàng triệu bản ghi cùng lúc đổ về. Và một đợt chuyển đổi “đã tải thành công” vẫn có thể là một thất bại: sai chủ sở hữu, quan hệ bị đứt, khách hàng bị nhân đôi, một triệu email chào mừng, bản ghi bị khóa, hoặc một cuối tuần chuyển giao hết thời gian.

On a new distribution center's first morning, a forklift carries the first pallet in from a truck at the dock, while the next truck backs in.

Image generated with AI. ⟲

Every CTA scenario has a legacy system to bring across, and the candidate has to say how the data comes in, how it’s cleaned and how it’s de-duplicated. This chapter is that answer, from the source extract to the moment the old system stops mattering, and then the copies that keep going. ⟲

One example runs through all five modules: Steve Trucking retiring RouteDesk, its old dispatch tool, with eight years and about 5 million deliveries. What comes into Salesforce, how it’s prepared, how it loads, what the automation does about it, and the weekend it all happens. Then the other direction: Salesforce, now the system of record, keeping Snowflake’s copy in step. ⟲

Các ý tưởng trong chương này

Phần tiêu đề “Các ý tưởng trong chương này ”
  • Migration is a quality project first, and a migration is an integration with an end. ⟲
  • Migrate, archive or discard, and know why every class of data moves, or doesn’t. ⟲
  • Prepare outside, then load the result: a preparation data store, the raw source kept, no step that loses fidelity, and three sets of keys (the source’s, the transformations, Salesforce’s). ⟲
  • The model sets the load order, and every child finds its parent by a key, never by a name. ⟲
  • The Bulk API is the loading dock behind the bank, and the dock still needs a plan: insert before upsert, sort by parent, the load user, and the IDs brought back. ⟲
  • Any time you turn automation off, you own that business logic not happening. The bypass is part of the original design, tested on and off and deployed long before it’s needed. ⟲
  • Production cutover should be boring: rehearsed, run from a runbook, loaded early and hidden by sharing, with go/no-go and a rollback clock decided in advance. ⟲
  • Chứng minh theo bốn cách: số lượng, tổng, kiểm tra ngẫu nhiên và báo cáo tổng hợp.
  • Getting data out isn’t leaving Salesforce. Migration has a defined start and end; synchronization is ongoing, and the mirror is never the master. ⟲

Lộ trình qua chương này

Phần tiêu đề “Lộ trình qua chương này ”

Năm mô-đun, mỗi mô-đun có thể đọc độc lập.

  1. Migration Is a Quality Project First. RouteDesk on the landscape; migrate, archive or discard; the preparation data store; Steve’s five steps; loading by keys; merged records and their children; three sets of keys. ⟲
  2. Loading at Volume. The teller window and the loading dock; Bulk API 2.0 and 1.0; insert, update or upsert; sorting by parent; the load user; bringing the keys back; rehearsing the whole run. ⟲
  3. Automation During the Load. The arrows a load sets off; don’t need it, simulate it, defer it; what a bypass looks like in Apex, flows and validation rules; sharing; the automation inventory. ⟲
  4. Cutover Weekend. The runbook; Day −7, Day −1, Day 0 and the rollback point; locking users out; the four proofs; authority moves on Day 0. ⟲
  5. Getting Data Out: Keeping Another System in Step. Salesforce stays the system of record; Snowflake needs a mirror. The ways out, PK chunking, keeping it current, a copy once or a copy forever. ⟲

Kiến trúc sư quyết định gì ở đây

Phần tiêu đề “Kiến trúc sư quyết định gì ở đây ”
  • Cái gì được di chuyển: chuyển, lưu trữ hay loại bỏ, và vì sao.
  • Dữ liệu được làm cho phù hợp thế nào trước khi đến, và mỗi bản ghi giữ được khả năng truy vết về nguồn của nó ra sao.
  • Kế hoạch tải: trình tự, khóa, tính đồng thời, danh tính và quyền sở hữu.
  • Việc tải được phép kích hoạt những gì, và hoạt động bình thường quay lại thế nào.
  • Việc chuyển giao được chạy và chứng minh thế nào, và khi nào hoàn tác không còn là một lựa chọn.
  • Where migration ends, what keeps another system’s copy in step afterward, and who owns each value. ⟲

Ngoài kỳ thi: AI tăng tốc nửa phân tích của một đợt chuyển đổi: lập hồ sơ dữ liệu, ánh xạ, phát hiện bất thường, viết script. Hãy dùng nó từng bước một, với mọi lệnh được tạo ra đều được theo dõi. Xác thực, đối chiếu và go/no-go vẫn mang tính tất định và do con người chịu trách nhiệm. Mỗi mô-đun kết thúc bằng điều AI thay đổi.

Tìm hiểu thêm

Phần tiêu đề “Tìm hiểu thêm ”

Next: Transactions, Concurrency, and Reliability ⟲