コンテンツにスキップ
SteveTechArcSteveTechArc Courses

データアーキテクチャが現実と出会う場所

ほかに 19 言語で読めます

English · Español · Português (Brasil) · Français · Deutsch · Italiano · 한국어 · 简体中文 · Português (Portugal) · 繁體中文 · Bahasa Indonesia · Türkçe · Polski · Tiếng Việt · ไทย · Українська · Español (México) · Français (Canada) · Deutsch (Schweiz)

Data Architectコース第10章、第2部：規模に向けた設計。前へ：統合とデータの移動。

移行は、データアーキテクチャが現実と出会う場所です。私たちが下してきたモデル化、品質、マスターデータ、量についての判断のすべてが、何百万件ものレコードが一度に届く日に試されます。そして「正常にロードされた」移行でも、失敗であり得ます。間違った所有者、壊れたリレーション、重複した顧客、100万通の歓迎メール、ロックされたレコード、あるいは時間切れになる切り替えの週末。

On a new distribution center's first morning, a forklift carries the first pallet in from a truck at the dock, while the next truck backs in.

Image generated with AI. ⟲

Every CTA scenario has a legacy system to bring across, and the candidate has to say how the data comes in, how it’s cleaned and how it’s de-duplicated. This chapter is that answer, from the source extract to the moment the old system stops mattering, and then the copies that keep going. ⟲

One example runs through all five modules: Steve Trucking retiring RouteDesk, its old dispatch tool, with eight years and about 5 million deliveries. What comes into Salesforce, how it’s prepared, how it loads, what the automation does about it, and the weekend it all happens. Then the other direction: Salesforce, now the system of record, keeping Snowflake’s copy in step. ⟲

この章の考え方

Section titled “この章の考え方 ”
  • Migration is a quality project first, and a migration is an integration with an end. ⟲
  • Migrate, archive or discard, and know why every class of data moves, or doesn’t. ⟲
  • Prepare outside, then load the result: a preparation data store, the raw source kept, no step that loses fidelity, and three sets of keys (the source’s, the transformations, Salesforce’s). ⟲
  • The model sets the load order, and every child finds its parent by a key, never by a name. ⟲
  • The Bulk API is the loading dock behind the bank, and the dock still needs a plan: insert before upsert, sort by parent, the load user, and the IDs brought back. ⟲
  • Any time you turn automation off, you own that business logic not happening. The bypass is part of the original design, tested on and off and deployed long before it’s needed. ⟲
  • Production cutover should be boring: rehearsed, run from a runbook, loaded early and hidden by sharing, with go/no-go and a rollback clock decided in advance. ⟲
  • **4つの方法で証明する：**件数、合計、抜き取り確認、集計レポート。
  • Getting data out isn’t leaving Salesforce. Migration has a defined start and end; synchronization is ongoing, and the mirror is never the master. ⟲

この章の道筋

Section titled “この章の道筋 ”

5つのモジュールがあり、それぞれ単独でも読めます。

  1. Migration Is a Quality Project First. RouteDesk on the landscape; migrate, archive or discard; the preparation data store; Steve’s five steps; loading by keys; merged records and their children; three sets of keys. ⟲
  2. Loading at Volume. The teller window and the loading dock; Bulk API 2.0 and 1.0; insert, update or upsert; sorting by parent; the load user; bringing the keys back; rehearsing the whole run. ⟲
  3. Automation During the Load. The arrows a load sets off; don’t need it, simulate it, defer it; what a bypass looks like in Apex, flows and validation rules; sharing; the automation inventory. ⟲
  4. Cutover Weekend. The runbook; Day −7, Day −1, Day 0 and the rollback point; locking users out; the four proofs; authority moves on Day 0. ⟲
  5. Getting Data Out: Keeping Another System in Step. Salesforce stays the system of record; Snowflake needs a mirror. The ways out, PK chunking, keeping it current, a copy once or a copy forever. ⟲

ここでアーキテクトが決めること

Section titled “ここでアーキテクトが決めること ”
  • **そもそも何を動かすか：**移行する、アーカイブする、破棄する、そしてその理由。
  • **届く前にデータをどう使える状態にするか、**そしてすべてのレコードをソースまでどう追跡できるようにしておくか。
  • **ロードの計画：**順序、キー、同時実行、身元、所有。
  • **ロードが何を引き起こしてよいか、**そして通常の運用をどう戻すか。
  • **切り替えをどう実行し、どう証明するか、**そしてロールバックがいつ選択肢でなくなるか。
  • Where migration ends, what keeps another system’s copy in step afterward, and who owns each value. ⟲

**試験の先へ：**AIは移行の分析の半分を加速します。プロファイリング、マッピング、異常の検出、スクリプトの作成。生成されたコマンドをすべて記録しながら、一歩ずつ使いましょう。検証、照合、go/no-goは、決定的で、人が責任を持つものであり続けます。各モジュールの最後で、AIが何を変えるかを扱います。

さらに学ぶ

Section titled “さらに学ぶ ”

Next: Transactions, Concurrency, and Reliability ⟲