콘텐츠로 이동
SteveTechArcSteveTechArc Courses

데이터 아키텍처가 현실을 만나는 곳

19개 언어로도 제공

English · Español · 日本語 · Português (Brasil) · Français · Deutsch · Italiano · 简体中文 · Português (Portugal) · 繁體中文 · Bahasa Indonesia · Türkçe · Polski · Tiếng Việt · ไทย · Українська · Español (México) · Français (Canada) · Deutsch (Schweiz)

Data Architect 과정 10장, 파트 2: 규모를 위한 아키텍처. 이전: 통합과 데이터 이동.

마이그레이션은 데이터 아키텍처가 현실을 만나는 곳입니다. 우리가 내린 모델링, 품질, 마스터 데이터, 볼륨 결정은 레코드 수백만 개가 한꺼번에 도착하는 날 모두 시험대에 오릅니다. 그리고 “성공적으로 적재된” 마이그레이션도 실패일 수 있습니다. 잘못된 소유자, 깨진 관계, 중복된 고객, 환영 이메일 100만 통, 잠긴 레코드, 또는 시간이 모자란 전환 주말.

On a new distribution center's first morning, a forklift carries the first pallet in from a truck at the dock, while the next truck backs in.

Image generated with AI. ⟲

Every CTA scenario has a legacy system to bring across, and the candidate has to say how the data comes in, how it’s cleaned and how it’s de-duplicated. This chapter is that answer, from the source extract to the moment the old system stops mattering, and then the copies that keep going. ⟲

One example runs through all five modules: Steve Trucking retiring RouteDesk, its old dispatch tool, with eight years and about 5 million deliveries. What comes into Salesforce, how it’s prepared, how it loads, what the automation does about it, and the weekend it all happens. Then the other direction: Salesforce, now the system of record, keeping Snowflake’s copy in step. ⟲

이 장의 생각들

섹션 제목: “이 장의 생각들 ”
  • Migration is a quality project first, and a migration is an integration with an end. ⟲
  • Migrate, archive or discard, and know why every class of data moves, or doesn’t. ⟲
  • Prepare outside, then load the result: a preparation data store, the raw source kept, no step that loses fidelity, and three sets of keys (the source’s, the transformations, Salesforce’s). ⟲
  • The model sets the load order, and every child finds its parent by a key, never by a name. ⟲
  • The Bulk API is the loading dock behind the bank, and the dock still needs a plan: insert before upsert, sort by parent, the load user, and the IDs brought back. ⟲
  • Any time you turn automation off, you own that business logic not happening. The bypass is part of the original design, tested on and off and deployed long before it’s needed. ⟲
  • Production cutover should be boring: rehearsed, run from a runbook, loaded early and hidden by sharing, with go/no-go and a rollback clock decided in advance. ⟲
  • 네 가지로 증명하십시오. 건수, 합계, 샘플 점검, 집계 보고서.
  • Getting data out isn’t leaving Salesforce. Migration has a defined start and end; synchronization is ongoing, and the mirror is never the master. ⟲

이 장의 길

섹션 제목: “이 장의 길 ”

다섯 개 모듈, 각각 독립적으로 읽을 수 있습니다.

  1. Migration Is a Quality Project First. RouteDesk on the landscape; migrate, archive or discard; the preparation data store; Steve’s five steps; loading by keys; merged records and their children; three sets of keys. ⟲
  2. Loading at Volume. The teller window and the loading dock; Bulk API 2.0 and 1.0; insert, update or upsert; sorting by parent; the load user; bringing the keys back; rehearsing the whole run. ⟲
  3. Automation During the Load. The arrows a load sets off; don’t need it, simulate it, defer it; what a bypass looks like in Apex, flows and validation rules; sharing; the automation inventory. ⟲
  4. Cutover Weekend. The runbook; Day −7, Day −1, Day 0 and the rollback point; locking users out; the four proofs; authority moves on Day 0. ⟲
  5. Getting Data Out: Keeping Another System in Step. Salesforce stays the system of record; Snowflake needs a mirror. The ways out, PK chunking, keeping it current, a copy once or a copy forever. ⟲

아키텍트가 여기서 결정하는 것

섹션 제목: “아키텍트가 여기서 결정하는 것 ”
  • 무엇을 옮기기는 하는지: 마이그레이션, 아카이브, 폐기, 그리고 그 이유.
  • 데이터가 도착하기 전에 어떻게 쓸 만하게 만드는지, 그리고 모든 레코드가 어떻게 원본까지 추적 가능하게 남는지.
  • 적재 계획: 순서, 키, 동시성, 정체성, 소유권.
  • 적재가 무엇을 일으켜도 되는지, 그리고 정상 운영이 어떻게 돌아오는지.
  • 전환을 어떻게 실행하고 증명하는지, 그리고 언제 롤백이 더 이상 선택지가 아니게 되는지.
  • Where migration ends, what keeps another system’s copy in step afterward, and who owns each value. ⟲

시험 너머: AI는 마이그레이션의 분석 쪽 절반을 빠르게 합니다. 프로파일링, 매핑, 이상 탐지, 스크립트 작성. 단계별로 쓰고, 생성된 명령은 모두 추적하십시오. 검증, 대사, go/no-go는 결정론적으로, 사람이 책임지는 영역으로 남습니다. 각 모듈은 AI가 바꾸는 것으로 끝납니다.

더 알아보기

섹션 제목: “더 알아보기 ”

Next: Transactions, Concurrency, and Reliability ⟲