Caricare ad alto volume

🌐 Disponibile anche in 19 lingue

English · Español · 日本語 · Português (Brasil) · Français · Deutsch · 한국어 · 简体中文 · Português (Portugal) · 繁體中文 · Bahasa Indonesia · Türkçe · Polski · Tiếng Việt · ไทย · Українська · Español (México) · Français (Canada) · Deutsch (Schweiz)

Immagine generata con l'IA

Tradotto con l'IA. Non ancora rivisto dalla comunità. Leggi in inglese Questa sezione è cambiata in inglese e non è ancora stata tradotta di nuovo. (52)

Modulo 2 di 5 del capitolo Migrazione e sincronizzazione, capitolo 10 del corso Data Architect. Ogni modulo si regge da solo. Precedente: La migrazione è prima di tutto un progetto di qualità · Successivo: L’automazione durante il caricamento

La domanda a cui risponde questo modulo: Come cambia il Numero di Zeri il modo in cui carichi i dati in Salesforce?

Dieci record? Posso quasi scriverli a mano. Mille? Ora mi serve uno strumento. Un milione? È un problema di architettura. L’operazione non è cambiata (creare o aggiornare record), ma il Numero di Zeri cambia come la faccio. L’abbiamo visto con la modellazione, le query, la condivisione e le integrazioni, e la migrazione non fa eccezione. Ad alto volume mi interessano come sposto i dati, come li divido in lavoro, in che ordine si muovono, cos’altro sta facendo Salesforce mentre carico, come ripristino quando qualcosa fallisce, e se posso rifare tutto da capo.

Start With the Picture

Same landscape, same amber arrow as module 1: RouteDesk’s open work coming into Salesforce the weekend RouteDesk retires. ⟲

Clicca per ingrandire

Module 1 decided what moves on this arrow. This module is about how it moves. ⟲

Module 1 decided what comes in: the deliveries not yet made and the ones still inside the 60-day claim window, about 196,400 deliveries. Each one becomes a Work Order, with its line items (about 1.6 per delivery, so about 314,000) and its Service Appointment (about 196,400 more). That’s roughly 707,000 records, prepared in the preparation data store and ready to go. Not millions, but well past anything I’d send one record at a time. So, how do they get in? ⟲

La banchina di carico dietro la banca

Quando insegno la Bulk API, uso la banca. Entri con una pila di versamenti, e il cassiere ne prende 200 e ti rimanda in fondo alla fila. Con un milione di record sono 5.000 giri in fila, 5.000 chiamate API. Nel frattempo un camion si ferma sul lato della banca, scarica una montagna di versamenti e venti minuti dopo riparte mentre tu sei ancora in fila. Quella è la banchina di carico, e si chiama Bulk API.

The 200 is still real. A REST sObject Collections request takes “up to 200 records” (Create Records Using sObject Collections (si apre in una nuova scheda), REST API Developer Guide), and a SOAP create() call the same: “If a create request exceeds 200 records, then the entire operation fails” (create() (si apre in una nuova scheda), SOAP API Developer Guide; both checked 2026-10-27). Every 200 more records is another call. RouteDesk’s 707,000 records would be over 3,500 trips to the teller. ⟲

Clicca per ingrandire

Same records, different door. ⟲

La banchina di carico ha cinque passaggi:

1. Apri il job. Premi il pulsante rosso e prendi un biglietto: l’ID del job.
2. Carica. La banchina si apre e carichi i tuoi file CSV su quel biglietto, un file o cento.
3. Chiudi il job. Salesforce non sa che hai finito finché non premi il grande pulsante blu: caricamento completato. Ora comincia l’elaborazione.
4. “Siamo arrivati?” Come i miei figli sul sedile posteriore: chiedi, con il tuo ID del job, se ha finito. Ha finito? Ha finito?
5. Prendi i risultati. Scarica i record riusciti (con i loro nuovi ID Salesforce) o quelli falliti (con i loro errori).

Clicca per ingrandire

Submit, wait, collect. ⟲

Un milione di record costa una manciata di chiamate invece di migliaia. Ma nota cosa è cambiato: il lavoro è asincrono. Non ricevi una risposta per record; invii, aspetti e ritiri. Quindi il chiamante deve sapere cosa è stato inviato, cosa è ancora in elaborazione, cosa è completato, cosa è fallito e cosa è tornato. Non è un dettaglio dell’API. È il controllo della migrazione.

Due banchine di carico: Bulk API 2.0 e Bulk API

Ci sono due versioni, e conta quale stai usando.

• Bulk API 2.0 is the one to start with. You upload the data for a job and Salesforce splits it into batches for you, retries for you and runs them in parallel. A job can take 150 MB, measured after Salesforce encodes it, so Salesforce advises uploading no more than 100 MB of CSV per job. ⟲
• Bulk API (1.0) makes you create the batches yourself, up to 10,000 records each. It’s older, but it still has two levers 2.0 doesn’t give you: serial mode for loads, and PK chunking for very large exports (module 5). ⟲

Both share a rolling 24-hour allowance of 15,000 batches, and either can load up to 150 million records in 24 hours. Job results are kept for seven days after the job completes (Bulk API and Bulk API 2.0 Limits and Allocations (si apre in una nuova scheda), checked 2026-10-27). Salesforce’s line between the doors: “Any data operation that includes more than 2,000 records is a good candidate for Bulk API 2.0”; below that, “bulkified” synchronous calls are fine (Loading Data from the API (si apre in una nuova scheda), Best Practices for Deployments with Large Data Volumes, Winter ‘27, checked 2026-10-27). Those are today’s numbers: check them before you plan around them. ⟲

Singoli, insiemi e massa: è così che penso alla forma del lavoro: un singolo aggiornamento da un’azione dell’utente, qualche centinaio di record collegati da un processo di business, milioni di record storici in una migrazione. Non sono nomi di prodotti. Chiediti qual è la forma del lavoro prima di scegliere lo strumento.

Test knowledge. Know when the Bulk API is the answer: more than about 2,000 records, asynchronous, a job you submit and collect. Know the two versions apart: Bulk API 2.0 splits the batches for you and runs them in parallel; Bulk API (1.0) has you build batches of up to 10,000 records, and only it offers serial mode and PK chunking. Both share 15,000 batches in a rolling 24 hours. ⟲

Lo strumento non elimina l’architettura

“Useremo la Bulk API.” Va bene. Non mi dice quali oggetti si caricano per primi, insert o upsert, qual è la chiave esterna, come si ricostruiscono le relazioni, cosa succede quando alcuni record falliscono, se i job possono girare in parallelo, se il lavoro in parallelo si contenderà gli stessi padri, quale automazione verrà eseguita, o come riconcilieremo e ripartiremo. La Bulk API risolve un problema di trasporto. Non risolve la migrazione.

The order comes from the model, and module 1 drew it for RouteDesk: reference data first, then the Work Orders, then their line items and appointments, then the claim Cases that point at them (Preserve the Source Identity, and Load by Keys). Each wave is its own job, and the next one doesn’t start until the last one’s results are in. Junction objects depend on two parents, self-referencing hierarchies may need several passes, and circular relationships may need records first and relationships second. Don’t discover these on cutover weekend. ⟲

A volte carichi il record, poi la relazione. Una capogruppo, una controllata e una controllata regionale vengono create tutte nella migrazione. Invece di risolvere ogni relazione in una sola passata, carica gli account con le loro chiavi stabili di origine, poi esegui una seconda passata che imposta la gerarchia. La stessa idea aiuta con le relazioni verso lo stesso oggetto e le dipendenze circolari. L’obiettivo non è una sola passata. È un risultato deterministico e ripetibile.

Insert, update o upsert

Insert says create this as new. Update says I already know the Salesforce record I’m changing. Upsert says use this key to find out whether the record exists; update it if it does, create it if it doesn’t. With stable External IDs, upsert makes rehearsals far easier: load, find a transformation problem, fix it, rerun, without the run assuming everything is a first-time insert. Keys are architecture, not just integration plumbing. RouteDesk’s Work Orders upsert on the partner key, the same field the integration uses, so a manifest Redrock resends on cutover weekend updates the migrated record instead of duplicating it. ⟲

Upsert has a price, though. Salesforce’s own Large Data Volumes guide ranks the operations: “insert() is fastest, update() is next, and upsert() is next after that. If possible, also break upsert() into two operations: create() and update()” (Loading Data from the API (si apre in una nuova scheda), checked 2026-10-27). How do you know which records are new and which already exist? The preparation data store knows, because it pulled down what Salesforce already has and keeps the IDs that came back (module 1). So the 190,000 delivered Work Orders that nothing in Salesforce has touched can go in as a plain insert, and only the open ones the integration may already have created need the upsert. ⟲

Two more lines from the same guide. Load clean data: “Errors in batches trigger single-row processing for that batch, and that processing heavily impacts performance.” That’s module 1 paying off at the loading dock. And when you update, “send only fields that have changed.” A reload that resends every field of 196,400 Work Orders does work nobody asked for. ⟲

Ma l’upsert non è magia. Se la strategia delle chiavi è sbagliata, l’operazione è sbagliata. Due record della sorgente per lo stesso cliente con chiavi diverse sono due record per Salesforce; una chiave della sorgente che può identificare più destinazioni significa che abbiamo frainteso la cardinalità. Il lavoro di qualità del modulo 1 conta ancora; una funzionalità dell’API non lo sostituisce.

Test knowledge. Insert is the fastest operation, then update, then upsert; Salesforce suggests splitting an upsert into creates and updates where you can. Upsert needs an External ID, and it’s what makes reruns safe. Load clean data, because errors in a Bulk API batch push that batch into slow single-row processing, and send only the fields that changed. ⟲

Il parallelo è più veloce, finché non lo è più

L’elaborazione in parallelo aumenta il throughput. Ma se molti record del caricamento puntano allo stesso padre, le transazioni si contendono i blocchi su quel padre, e ciò che abbiamo fatto per andare più veloci crea contesa sui blocchi, errori e ritentativi. Sono di nuovo i punti caldi del capitolo 7: se un milione di figli converge su pochi padri, la forma dei dati conta per il caricamento. Quando due batch aspettano ciascuno un blocco che tiene l’altro, ottieni un deadlock, due auto ferme a un incrocio.

RouteDesk is exactly that shape. Almost 196,400 Work Orders, and nearly every one points at one of three Retail Partner Accounts. Load them in parallel in the order RouteDesk exported them, and every batch holds Work Orders for all three partners. ⟲

Clicca per ingrandire

In export order, every batch needs every parent. One locks, the others wait. ⟲

Two levers. First, sort the files by parent, so the children of one parent travel together in the same batch instead of being spread across batches that collide. Salesforce gives the same advice: “When changing child records, group them by parent—group records by the field ParentId in the same batch to minimize locking conflicts” (Loading Data from the API (si apre in una nuova scheda), checked 2026-10-27). ⟲

Clicca per ingrandire

Sorted by partner, each batch works on its own parent. ⟲

Second, on Bulk API 1.0, serial mode processes one batch at a time: slower, but it removes the contention. I reach for serial mode when the data is complex and we’re running into collisions and timeouts. Salesforce’s own guide is more cautious: serial mode “is used only when previously submitted asynchronous jobs have accidentally produced contention because of locks. Use only when advised by Salesforce” (Limits (si apre in una nuova scheda), Bulk API 2.0 and Bulk API Developer Guide, checked 2026-10-27). So sort first, and treat serial as the fallback. And it’s only on the older dock: Bulk API 2.0’s job reference says “Currently only parallel mode is supported,” and if other modes ever arrive, “the mode will be chosen automatically by the API and will not be user configurable” (Create a Job (si apre in una nuova scheda), Bulk API 2.0, checked 2026-10-27). A load that needs serial processing is a reason to use Bulk API 1.0. ⟲

Serial mode is a setting on the job, chosen when you create it. On Bulk API 1.0, RouteDesk’s Work Orders would be: ⟲

POST /services/async/68.0/job
{
  "operation": "upsert",
  "object": "WorkOrder",
  "externalIdFieldName": "Partner_Delivery_Key__c",
  "contentType": "CSV",
  "concurrencyMode": "Serial"
}

Leave concurrencyMode out and you get Parallel, the default. Salesforce’s job reference says when to change it: “If parallel mode results in too many failed records or failed jobs, submit the job with Serial concurrency mode,” and adds that it “can significantly increase the processing time” (JobInfo (si apre in una nuova scheda), Bulk API 2.0 and Bulk API Developer Guide, checked 2026-10-31). ⟲

And if three parents are too few for any sorting to help, look at the model. Checkpoint 1 already offered a way to spread them: link Work Orders to a child Account per distribution center, so nine parents share the load instead of three. That’s a design decision, made before the migration, not a loader setting. ⟲

Non parto da “sempre in parallelo” né da “sempre in seriale”. Guardo la forma delle relazioni, i padri caldi, l’automazione che si attiva, cos’altro blocca e cosa è successo nella prova. Poi scelgo. Prima corretto, poi veloce.

Test knowledge. Parallel loads lock parent records. When many children share a few parents, expect “unable to lock row” errors: sort the load file by parent so each batch touches as few parents as possible. Serial mode (Bulk API 1.0 only) removes the contention at the cost of speed; Salesforce reserves it for lock contention the sorting didn’t solve. ⟲

La dimensione del batch è una decisione di messa a punto

Le persone vogliono un numero magico. Io non ce l’ho. La dimensione giusta dipende dall’oggetto, dalla complessità dei record, dall’automazione, dalle relazioni, dai blocchi, dal payload e dal meccanismo. Troppo grande, e i guasti diventano costosi e le transazioni fanno troppo lavoro; troppo piccola, e il costo fisso domina e l’esecuzione dura molto più del necessario (e, con la 1.0, consuma la tua quota di batch). Parti entro i limiti supportati dallo strumento, poi misura su dati rappresentativi.

And the rehearsal data needs the same shape as production. Twenty million records in production, ten thousand in the test, and everything flies: what did we prove? Not much about scale. The test doesn’t need every record, but it must expose the architecture: heavy concentration on a few parents, millions of children, large text fields, complex relationships, historical skew, automation triggered by particular values. The Number of Zeros matters, and so does the shape behind the zeros. For RouteDesk that means a rehearsal set where a third of the Work Orders still point at Redrock. ⟲

L’utente di caricamento, e chi è titolare dei record

For a substantial migration I want a dedicated migration identity, not someone’s personal admin account: for traceability, controlled permissions, automation decisions (module 3), monitoring and troubleshooting. A million records created by the migration user during cutover tells me something. A million created by Daniel Reyes because Daniel ran Data Loader on Saturday night mixes human identity with system activity. Give it the permissions the job needs, and don’t let it become a permanent mystery superuser nobody dares disable. ⟲

Then don’t confuse who loaded a record with who should own it. Created By is provenance; Owner is architecture, with sharing and business consequences. Set business ownership deliberately. Sometimes there’s no good answer in the source: the record’s owner left years ago, or never existed. It can be hard to assign records to active users, and I’ve created a dedicated “data load” user to own them. That’s sound practice with one condition from chapter 7: a user who owns more than 10,000 records of an object is ownership skew, so that owner should have no role, or a role of its own at the top of the hierarchy (Ownership Data Skew (si apre in una nuova scheda)), and the records should have a path to real owners. Who owns the records, and where that owner sits in the role hierarchy, is an important decision the team makes for any bulk import, not something the loader defaults. For RouteDesk’s Work Orders, chapter 7’s question decides it: does ownership drive who sees a delivery? At Steve Trucking it doesn’t (partners see their own deliveries through the partner on the record), so one owner with no role is fine. ⟲

Gli strumenti: scegli per la ripetibilità

There are many ways to load data, and the tool matters less than how you use it. Salesforce’s Data Loader has been tried and true, but it’s aged: a desktop tool that works CSV by CSV. Its command-line version can be scripted and pointed at your preparation data store, which is how I’ve run repeated loads. Some tools connect a SQL database straight to Salesforce, copying data down and sending changes back with SQL. ETL and integration platforms do the same job at enterprise scale. And with the APIs you can drive the Bulk API directly: the Salesforce CLI’s sf data upsert bulk loads a CSV through Bulk API 2.0 with an External ID from one command (data upsert bulk (si apre in una nuova scheda), Salesforce CLI Command Reference, checked 2026-10-27). You can even have AI write the small scripts that run each complex step. ⟲

Qualunque sia lo strumento, ecco la mia preferenza più forte: non voglio che la migrazione in produzione sia la prima volta che facciamo la migrazione, e non voglio che ogni prova sia un’avventura artigianale. Se il passaggio 17 dice “apri questo CSV, ordina per la colonna G, elimina le righe vuote, copia questa formula verso il basso, poi lancia Data Loader con queste impostazioni”, divento nervoso. Ogni passaggio manuale è un’occasione per un file sbagliato, una riga persa, una versione vecchia, un ordinamento sbagliato, un filtro dimenticato, un’impostazione diversa dalla prova. Alcuni possono essere inevitabili: documentali e testali. Ma l’obiettivo è la ripetibilità, quindi estrarre, trasformare, validare, caricare, catturare i risultati e riconciliare devono girare allo stesso modo ogni volta.

Se pianifichi i caricamenti, non pianificarli più spesso di quanto riescano a finire. Un job orario che a volte impiega novanta minuti partirà sopra se stesso; verifica che l’esecuzione precedente sia finita prima che cominci la successiva.

Keep Every Result, and Bring the Keys Back

Per ogni caricamento, conserva la versione di input, il file di caricamento trasformato, l’ID del job, i risultati riusciti e falliti con i loro errori, i tempi, i conteggi dei record e gli esiti della riconciliazione. Dopo una grande migrazione qualcuno chiederà “cos’è successo a questo record?”, e io voglio prove, non “credo fosse nel terzo CSV di sabato mattina”. I risultati bulk vengono conservati solo sette giorni, quindi scaricali man mano. Dai più avanti a questi artefatti un ciclo di vita; non buttarli via finché devi ancora dimostrare il trasloco.

Then bring the keys back. The success results carry each record’s new Salesforce ID next to the key you sent. Write them back into the preparation data store, on the row that produced the record: that’s the last frame of module 1’s three sets of keys. On the Zendesk migration I described in module 1, that’s what made everything else possible. With the Salesforce IDs back on every row, I could load in phases (accounts and contacts first, then the cases, then the comments and files that hang off them), and each phase found its parents by the IDs the last one returned. I could do a partial load: just the rows that failed, or just one group. And I could reload: fix a transformation, regenerate the affected rows, and send only those, knowing exactly which Salesforce records they’d update. Without the keys back, every rerun is a guess. ⟲

Anche la dimensione dei fallimenti è una questione di Numero di Zeri. Venti fallimenti su 100 sono pessimi; venti su 20 milioni vanno comunque indagati, ma sono un segnale diverso. Guarda i tassi, non solo i conteggi, e classifica i fallimenti: convalida, padre mancante, chiave duplicata, blocco, tipo di dato, automazione, autorizzazioni. Classificati, ti mostrano problemi di architettura invece di un file di errori gigantesco.

E le prestazioni non sono solo record al secondo. “Abbiamo raddoppiato il throughput.” Cosa è cambiato? Sono aumentati blocchi, fallimenti o ritentativi? L’automazione a valle è rimasta indietro, il ricalcolo della condivisione si è intasato, un’altra integrazione è stata sommersa? Il cutover totale è davvero diventato più breve? Una migrazione non gira nel vuoto.

Test knowledge. The Bulk API’s success results return each record’s new Salesforce ID with the data you sent, and its failure results return each error; both are kept for seven days. Capture them, write the IDs back to the source or staging data, and you can load in phases, retry only the failures, and reconcile what landed. ⟲

Testa l’intera esecuzione

Caricare gli account, poi i contatti, poi gli ordini, ciascuno testato separatamente, non è una migrazione testata. Voglio una prova completa, dall’inizio alla fine, con la stessa sequenza, le stesse trasformazioni, le stesse identità, la stessa strategia di automazione e la stessa riconciliazione, a un volume rappresentativo. Tra i passaggi emergono dipendenze: un ritardo di dieci minuti fa partire il caricamento successivo al momento sbagliato, un tasso di fallimento inatteso costa ore di correzione, un ricalcolo della condivisione sposta il calendario. L’esecuzione completa ti dice se funziona la migrazione, non solo se funziona ogni comando.

If the rehearsal includes a performance or scale test, put Salesforce’s lead time in the plan. “All tests must be pre-approved. Unapproved testing is subject to throttling or blocking,” and for tests at 120 requests a second or below, the request goes in “at least one week before the testing date” (Salesforce Performance and Scale Test FAQs (si apre in una nuova scheda), Salesforce Help, checked 2026-10-27). A rehearsal that gets throttled proves nothing about cutover weekend. ⟲

L’IA può scrivere lo script. L’esecuzione resta tua.

AI is very good at generating transformation scripts, load orchestration, error parsers, reconciliation queries and retry logic. Use it. But generated code can be wrong at enormous speed: a wrong transformation on ten records is ten fixes; on ten million, the Number of Zeros applies to the mistake too. The way I use it is step by step: clean, transform and migrate steps, with every generated command and action tracked. That’s deterministic, auditable automation, not unattended judgment. Test it at realistic scale before you trust it with production data. ⟲

Oltre l’esame: cosa cambia l’IA. L’IA riduce lo sforzo per costruire strumenti di migrazione, e rende più facile generare ed eseguire in fretta operazioni in massa. Più l’operazione è grande, più forte è il bisogno di trasformazioni deterministiche, passaggi tracciati, prove, controlli e riconciliazione.

Cosa decide qui un architetto

• Quale meccanismo di caricamento e quale versione dell’API si adattano al volume e alla forma del lavoro, invece di trattare una migrazione come traffico transazionale.
• La sequenza di oggetti e relazioni dettata dalle dipendenze, compresi i casi in cui record e relazioni hanno bisogno di passate separate.
• Which operation each set of records gets (insert, update or upsert), based on what the preparation data store knows already exists. ⟲
• Where parallel processing is safe, and where concentration, locking or automation justify sorting by parent, a model change, or serial processing. ⟲
• Quali chiavi stabili, quale identità di migrazione, quale titolarità dei record e quali strumenti ripetibili rendono deterministici le prove e i caricamenti in produzione.
• How results and new IDs come back, so loads can run in phases, retry only failures, and reload safely. ⟲
• Quali prove, quale classificazione dei fallimenti e quale prova dell’intera esecuzione servono prima di fidarsi del processo alla scala di produzione.

La banchina di carico ha comunque bisogno di un piano

The loading dock moves enormous amounts of data. It doesn’t decide which truck unloads first, where the pallets go, which shipment belongs to which customer, what happens to a damaged pallet, whether two forklifts are using the same aisle, or whether everything that should have arrived did. That’s architecture. Know the Number of Zeros and the shape behind them. Load in dependency order, use stable keys, control concurrency, bring the keys back, make the process repeatable, keep the evidence, and rehearse the whole thing. Then use the loading dock as fast as the architecture safely allows. ⟲

Per approfondire

• Salesforce, Bulk API and Bulk API 2.0 Limits and Allocations (si apre in una nuova scheda), Developer Limits and Allocations Quick Reference, checked 2026-11-01. ⟲
• Salesforce, General Guidelines for Data Loads (si apre in una nuova scheda) and Limits (si apre in una nuova scheda), Bulk API 2.0 and Bulk API Developer Guide, checked 2026-11-01. ⟲
• Salesforce, Best Practices for Deployments with Large Data Volumes, Loading Data from the API (si apre in una nuova scheda), Winter ‘27, checked 2026-11-01. ⟲
• Salesforce, REST API Developer Guide, Create Records Using sObject Collections (si apre in una nuova scheda), checked 2026-11-01. ⟲
• Salesforce, SOAP API Developer Guide, create() (si apre in una nuova scheda), and Bulk API 2.0, Create a Job (si apre in una nuova scheda), checked 2026-11-01. ⟲
• Salesforce, Bulk API 2.0 and Bulk API Developer Guide, JobInfo (si apre in una nuova scheda) (the Bulk API 1.0 job fields, concurrencyMode), API version 68.0 (Winter ‘27), checked 2026-11-01. ⟲
• Salesforce Help, Salesforce Performance and Scale Test FAQs (si apre in una nuova scheda), checked 2026-11-01. ⟲
• Il corso Integration Architect: Bulk (coming soon) tratta la Bulk API in profondità.
• In questo corso: Progettare per la scala (punti caldi e squilibrio di titolarità).
• Salesforce Developers, Designing Record Access for Enterprise Scale, Ownership Data Skew (si apre in una nuova scheda), checked 2026-11-01. ⟲
• Salesforce Developers, Salesforce CLI Command Reference, data upsert bulk (si apre in una nuova scheda), checked 2026-11-01. ⟲