Una Roadmap per il Rollout dell'AI

Una Roadmap per il Rollout dell'AI

TL;DR: Adottare nuove tecnologie è un problema complesso, ma ben studiato. L’AI, come piattaforma, non è abbastanza diversa (ancora) da giustificare un approccio unico. Identifica i passaggi giusti nei processi giusti, mappa qualità e rischio, esegui la nuova soluzione sotto supervisione, e devia lentamente il carico di lavoro verso di essa.


Una domanda chiave che circola in ogni network professionale di cui faccio parte è—come incorporiamo l’AI nei nostri lavori? Come evitiamo di rimanere indietro?

Questa non è una domanda banale:

  • L’AI è una tecnologia che sta subendo un’evoluzione straordinariamente rapida, tanto che fatichiamo a comprenderne i limiti.
  • I costi stanno rapidamente calando. Nel novembre 2022, DaVinci, il modello allora leader di OpenAI, costava $20/Mtoken. Oggi, GPT 3.5-turbo-instruct (molto migliore) costa ~$1/Mtoken.
  • Integrare nuove tecnologie in processi esistenti può sembrare come riparare un aereo in volo. I processi devono continuare a funzionare mentre la nuova tecnologia viene testata.
  • Criticamente, pochissimi manager hanno esperienza diretta nell’integrare l’AI con processi preesistenti.

La buona notizia è che esistono approcci collaudati per il rollout di nuove tecnologie. Il resto di questo documento delinea un possibile approccio.


Una fabbrica

L’integrazione tecnologica non è un problema nuovo. Un articolo HBR del 1985 parla a lungo di come gestire i rollout di nuove tecnologie. Interi libri coprono questo argomento. E concordano su questo: l’adozione dovrebbe essere un processo misurato e deliberato. Questo processo, ad alto livello, comprende:

  1. Selezione del sito. Identificazione dei processi e delle fasi di processo da targetizzare.
  2. Definizione del successo. Sviluppo di una descrizione granulare e scritta delle metriche di qualità e performance che la nuova tecnologia deve garantire.
  3. Rollout. Implementazione della nuova tecnologia come processo sperimentale parallelo ai workflow esistenti. Validazione della qualità.
  4. Transizione. Il graduale spostamento del carico di lavoro dai processi esistenti alla nuova tecnologia. Sorveglianza e validazione della sostenibilità.

I quattro passi per il rollout dell’AI

Passo 1: Selezione del Sito

Il lavoro principale qui è trovare le fasi di processo (“siti”) che saranno i migliori candidati per l’automazione. Non c’è una risposta universale, ma queste sono alcune delle domande che raccomando di porsi:

  1. Gli input di questa fase sono digitalizzati? Sono di natura testuale? Le AI sono particolarmente adatte all’estrazione di informazioni e alla sintesi; o a valutare documenti rispetto a corpi di conoscenza preesistenti. Inoltre, i processi guidati principalmente dal testo sono molto più facili da gestire tramite LLM. Per esempio, produrre un riassunto giornaliero di tutte le email ricevute da una casella di reporting di competitive intelligence sarebbe un candidato eccellente.

  2. Quanto è critico questo processo per la missione? Il processo è rivolto ai clienti? Gli output di questo processo sono un input critico per le decisioni nei passaggi successivi? Quali sarebbero le potenziali implicazioni di errori o downtime della piattaforma? Ci sono implicazioni legali o regolamentari per errori in questo processo? Quali opportunità esistono per intercettare potenziali errori o problemi di qualità negli output generati dall’AI? Per esempio, categorizzare e riassumere documenti inviati a una knowledge base interna, o validare note spese rispetto alle ricevute sono probabilmente processi a basso rischio. Creare e far circolare automaticamente i verbali delle riunioni del consiglio—probabilmente non tanto.

  3. Qual è il volume del processo? Vale la pena automatizzare questa fase del processo? Quanto tempo si risparmierebbe se un’AI ci lavorasse? I migliori candidati per l’automazione sono le fasi di processo che richiedono tempo e sono ripetitive, su processi ad alto volume. Per esempio, sfruttare l’AI per generare narrative e identificare outlier sui dati di vendita settimanali potrebbe avere molto più senso che riassumere le performance di vendita trimestrali.

  4. Come influenzerà l’automazione il carico di lavoro? Questa fase del processo è qualcosa di cui qualcuno nell’organizzazione è particolarmente orgoglioso di fare bene? Stai automatizzando le parti più facili o piacevoli di un processo, spostando il mix di lavoro manuale verso la complessità? Per esempio, riassumere dati per la leadership senior può essere tedioso, ma può garantire visibilità alla persona che lo svolge. Questo non dovrebbe essere un ostacolo, ma dovrebbe far pensare a un manager a creare altre opportunità di visibilità per il suo team.

  5. Quale conoscenza serve al processo? Quali repository di documenti contengono quella conoscenza? Quanta di questa conoscenza è circolata all’interno dei team, e quanta è strutturata, digitalizzata e disponibile in cartelle condivise? Quanto velocemente cambia questa conoscenza? Per esempio, i manuali di policy sono eccellenti fonti di conoscenza istituzionale, e spesso in formato PDF o simile. Il fatto che la regione Southwest tenda ad avere vendite più morbide nel Q2 potrebbe non essere formalmente catturato da nessuna parte.

Una volta selezionato un buon sito, è fondamentale generare buy-in attraverso il team che lavorerà con e sulla nuova tecnologia, rassicurarli (come appropriato) dell’intento, e sincronizzarsi con i clienti interni per assicurarsi che siano al corrente.

Passo 2: Definizione del Successo

Una volta identificato un processo target, è tempo delle metriche di qualità.

Misurazione della qualità

La priorità qui è identificare come funziona la qualità nella vita reale, cioè cosa interessa ai clienti interni quando valutano gli output, piuttosto che cosa pensano che gli interessi. Chiedi al team di processo come pensano alla qualità—poi confermalo con i clienti.

Buoni modi per farlo includono:

  1. Chiedere esempi di fallimenti di qualità passati. Qui, ti interessa molto meno cosa è andato storto che come è stato intercettato. Chi ha notato il problema, e come? Quali guardrail sono stati messi in atto per catturare problemi simili di nuovo?

  2. … e di output eccezionali. Allo stesso modo, cosa ha deliziato i clienti del processo in passato? Era tempestività, precisione, novità, concisione, adattamento a un obiettivo interno specifico?

Formalizza e quantifica le metriche di qualità il più possibile—possono essere varie come precisione fattuale, tempestività, concisione, leggibilità…

E ancora, dimentica di socializzare e raccogliere l’approvazione su queste metriche a tuo rischio e pericolo. Questo è ciò che fa o disfa un rollout di successo.

Passo 3: Rollout

Qui è dove avviene il lavoro tecnico: soluzioni su misura vengono progettate, o standardizzate vengono acquistate off-the-shelf. La leadership revisionerà e spingerà. I team di produzione e operations resisteranno.

Alcune cose sono critiche qui:

  • Rimani fedele allo scope. La tentazione di automatizzare un po’ di più, a monte e a valle, sarà sempre presente. Cerca di resisterle: hai scelto questo scope per una ragione.

  • Mantieni il focus sulle metriche di qualità che contano. Alcune soluzioni tecniche offriranno grandi miglioramenti su metriche che non influenzeranno il tuo business: importa approvare una nota spese in 15 secondi invece di 15 ore, se il tasso di errore della soluzione più veloce è 3x il tasso di errore di quella più lenta?

  • Evita il vendor lock. Lo spazio AI sta evolvendo così velocemente che un dato fornitore potrebbe essere fuori mercato in sei mesi, o potrebbe aver pivotato per offrire servizi molto diversi. Assicurati che i processi siano il più modulari e vendor-agnostici possibile: questo renderà anche più facile aggiornare man mano che le tecnologie continuano a migliorare.

  • Includi “vie di fuga” e mantieni gli umani nel loop. Crea molti checkpoint interni che il tuo team può sfruttare per correggere la rotta e per capire meglio il potenziale e i limiti del nuovo processo.

  • Considera l’uso di due sistemi AI—uno per generare gli output, e uno per validarli rispetto alle metriche di qualità. Le AI lavorano bene in team: sfruttalo al massimo.

La fase di rollout è concettualmente completa quando puoi inviare la prima unità di lavoro al nuovo sistema AI, e ottenere il primo output rispettando le metriche di qualità.

Ora inizia il vero divertimento.

Passo 4: Transizione

Una cascata che rappresenta la fase di transizione

Ora, è tempo di (molto gradualmente) aprire le chiuse.

Inizia a trasferire lavoro al nuovo processo, spostando anche la responsabilità. Tipicamente, la persona(e) precedentemente incaricata di fare sarà ora incaricata di supervisionare e controllare; e assumerà responsabilità incrementali, o diverse.

Questo è quando monitoraggio, ownership e trasparenza sono critici.

I clienti interni di solito tollereranno problemi isolati, come un leggero ritardo o un calo di qualità una tantum, finché sono riconosciuti, prontamente mitigati, e credibilmente intesi come ostacoli sulla strada verso una qualità migliore. Le aspettative su questo dovrebbero essere state impostate durante i passi 1 e 2, quando i processi a basso rischio sono stati identificati, e gli obiettivi di qualità sono stati condivisi e concordati.

D’altra parte, fallimenti ripetuti e deviazioni sistematiche dalla qualità potrebbero portare alla cancellazione del progetto. Presta attenzione ai tuoi clienti interni, e non respingere le loro lamentele.

Inoltre—presta attenzione ai cambiamenti di carico di lavoro per il team che amministra il processo. Una volta che il volume sale—il carico di lavoro sta calando come avevi previsto? La fase di controllo qualità sta prendendo più (o meno!) tempo del previsto? Il processo è sostenibile? Ora è il momento di lavorarci.


In conclusione

  • L’AI è una nuova tecnologia. Come con ogni nuova tecnologia, un approccio massimalista, tutto-o-niente al rollout porterà invariabilmente a più rischio del necessario. Sii chirurgico e intenzionale.
  • Identifica siti precisi (cioè, fasi all’interno dei processi) da automatizzare. Definisci il successo, sviluppa e lancia una soluzione, e gradualmente devia il carico di lavoro verso di essa monitorando qualità e performance.
  • Evita il vendor lock-in a tutti i costi.

Pubblicato originariamente su LinkedIn nel maggio 2024.