Come misurare il valore reale di un programma IA

I programmi di IA rendono spesso conto del numero di utenti, delle licenze attive, dei contenuti prodotti o di una stima delle ore risparmiate. Queste cifre descrivono un’attività; non provano un valore per l’impresa.

Il valore esiste quando l’IA cambia un risultato che conta: volume trattato, tempi, qualità, rischio, ricavi, costi, capacità o qualità delle decisioni. Misurarlo richiede un punto di partenza e un legame credibile tra ciò che è stato introdotto e ciò che è cambiato. Questo articolo si rivolge alle direzioni che guidano più progetti; per un primo utilizzo in una PMI basta la guida al ritorno sull’investimento.

Descrivere il meccanismo prima di misurare

Partite dal vincolo operativo, non dalla tecnologia. Una descrizione utile si riassume in quattro elementi:

1. il processo in cui interviene la soluzione;
2. il meccanismo: che cosa cambia nel modo di lavorare;
3. il risultato: quale misura deve migliorare;
4. la traduzione economica: perché questo risultato conta dal punto di vista finanziario o strategico.

Esempio: un accesso migliore a una documentazione tecnica approvata riduce le diagnosi rifatte, accorcia i tempi di risoluzione e libera gli esperti per le pratiche difficili.

Tra l’attività e il valore la catena è più lunga di quanto si creda: si apre un accesso; la persona cambia il suo modo di fare; il compito si svolge diversamente; il processo produce un altro risultato; questo risultato ha un effetto finanziario; una parte di questo effetto viene davvero colta dall’impresa. Un assistente che fa risparmiare tempo nel ritrovare una clausola crea valore solo se quel tempo viene reimpiegato, se la qualità della clausola regge e se il lavoro non si sposta semplicemente sulla rilettura.

Misurare prima di mettere in servizio

Misurate il processo attuale a partire dai dati dei programmi, completati da un campione quando sono incompleti: volume, tempo per fase, attese, lavoro rifatto, casi rinviati a un livello superiore, errori, qualità, sforzo degli utenti. Documentate l’incertezza: una forchetta difendibile vale più di una cifra precisa costruita su ipotesi fragili.

Tre livelli di indicatori

Non mescolate i livelli: altrimenti ogni team finisce per presentare quello che gli conviene.

• Gli indicatori di utilizzo dicono se il meccanismo si sta affermando: utenti interessati che lo usano, quota dei compiti coperti, uso ripetuto, tasso di correzioni. Un tasso di correzioni alto è normale durante un progetto pilota supervisionato; preoccupa se poi non scende.
• Gli indicatori di processo dicono se il modo di lavorare è cambiato: tempi, attese, passaggi di consegne, lavoro rifatto, eccezioni, sforzo umano per pratica. È spesso qui che un vero cambiamento si vede per primo.
• Gli indicatori di risultato dicono se il risultato dell’impresa si è mosso: costo per pratica, volume trattato, capacità liberata, soddisfazione dei clienti, perdite evitate, ricavi. Sono più lenti e più disturbati da altri fattori, ma sono quelli che un comitato d’investimento si aspetta.

Per ogni indicatore annotate un responsabile, una definizione, la fonte, la frequenza, il periodo di riferimento, l’obiettivo e i fattori che possono falsare la lettura.

Valore lordo, netto ed effettivamente ottenuto

L’errore più frequente è trattare il tempo guadagnato in teoria come se fosse denaro. Distinguete tre livelli:

Cinquecento ore liberate in un team senza lavoro arretrato, senza assunzioni evitate e senza un piano per riassegnarle sono un valore lordo, poco di più. Al contrario, un miglioramento della qualità che evita di perdere un cliente può valere molto anche se il tempo guadagnato è poco.

Una prova commisurata alla decisione

Non tutte le iniziative richiedono un esperimento controllato. Una prova interna poco costosa può accontentarsi di un confronto prima e dopo, con i limiti messi per iscritto. Un cambiamento organizzativo importante merita un gruppo di controllo, un’introduzione per tappe o una prova controllata su compiti.

Seguite almeno il volume, gli effettivi, la stagionalità, gli altri cambiamenti del processo e la versione dello strumento. Suddividete i risultati per tipo di pratica: un miglioramento medio può nascondere un guadagno sui casi semplici e un peggioramento su quelli complessi, e la decisione deve seguire il dettaglio, non la media. Completate con l’osservazione: esaminate un campione di successi, insuccessi e correzioni, e chiedete agli utenti quale lavoro è sparito e quale lavoro di rilettura è comparso.

Soglie per estendere, adattare o fermare

Fissate in anticipo, queste soglie evitano due errori: estendere uno strumento popolare che non rende nulla, e abbandonare un buon meccanismo perché la sua prima attuazione era debole.

Decidere ogni mese

La misura diventa utile quando cambia ciò che fa il portafoglio. Una revisione mensile può stare in una pagina per iniziativa:

1. valore annuo al ritmo attuale, confrontato con la previsione;
2. indicatori di utilizzo, di processo e di risultato;
3. qualità, controlli e incidenti;
4. costo completo e costo per pratica trattata;
5. grado di fiducia e limiti dell’attribuzione;
6. raccomandazione: estendere, adattare, fermare o attendere;
7. la prossima prova e la data della prossima decisione.

Tre domande scomode da porre a ogni revisione: che cosa avremmo constatato senza lo strumento? Quale risultato si è mosso nel processo mirato, e non altrove? Quale prova ci farebbe fermare? Se il team non sa rispondere, il dispositivo misura ancora attività.

Un esempio, senza scorciatoie

Prendiamo un servizio che tratta 1’200 pratiche al mese, in 42 minuti in media, con il 12 % di pratiche rifatte. Un aiuto alla ricerca e alla redazione riduce il tempo di redazione, ma il team deve comunque rileggere. L’analisi corretta non moltiplica i minuti annunciati per il volume annuo.

Verifica prima che i tempi calino, che le pratiche rifatte diminuiscano, che il carico di rilettura non aumenti e che la qualità del servizio regga. Poi valorizza solo lo scarto duraturo: lavoro arretrato assorbito, meno personale interinale, più pratiche trattate a parità di effettivi. Sottrae i costi di piattaforma, integrazione, rilettura ed esercizio. Infine indica una forchetta di fiducia e la condizione in cui il beneficio scompare.

Questo rigore non rende il dossier più piccolo: lo rende finanziabile. La direzione finanzia un meccanismo che capisce, i team possono migliorarlo e l’impresa può fermarlo quando le prove non seguono più.

Come possiamo aiutarvi

Mettiamo in piedi questo dispositivo di misura (misure iniziali, indicatori, revisione mensile) nell’ambito dell’Accompagnamento IA, a prezzo fisso su preventivo o in abbonamento, per almeno tre mesi. Quando la misura richiede di strumentare un agente o un’integrazione, entra in gioco l’offerta Engineering IA. Il modo di integrare queste decisioni in un portafoglio è descritto in come costruire una tabella di marcia IA.