I costi della gen AI crescono? Ecco come tenerli sotto controllo

“Bisognava configurarlo”, dice. “E il calcolo necessario per eseguire un modello da 70 miliardi è significativo. L’abbiamo configurato noi stessi, abbiamo fatto il provisioning di un server, abbiamo distribuito il modello e poi c’è stato l’utilizzo in aggiunta”.

Azure offre ora un’opzione pay-as-you-go in cui i clienti pagano solo i costi del token, ma per le aziende che cercano di implementare modelli on-premise, i costi di configurazione esistono ancora.

“In un mondo ideale, questo sarebbe lo scenario migliore, perché non si è più vincolati dai costi dei token”, sostiene. “L’unico da pagare è quello dell’infrastruttura. Ma deve comunque disporre della capacità di calcolo e di altri elementi, come la rete”.

I costi di supervisione

Quando l’intelligenza artificiale viene trasferita in produzione, un altro costo inaspettato potrebbe essere quello relativo alla necessaria supervisione. Molti sistemi richiedono l’intervento di persone o costose protezioni tecniche per verificare l’accuratezza, ridurre il rischio o per motivi di conformità.

“Non credo che ci aspettassimo che le normative arrivassero così presto”, si sorprende Sreekanth Menon, globale head dell’AI di Genpact. “Una volta che l’intelligenza artificiale generativa è entrata in scena, è diventata un argomento di punta della leadership, e tutti i governi si sono svegliati e hanno detto che abbiamo bisogno di regolamenti”.

La legge dell’UE è già in vigore e negli Stati Uniti si sta lavorando. “Ora le aziende devono tener conto di questo aspetto nello sviluppo dell’AI, e questo è un costo”, rileva. Ma le normative non sono una cosa negativa, aggiunge. “Abbiamo bisogno di norme affinché le decisioni dell’AI siano buone ed eque”, precisa.

Anche aggiungere la conformità alle normative dopo che i sistemi sono stati costruiti è costoso, ma le aziende possono pianificare in anticipo mettendo in atto buoni sistemi di governance dell’intelligenza artificiale. Garantire la sicurezza dei modelli di gen AI e dei sistemi associati è un altro costo a cui le aziende potrebbero non essere preparate. Eseguire un test di produzione su piccola scala non solo aiuterà le imprese a identificare i problemi di conformità e di sicurezza, ma le aiuterà a calcolare meglio altri costi accessori, come quelli associati a infrastrutture aggiuntive, ricerca, database, API e altro ancora. “Pensare in grande, testare in piccolo e scalare rapidamente”, dice.

L’AI si estende a macchia d’olio

In passato, con l’AI tradizionale, potevano essere necessari uno o due anni di sperimentazione prima che un modello fosse pronto per l’uso, ma i progetti di intelligenza artificiale generativa si muovono rapidamente.

“I modelli di base disponibili oggi consentono alle aziende di pensare rapidamente ai casi d’uso”, avverte Menon. “Ora siamo in una fase in cui possiamo pensare a un esperimento e poi passare rapidamente alla produzione”. Suggerisce alle aziende di trattenersi dal realizzare tutti i progetti di AI in una volta sola, e di prevedere, invece, un meccanismo di costi e obiettivi chiari per ogni progetto e iniziare in piccolo, scalare con saggezza e investire continuamente nell’aggiornamento professionale.

“L’aggiornamento è un costo, ma vi aiuterà a risparmiare su altri”, afferma.

Matthew Mettenheimer, direttore associato di S-RM Intelligence and Risk Consulting, sostiene di vedere spesso una dispersione di gen AI all’interno delle aziende.

“Un CIO o un consiglio di amministrazione che vuole abilitare l’intelligenza artificiale in tutta l’azienda, deve tener conto di dover affrontare un bel po’ di spesa e sperimentare diversi di casi d’uso”, chiarisce.

Per esempio, S-RM ha lavorato, di recente, con un grande produttore di beni di consumo che ha deciso di spingere l’abilitazione dell’AI nella sua azienda senza prima costruire una struttura di governance. “E ogni singolo reparto si è scatenato e ha iniziato a cercare di implementare l’AI generativa”, racconta. “C’erano contratti che si sovrapponevano con strumenti diversi per le varie parti dell’impresa e, di conseguenza, la spesa ha iniziato a gonfiarsi. Il reparto marketing utilizzava uno strumento, il team IT un altro. Anche all’interno dello stesso reparto, i diversi team facevano uso di tool diversi”.

Di conseguenza, l’azienda pagava per servizi simili più e più volte, con ogni gruppo che aveva i propri contratti, e difettava dell’efficienza dche deriva dal fare le cose in scala. E le persone ricevevano abbonamenti a prodotti di gen AI che non sapevano come utilizzare.

“C’erano molte grandi intenzioni e idee a metà”, ricorda. Di conseguenza, c’è stato un aumento massiccio della spesa IT, dice. Le aziende devono iniziare a capire dove la gen AI può davvero avere un impatto e costruire i loro progetti passo dopo passo, in modo sostenibile, piuttosto che andare a comprare il più possibile. Alcune aree di particolare preoccupazione, in cui le imprese potrebbero voler trattenere la spesa, sono i casi d’uso che comportano un’elevata responsabilità per l’azienda.

“Per esempio, una compagnia assicurativa che utilizza l’intelligenza artificiale per determinare se una richiesta di risarcimento sarà pagata o meno potrà ritrovarsi in una situazione di difficoltà se il meccanismo dell’AI non è stato utilizzato o calibrato correttamente”, avverte Mettenheimer. Invece, potrà dare priorità a tutti quei casi in cui i lavoratori possono essere liberati per gestire compiti più complessi.

“Se una persona passa cinque ore alla settimana ad aggiornare lo stesso foglio di calcolo e questo tempo può essere ridotto a zero ore alla settimana sarà libera per essere più produttiva”, aggiunge. Ma se il controllo del prodotto di lavoro dell’AI richiede tanto tempo quanto ne fa risparmiare, il meccanismo non risuklterà efficiente.

“L’AI generativa è uno strumento davvero potente e incredibile, ma non è magica”, osserva. “C’è l’idea sbagliata che l’intelligenza artificiale sarà in grado di fare tutto senza bisogno di processi manuali o di convalida umana, ma non siamo ancora a quel punto”.

Raccomanda inoltre di non realizzare progetti di AI quando esistono già valide soluzioni non AI.

“Conosco alcuni casi in cui le persone vogliono usare l’intelligenza artificiale per avere la sensazione di ottenere un vantaggio competitivo e poter dire che stanno usando l’AI per il loro prodotto”, racconta. “Quindi la includono, ma non ottengono alcun beneficio, se non quello di dire che la stanno usando”.

I dirigenti di alto livello sono ansiosi di iniziare a lavorare sulla gen AI, afferma Megan Amdahl, SVP per le relazioni con i partner e per le operation della società Insight.

“Ma senza una destinazione precisa in mente, possono spendere molto tempo in cicli che non raggiungono i risultati sperati”, chiarisce. Per esempio, creare casi circoscritti che migliorano l’efficienza di un numero ridotto di persone può sembrare un ottimo progetto, ma se non c’è modo di espanderlo, è facile che ci si ritrovi con un mare di soluzioni puntuali, ma nessuna delle quali produce un reale impatto positivo sull’azienda.

“Qui a Insight, stavamo selezionando il team da seguire per migliorare il feedback dell’help desk”, rivela. Un caso d’uso importante riguardava una squadra di 50 persone che controllava lo stato degli ordini dei clienti. Tuttavia, non solo il team era piccolo, ma le persone si trovavano in località a basso costo. Migliorare la loro efficienza con l’AI avrebbe avuto un certo impatto, ma non significativo. Un altro team sottoposto ad analisi era quello deputato a creare le distinte dei materiali per i clienti, ed era molto più grande. “Ci siamo concentrati sulle dimensioni del team, che era di 850 persone, in modo da avere un impatto più ampio”, aggiunge.

Oltre a selezionare i progetti capaci di generare l’impatto più ampio possibile, la manager raccomanda anche di cercare quelli che hanno un ambito più ristretto, per quanto riguarda i requisiti dei dati. Prendiamo per esempio un assistente di help desk gestito dalla gen AI.

“Non cercare ogni tipo di domanda che l’azienda può ricevere”, dice. “Restringi il campo e monitora le risposte che ricevi. In questo modo si riduce anche la quantità di dati da raccogliere”.

L’organizzazione dei dati è una sfida importante per le aziende che impiegano l’AI, ed è anche costosa. I dati devono essere puliti e in un formato strutturato per ridurre l’imprecisione. L’esperta consiglia alle aziende che stanno cercando di decidere quali progetti di intelligenza artificiale realizzare per primi, di considerare quelli che si concentrano sulla generazione di ricavi, sulla riduzione dei costi e sul miglioramento dell’affinità con il proprio marchio.