Tres cosas que los CIO pueden hacer para que la IA genere sostenibilidad

Tanto si la IA cumple sus promesas a largo plazo como si no, los directores de sistemas de información obligados a contabilizar todo su impacto en las emisiones de carbono ahora tienen que incluir el impacto de la IA en sus informes de alcance 3, y eso se complica muy rápidamente. Por ejemplo, si ejecuta la inferencia con un modelo que ha sido entrenado por otra persona, debe informar sobre su parte del impacto de CO₂. El proveedor puede indicarle el coste total de la formación, pero nadie sabe cómo repartir ese coste entre todos los usuarios a lo largo de la vida útil del modelo.

“Nada de esto está claro todavía, porque los informes de alcance 3 son nuevos y la IA generativa también”, afirma Niklas Sundberg, director de la Oficina Digital y vicepresidente senior de la empresa suiza de transporte y logística global Kuehne+Nagel. Sundberg sabe tanto como nadie sobre los informes de alcance 3 y trata el tema en su libro Sustainable IT playbook for technology leaders.

A pesar de las ambigüedades, los responsables de TI siguen adelante con la IA. Por el camino, algunos han descubierto tres cosas que pueden hacer para mitigar el impacto en sus propias iniciativas de sostenibilidad. Las comparten aquí.

1. Utilizar un gran proveedor para optimizar la utilización

“Ya somos usuarios avanzados de IA, y una de las cosas que recomendamos es utilizar la IA, especialmente la inferencia, a través de proveedores que hayan compartido entornos de inferencia de IA bajo demanda”, dice Elwin. Esto tiene sentido porque cuantas más personas utilicen un servicio de nube pública, mayores serán las tasas de utilización. La mejora en el uso de recursos para ejecutar aplicaciones de IA que consumen mucha energía podría marcar la diferencia en la huella de carbono global de su organización.

Los CIO pueden ir un paso más allá haciendo una lista de preguntas a los proveedores, empezando por cómo entrenan sus modelos y cómo se ejecuta la inferencia. “Si sólo se compran servicios de inferencia, hay que preguntarles cómo pueden tener en cuenta todo el impacto previo”, dice Tate Cantrell, director técnico de Verne, una empresa con sede en el Reino Unido que ofrece soluciones de centros de datos para empresas e hiperescaladores. “La salida de la inferencia tarda una fracción de segundo. Pero la única razón por la que esos pesos dentro de la red neuronal son como son es la enorme cantidad de entrenamiento -potencialmente uno o dos meses de entrenamiento a algo así como 100 a 400 megavatios- para conseguir que la infraestructura sea como es. Entonces, ¿cuánto de eso hay que cobrar?”.

Verne

Cantrell insta a los CIO a preguntar a los proveedores sobre sus propios informes. “¿Informan abiertamente sobre el impacto de sus servicios desde el punto de vista de la sostenibilidad? ¿Cuánto dura el proceso de formación, durante cuánto tiempo es válido y a cuántos clientes ha repercutido ese peso?”.