10 cosas a tener en cuenta con la IA generativa de código abierto

En cambio, dice, es más probable que la gente considere las API y las interfaces de los principales proveedores, como OpenAI, como normas de facto incipientes. “Eso es lo que estoy viendo que hace la gente”, asegura.

8. Falta de transparencia

Se podría pensar que los modelos de código abierto son, por definición, más transparentes. Pero no siempre es así. Los grandes proyectos comerciales pueden disponer de más recursos para crear documentación, afirma Eric Sydell, director general de Vero AI, proveedor de software de BI, que acaba de publicar un informe en el que puntúa los principales modelos de IA de género en función de aspectos como la visibilidad, la integridad, la preparación legislativa y la transparencia. Gemini, de Google, y GPT-4, de OpenAI, obtuvieron las mejores puntuaciones.

“El hecho de que sean de código abierto no significa necesariamente que ofrezcan la misma información sobre los antecedentes del modelo y cómo se ha desarrollado”, afirma Sydell. “Los modelos comerciales más grandes han hecho un mejor trabajo en este sentido”.

Por ejemplo, el sesgo.

“Descubrimos que los dos mejores modelos cerrados de nuestro ranking tenían bastante documentación e invertían tiempo en explorar el tema”, dice.

9. Problemas de linaje

Es habitual que los proyectos de código abierto se bifurquen, pero cuando esto ocurre con la IA generativa, se corren riesgos que no se dan con el software tradicional. Digamos, por ejemplo, que un modelo básico utiliza un conjunto de datos de entrenamiento problemático y, a partir de él, alguien crea un nuevo modelo, por lo que heredará estos problemas, dice Tyler Warden, vicepresidente senior de producto en Sonatype, un proveedor de ciberseguridad.

“Hay muchos aspectos de caja negra con los pesos y los giros”, afirma.

De hecho, esos problemas pueden ir varios niveles más atrás y no serán visibles en el código del modelo final. Cuando una empresa descarga un modelo para su propio uso, el modelo se aleja aún más de las fuentes originales. El modelo base original podría haber solucionado los problemas, pero, dependiendo de la transparencia y la comunicación hacia arriba y hacia abajo en la cadena, los desarrolladores que trabajan en el último modelo podrían ni siquiera ser conscientes de las correcciones.

10. La nueva TI en la sombra

Las empresas que utilizan componentes de código abierto como parte de su proceso de desarrollo de software cuentan con procesos para examinar las bibliotecas y asegurarse de que los componentes están actualizados. Se aseguran de que los proyectos están bien respaldados, de que se resuelven los problemas de seguridad y de que el software tiene las condiciones de licencia adecuadas.

Sin embargo, en el caso de la IA generativa, es posible que las personas encargadas de la investigación no sepan qué buscar. Además, los proyectos de IA generativa a veces quedan fuera de los procesos estándar de desarrollo de software. Pueden surgir de equipos de ciencia de datos o de skunkworks. Es posible que los desarrolladores descarguen los modelos para jugar con ellos y acaben generalizándose. O los propios usuarios de las empresas pueden seguir tutoriales en línea y crear su propia IA genérica, sin pasar por TI.

La última evolución de la IA generativa, los agentes autónomos, tienen el potencial de poner un enorme poder en manos de estos sistemas, elevando el potencial de riesgo de este tipo de TI en la sombra a nuevas cotas.

“Si vas a experimentar con ello, crea un contenedor para hacerlo de una manera que sea segura para tu organización”, dice Kelley Misata, director senior de Código Abierto en Corelight. Esto debería ser responsabilidad del equipo de gestión de riesgos de una empresa, dice, y la persona que se asegura de que los desarrolladores, y la empresa en su conjunto, entiendan que existe un proceso es el CIO.

“Son los mejor situados para establecer la cultura”, afirma. “Aprovechemos la innovación y toda la grandeza que ofrece el código abierto, pero vayamos con los ojos abiertos”.

¿Lo mejor de los dos mundos?

Algunas empresas buscan el bajo coste, la transparencia, la privacidad y el control del código abierto, pero les gustaría contar con un proveedor que se encargue de la gobernanza, la sostenibilidad a largo plazo y la asistencia. En el mundo tradicional del código abierto, hay muchos proveedores que lo hacen, como Red Hat, MariaDB, Docker, Automattic y otros.

“Proporcionan un nivel de seguridad y protección para las grandes empresas”, dice Priya Iragavarapu, vicepresidente de Ciencia de Datos y Análisis en AArete. “Es casi una forma de mitigar el riesgo”.

No hay demasiados de estos proveedores en el espacio de la IA generativa, pero las cosas están empezando a cambiar, concluye.