Escalando la IA Generativa en las Empresas

4 June, 2024 |

La etapa de prueba, error y aprendizaje con la IA Generativa ha terminado. Los CIOs ahora buscan escalar la implementación de estas soluciones para obtener una ventaja competitiva real en el mercado. Sin embargo, muchos se encuentran con obstáculos que les impiden alcanzar su máximo potencial.

Los factores que pueden frenar el avance de la IA Generativa pueden englobarse en categorías que son compartidas entre organizaciones, pero la búsqueda de soluciones para los mismos debe realizarse mediante un análisis de necesidades únicas.

Scaling Up Generative AI

Comenzando por la toma de postura

El primer punto por considerar es la postura que tomará la empresa respecto de cómo abordará la incorporación de estas nuevas herramientas. Las posibilidades serán tres: el uso de herramientas preexistentes, la integración de modelos con datos propios o bien tomar el control completo y embarcarse en la construcción de LLMs.

Los principales factores a considerar al momento de decidir cómo abordar la incorporación de la IA generativa son:

  • Recursos y presupuesto disponibles: El uso de herramientas preexistentes es la opción más económica y rápida, pero ofrece menos control y personalización. Integrar modelos con datos propios implica invertir en infraestructura y talento. Construir LLMs desde cero requiere una inversión muy grande en recursos computacionales, talento de vanguardia y tiempo de desarrollo.
  • Necesidades y casos de uso específicos: Si sólo se requieren tareas genéricas, las herramientas existentes pueden ser suficientes. Pero si se necesita IA generativa muy especializada y personalizada para los productos/servicios core del negocio, construir soluciones a medida será más valioso a largo plazo.
  • Propiedad de datos y cumplimiento normativo: Para sectores altamente regulados o que manejan datos sensibles, integrar modelos con datos propios o construir soluciones internas puede ser obligatorio por cuestiones de privacidad y cumplimiento.
  • Estrategia de IA a largo plazo: Si la IA es sólo una herramienta más, herramientas preexistentes pueden bastar. Pero si se quiere desarrollar una ventaja competitiva basada en IA, será necesario construir capacidades internas diferenciales.

La empresa FinanceCorp decidió inicialmente utilizar herramientas de IA generativa de propósito general para tareas como redacción y resúmenes. Sin embargo, al intentar aplicarlas a casos financieros complejos como análisis de riesgos y contratos, rápidamente vieron las limitaciones. Tuvieron que avanzar hacia una solución de modelos personalizados con datos propios para obtener el rendimiento requerido.

Tomando las riendas de la IA Generativa

En segundo lugar, y esto surge del aprendizaje obtenido en las pruebas piloto, será crucial evitar el exceso de plataformas y herramientas. En una encuesta reciente de McKinsey, de hecho, los encuestados citaron “demasiadas plataformas” como el principal obstáculo tecnológico para implementar la IA generativa a escala. Cuantas más infraestructuras y herramientas, mayor es la complejidad y el costo de las operaciones, lo que a su vez hace que los despliegues a escala sean inviables. Para llegar a escala, las empresas necesitan un conjunto manejable de herramientas e infraestructuras.

Una posible solución sería establecer una plataforma de IA generativa empresarial centralizada y de fuente única. Si bien esto implica un esfuerzo inicial de estandarización, a mediano plazo permitirá reducir drásticamente la complejidad operativa, los costos de mantenimiento múltiple y los riesgos asociados. Facilitará también el despliegue consistente y escalable de la IA generativa en toda la empresa. Un enfoque híbrido con participación interna y externa puede ser la mejor ruta. Aliarse con un partner tecnológico líder que provea la base de una plataforma sólida y robusta de IA generativa. Pero conformar un equipo interno de talento en ciencia de datos, ingeniería de IA, etc. que pueda personalizar, extender y hacer crecer esta plataforma según los requerimientos específicos del negocio.

Luego de pilotos con 7 diferentes proveedores de IA generativa, el banco HSBC se encontró con altos costos de mantenimiento, problemas de gobernanza y complejidades de integración. Decidieron entonces unificar todo en la plataforma de Microsoft y estandarizar APIs, flujos de datos, monitoreo, etc. Esto les permitió reducir más del 60% de sus costos operativos de IA.

Atravesando con éxito la fase de aprendizaje

Por último, pero siendo uno de los factores más influyentes, se encuentra la temida curva de aprendizaje. Si bien los CIOs conocen las habilidades técnicas de IA Generativa necesarias, como el ajuste fino de modelos, la administración de bases de datos vectoriales, la ingeniería de solicitudes y la ingeniería de contexto, atravesar por esta etapa de toma de conocimiento puede resultar una montaña rusa no apta para cardíacos. Desarrollar internamente todas las habilidades especializadas desde cero puede ser extremadamente desafiante y lento. Incluso con una curva de aprendizaje acelerada, se requerirían meses para que un equipo interno alcance un buen nivel de madurez.

El retail GiganteCorp destinó un presupuesto de $15 millones para conformar un equipo de élite de 50 científicos e ingenieros de datos con experiencia comprobada en ajuste de modelos de lenguaje de última generación, ingeniería de solicitudes, bases de conocimiento vectoriales, etc. Sin embargo, sólo lograron cubrir el 40% de los puestos en un año debido a la alta demanda en el mercado por estos perfiles.

La falta de experiencia previa y la necesidad de dominar nuevas tecnologías emergentes pueden hacer que la implementación de IA Generativa parezca una tarea desalentadora. Sin embargo, al asociarse con un socio tecnológico experimentado, las empresas pueden superar estos desafíos y aprovechar al máximo el potencial de la IA Generativa para transformar sus operaciones.

Tras varios intentos fallidos de desarrollar modelos de IA generativa propios, la firma legal BigLaw se asoció con expertos de Anthropic. Su asesoramiento en mejores prácticas, benchmarking, refinamiento iterativo y pruebas exhaustivas permitió que el sistema de revisión de contratos superara el 95% de precisión en menos de 6 meses, un 30% más que los intentos previos.

Un partner especializado en IA generativa puede y debería continuar brindando servicios de consultoría y soporte continuos, incluso una vez que se hayan implementado las capacidades iniciales en la empresa. Inevitablemente surgirán desafíos, cuellos de botella o requerimientos muy específicos a medida que se despliegue y escale el uso de IA generativa. Poder recurrir al “conocimiento profundo” de los consultores expertos puede ser clave para resolverlos eficazmente.

Los modelos de IA generativa desplegados por la fintech Novo inicialmente arrojaban excelentes resultados en tareas como detección de fraude y soporte al cliente. Sin embargo, luego de 8 meses comenzaron a observarse degradaciones en el rendimiento a medida que los datos variaban. Tuvieron que implementar tuberías de reentrenamiento y reciclaje de datos continuos para mantener los niveles de precisión.

En conclusión, los sistemas de IA generativa no son proyectos de una sola vez, requieren refinamiento y actualización continuos. Es clave adoptar un mindset de prueba, aprendizaje y mejora constantes en base a retroalimentación y datos empíricos.

Francisco FerrandoGet in Touch!
Francisco Ferrando
Business Development Representative
fferrando@huenei.com