DevOps y MLOps: definición, funcionamiento y aplicaciones en la analítica
En la actualidad, las empresas manejan grandes volúmenes de datos, lo que hace que no sea posible manejarlos de forma manual cómo se hacía anteriormente, ya que esto implicaría una inversión inmensa de recursos humanos, técnicos y económicos para la empresa. Debido a lo anterior se ha hecho necesario el desarrollo de modelos y tecnologías que ayuden con el manejo de los datos, desarrollo de nuevos softwares y otras necesidades, entre ellas DevOps y MLOps.
¿Qué son DevOps y MLOps?
DevOps y MLOps son prácticas que ayudan a agilizar los procesos de desarrollo de software, llevan algún tiempo siendo muy importantes para las empresas. Su objetivo es realizar rápidamente los procesos de desarrollo de un software, crear un flujo entre las diferentes etapas de desarrollo y que tenga calidad.
MLOps proviene del Machine Learning Operations. Busca traer la filosofía del DvOps como lo es el desarrollo continuo, la integración de operaciones a los datos, la analítica avanzada y el BigData.
¿Cómo funcionan?
- Diseño: En primer lugar, se realiza un diseño previo, se identifica un problema de negocio y unos posibles datos que puedan ayudarnos a entender y resolver ese problema. Seguidamente, se realiza ingeniería de datos que nos ayude a obtener toda la información de mejor manera.
- Model Development: En esta fase, se realiza toda la ciencia de datos y la construcción de ese modelo de analítica avanzada. Además, permitirá resolver el problema que se identificó en la fase de diseño.
- Operaciones: Una vez esté la creación de ese modelo de analítica, hay que realizarle diferentes pruebas de rendimiento para finalmente, desplazarlo a la fase de operaciones.
Cómo se crea este flujo en el desarrollo de un software?
Primero, se deben tener en cuenta algunos de los pasos de creación de un software, como los siguientes:
1. Se deben construir los códigos y las estructuras del software.
2. A continuación, este se prueba para eventualmente lanzarlo.
3. Una vez lanzado, se lleva a operaciones en donde emplean el software para asegurarse de que este funcione correctamente y cumpla con su función.
4. Finalmente, en operaciones se realizan los feedbacks o sugerencias pertinentes y es regresado a los desarrolladores para que ellos corrijan lo que deba corregirse.
Debe existir un flujo en cada paso, esto con el fin de optimizar este software y que pueda alcanzar un estado de madurez alto.
¿Qué administra esta practica?
- Fuentes de datos y los conjuntos de datos creados a partir de estas.
- Repositorio de modelos de analítica avanzada de Machine Learning. De los cuales, es importante conocer cuáles son sus atributos, sus ventajas, sus métricas de desempeño, para conocer cual es el mejor ante cualquier situación.
- Un proceso de Machine Learning de analítica avanzada automatizado que nos permita administrar los conjuntos de datos, modelos y experimentos a través de sus ciclos.
Principios del MLOps
- Trabajo Colaborativo: Estos modelos de analítica se deben construir entre varios participantes, que cada uno de ellos tenga su rol.
- Desarrollo Continuo: Estos modelos de analítica deben tener un desarrollo cíclico, como lo mencionábamos anteriormente, un ciclo que nunca se detenga y que se realimente constantemente.
- Modelos reproducibles: La idea no es verse en la necesidad de reinventar un nuevo modelo una y otra vez. El objetivo es que, podamos contar con un gobierno de modelos de datos adecuados, y que estos, podamos emplear ante un nuevo entorno.
- Monitoreo y Pruebas: Finalmente, es muy importante que estemos monitoreando constantemente que tan eficaz es este modelo que estamos creando. Hay que revisar su correcta funcionalidad y hacer cambios pertinentes si es que se necesitan.
¿Qué tiene que ver esto con la analítica de datos?
En 2016, Gartner estimó que cerca del 60% de los proyectos que implementaban BigData y modelos de analítica avanzada tendían a fallar.
En 2017, esta cifra ascendió al 85%, lo cual, resulta extraño puesto que, en los últimos años, han surgido un sinfín de tecnologías que hacen que la construcción de modelos de analítica sea cada vez más fácil y, sin embargo, se observa esta métrica de error tan alta.
En 2021, según la encuesta de Harvard Business Review, solamente el 24% de las compañías que realizaban proyectos de analítica avanzada, calificaban los resultados de estos proyectos por encima de 7, en una escala de 1 a 10. Queriendo decir que, aún hay un grado de insatisfacción muy alto con los resultados que están arrojando estos proyectos de analítica. Asimismo, de esta problemática surge entonces un nuevo enfoque llamado MLOps.
Conclusión
Ambos son procesos de mejora continua de los procedimientos de tu empresa. Las dos buscan a partir de un trabajo cíclico y colaborativo, lograr la eficacia en el proceso de desarrollo de un software. Estos a través del uso de diferentes herramientas, buscan poder facilitar la creación e implementación de un modelo.