Snowflake (NYSE: SNOW), la compañía de IA Data Cloud, ha anunciado hoy que alojará la colección Llama 3.1 de modelos de lenguaje multilingües de código abierto (LLM) en Snowflake Cortex AI para que las empresas puedan aprovechar y crear fácilmente potentes aplicaciones de IA a escala. El lanzamiento incluye el LLM de código abierto más grande y potente de Meta, Llama 3.1 405B, con Snowflake desarrollando y abriendo el conjunto del sistema de inferencia para permitir la inferencia de alto rendimiento en tiempo real y democratizar aún más las potentes aplicaciones de procesamiento y generación de lenguaje natural. El equipo de investigación en IA de Snowflake, líder del sector, ha optimizado Llama 3.1 405B tanto para la inferencia como para el reajuste, soportando una ventana de contexto masiva de 128K desde el primer día, a la vez que permite la inferencia en tiempo real con una latencia de extremo a extremo hasta 3 veces menor y un rendimiento 1,4 veces mayor que las soluciones de código abierto existentes. Además, permite el reajuste masivo del modelo utilizando un único nodo de GPU, lo que elimina costes y complejidad para desarrolladores y usuarios, todo ello dentro de Cortex AI.
Al asociarse con Meta, Snowflake está proporcionando a los clientes formas fáciles, eficientes y fiables de acceder, ajustar y desplegar sin problemas los modelos más nuevos de Meta en la Nube de Datos de IA, con un enfoque integral de confianza y seguridad incorporado desde el inicio.
"El equipo de investigación de IA de Snowflake está abriendo un camino para que las empresas y la comunidad de código abierto puedan aprovechar modelos abiertos de última generación como Llama 3.1 405B para la inferencia y el reajuste de una manera que maximice la eficiencia", comenta Vivek Raghunathan, vicepresidente de ingeniería de IA de Snowflake. "No sólo estamos llevando los modelos de vanguardia de Meta directamente a nuestros clientes a través de Snowflake Cortex AI. Estamos armando a las empresas y a la comunidad de IA con nueva investigación y código fuente abierto que soporta ventanas de contexto de 128K, inferencia multinodo, paralelismo de canalización, cuantización de punto flotante de 8 bits y más para que pueda avanzar en IA un ecosistema más amplio."
El equipo de investigación de IA de Snowflake, líder del sector, desvela la inferencia de código abierto y el reajuste más rápidos y eficientes
El equipo de investigación de IA de Snowflake continúa ampliando los límites de las innovaciones de código abierto a través de sus contribuciones regulares a la comunidad de IA y la transparencia en torno a cómo está construyendo tecnologías LLM de vanguardia. Junto con el lanzamiento de Llama 3.1 405B, el equipo de investigación de IA de Snowflake está abriendo su conjunto de soluciones de inferencia LLM masiva y optimización del sistema de reajuste en colaboración con DeepSpeed, Hugging Face, vLLM y la comunidad de IA en general. Este avance establece un nuevo avance para los sistemas de inferencia y ajuste de código abierto para modelos con cientos de miles de millones de parámetros.
La escala masiva de los modelos y los requisitos de memoria plantean importantes retos a los usuarios que pretenden lograr una inferencia de baja latencia para casos de uso en tiempo real, un alto rendimiento para la rentabilidad y un soporte de contexto prolongado para diversos casos de uso de IA generativa de nivel empresarial. Los requisitos de memoria para almacenar los estados del modelo y la activación también dificultan enormemente el ajuste fino, y los grandes clusters de GPU necesarios para ajustar los estados del modelo para el entrenamiento suelen ser inaccesibles para los científicos de datos.
La pila de optimización del sistema de inferencia LLM masiva y ajuste fino de Snowflake aborda estos retos. Mediante el uso de técnicas avanzadas de paralelismo y optimizaciones de memoria, Snowflake permite un procesamiento rápido y eficiente de la IA, sin necesidad de una infraestructura compleja y costosa. En el caso de Llama 3.1 405B, la pila del sistema Snowflake proporciona un alto rendimiento en tiempo real en un solo nodo de la GPU y admite una enorme ventana de contexto de 128.000 en configuraciones multinodo. Esta flexibilidad se extiende tanto al hardware de última generación como al heredado, lo que lo hace accesible a una gama más amplia de empresas. Además, los científicos de datos pueden ajustar Llama 3.1 405B utilizando técnicas de precisión mixta en menos GPU, lo que elimina la necesidad de grandes clusters de GPU. Como resultado, las organizaciones pueden adaptar e implantar potentes aplicaciones de IA generativa de nivel empresarial de forma fácil, eficiente y segura.
El equipo de investigación de IA de Snowflake también ha desarrollado una infraestructura optimizada para el ajuste fino que incluye destilación de modelos, barreras de seguridad, generación aumentada de recuperación (RAG) y generación de datos sintéticos para que las empresas puedan empezar fácilmente con estos casos de uso dentro de Cortex AI.
Snowflake Cortex AI refuerza su compromiso de ofrecer una IA fiable y responsable
La seguridad de la IA es de suma importancia para Snowflake y sus clientes. Como resultado, Snowflake está haciendo que Snowflake Cortex Guard esté generalmente disponible para salvaguardar aún más contra el contenido dañino para cualquier aplicación LLM o activo construido en Cortex AI - ya sea usando los últimos modelos de Meta, o los LLMs disponibles de otros proveedores líderes incluyendo AI21 Labs, Google, Mistral AI, Reka, y el propio Snowflake. Cortex Guard aprovecha Llama Guard 2 de Meta, desbloqueando aún más la IA de confianza para que las empresas puedan asegurarse de que los modelos que están utilizando son seguros.
Comentarios sobre la noticia de clientes y socios de Snowflake
"Como líderes en el sector de la hostelería, confiamos en la IA generativa para comprender en profundidad y cuantificar temas clave dentro de nuestra plataforma de Voz del Cliente. Obtener acceso a los modelos Llama de Meta, líderes en el sector, dentro de Snowflake Cortex AI nos permite hablar más con nuestros datos y obtener las perspectivas necesarias que necesitamos para mover la aguja de nuestro negocio", dijo Dave Lindley, Sr. Director de Productos de Datos, E15 Group. Director de Productos de Datos, Grupo E15. "Estamos deseando afinar y probar Llama para impulsar la acción en tiempo real en nuestras operaciones basadas en la retroalimentación en vivo de los huéspedes".
"La seguridad y la confianza son un imperativo comercial cuando se trata de aprovechar la IA generativa, y Snowflake nos proporciona las garantías que necesitamos para innovar y aprovechar los modelos de lenguaje de gran tamaño líderes en la industria a escala", dijo Ryan Klapper, líder de IA en Hakkoda. "La potente combinación de los modelos Llama de Meta con Snowflake Cortex AI nos ofrece aún más oportunidades para dar servicio a las aplicaciones internas basadas en RAG. Estas aplicaciones permiten a nuestras partes interesadas interactuar sin problemas con bases de conocimiento internas integrales, asegurando que tengan acceso a información precisa y relevante siempre que lo necesiten".
"Al aprovechar los modelos Llama de Meta dentro de Snowflake Cortex AI, estamos dando a nuestros clientes acceso a los últimos LLM de código abierto", dijo Matthew Scullion, CEO y cofundador de Matillion. La próxima incorporación de Llama 3.1 ofrece a nuestro equipo y a los usuarios aún más opciones y flexibilidad para acceder a los grandes modelos lingüísticos que mejor se adaptan a los casos de uso y mantenerse a la vanguardia de la innovación en IA". Llama 3.1 dentro de Snowflake Cortex AI estará disponible inmediatamente con Matillion el día del lanzamiento de Snowflake".
"Como líder en el espacio de compromiso con el cliente y plataforma de datos de clientes, los clientes de Twilio necesitan acceso a los datos correctos para crear el mensaje correcto para la audiencia correcta en el momento adecuado", dijo Kevin Niparko VP, Estrategia de Producto y Tecnología, Twilio Segment. La capacidad de elegir el modelo adecuado para su caso de uso dentro de Snowflake Cortex AI permite a nuestros clientes comunes generar perspectivas inteligentes basadas en IA y activarlas fácilmente en herramientas posteriores". En una era de rápida evolución, las empresas necesitan iterar rápidamente sobre conjuntos de datos unificados para impulsar los mejores resultados".
Más información:
● Las empresas interesadas en destilar Llama 3.1 405B para sus casos de uso específicos y obtener apoyo adicional del equipo de investigación de IA de Snowflake pueden rellenar este formulario.
● Encontrará más información sobre cómo empezar a utilizar Llama 3.1 405B y Snowflake Cortex AI en esta guía de inicio rápido.
● Haga doble clic en las diversas formas en que los desarrolladores pueden aprovechar Llama 3.1 405B dentro de Snowflake Cortex AI en esta entrada de blog.
● Sumérjase en los detalles técnicos de cómo el equipo de investigación de IA de Snowflake está haciendo posible una inferencia eficiente y rentable, junto con el ajuste fino de modelos masivos de varios cientos de miles de millones de parámetros.
● Obtenga más información sobre la innovación continua del equipo de investigación de IA de Snowflake y conozca a los expertos que impulsan el futuro de la IA en el centro de investigación de IA.
● Manténgase al día de las últimas noticias y anuncios de Snowflake en LinkedIn y Twitter / X.
Declaraciones sobre previsiones
Este comunicado de prensa contiene declaraciones expresas e implícitas sobre previsiones de futuro, incluidas las declaraciones relativas a (i) la estrategia empresarial de Snowflake, (ii) los productos, servicios y ofertas tecnológicas de Snowflake, incluidos los que están en fase de desarrollo o no están disponibles de forma general, (iii) el crecimiento del mercado, las tendencias y las consideraciones competitivas, y (iv) la integración, interoperabilidad y disponibilidad de los productos de Snowflake con y en plataformas de terceros. Estas declaraciones sobre previsiones están sujetas a una serie de riesgos, incertidumbres y suposiciones, incluidos los descritos bajo el título "Factores de riesgo" y en otras partes de los Informes Trimestrales en el Formulario 10-Q y los Informes Anuales en el Formulario 10-K que Snowflake presenta ante la Comisión de Bolsa y Valores. A la luz de estos riesgos, incertidumbres y suposiciones, los resultados reales podrían diferir material y adversamente de los previstos o implícitos en las declaraciones de previsiones. En consecuencia, no debe confiar en ninguna de las declaraciones de previsiones como predicción de acontecimientos futuros.
2024 Snowflake Inc. Todos los derechos reservados. Snowflake, el logotipo de Snowflake y todos los demás nombres de productos, funciones y servicios de Snowflake aquí mencionados son marcas comerciales registradas o marcas comerciales de Snowflake Inc. en Estados Unidos y otros países. Todos los demás nombres de marcas o logotipos mencionados o utilizados en el presente documento tienen únicamente fines de identificación y pueden ser marcas comerciales de sus respectivos titulares. Snowflake no puede estar asociada, patrocinada ni avalada por ninguno de dichos titulares.