Como parte de la versión preliminar privada, nos centraremos en proporcionar acceso en línea con nuestros principios de facilidad, eficiencia y confianza.
● El modelo está disponible en versión preliminar privada para inferencia sin servidor, tanto por lotes (función SQL) como interactiva (Python y REST API). Para solicitar acceso durante la vista previa, póngase en contacto con su equipo de ventas. El modelo estará disponible solo en la cuenta solicitada.
● El modelo se aloja en Estados Unidos, dentro del perímetro de servicio de Snowflake. No compartimos datos con el proveedor del modelo.
● Una vez que el modelo esté disponible de forma general, los clientes podrán gestionar el acceso al mismo mediante el control de acceso basado en roles (RBAC). Los administradores de cuentas podrán restringir el acceso seleccionando los modelos aprobados según las políticas de gobernanza.
Snowflake Cortex AI
Snowflake Cortex AI es un conjunto de funciones y servicios integrados que incluyen inferencia LLM completamente gestionada, ajuste fino y RAG (Recuperación Aumentada Generativa) para datos estructurados y no estructurados, lo que permite a los clientes analizar rápidamente datos no estructurados junto con sus datos estructurados y acelerar la creación de aplicaciones de IA. Los clientes pueden acceder a LLM líderes en la industria, tanto de código abierto como propietarios, e integrarlos fácilmente en sus flujos de trabajo y aplicaciones. Snowflake ha adoptado el ecosistema de código abierto con la compatibilidad con múltiples LLM de Meta, Mistral y Snowflake. Creemos que este acceso abierto y la colaboración allanarán el camino para una innovación acelerada en este espacio.
DeepSeek-R1
Según el post de DeepSeek en GitHub, aplicaron directamente el aprendizaje por refuerzo al modelo base sin depender del ajuste fino supervisado como paso preliminar. Este enfoque permitió que el modelo explorara la cadena de pensamiento (CoT) para resolver problemas complejos, lo que resultó en el desarrollo de DeepSeek-R1-Zero. Mencionan además que el modelo inicial demostró capacidades como la autoverificación, la reflexión y la generación de CoT largas, pero encontró desafíos como la repetición sin fin, la poca legibilidad y la mezcla de idiomas. Para abordar estos problemas, el equipo de DeepSeek describe cómo incorporaron datos de arranque en frío antes del RL para mejorar el rendimiento del razonamiento.
El equipo implementó entrenamiento FP8 de baja precisión y una estrategia de balanceo de carga sin pérdida auxiliar, lo que llevó a un rendimiento de vanguardia con costes computacionales de entrenamiento significativamente reducidos.
Uso de DeepSeek-R1 en Cortex AI
Con Snowflake Cortex AI, acceder a grandes modelos lingüísticos es sencillo. No tiene que gestionar integraciones ni claves de API. Los controles de gobernanza se pueden implementar de forma coherente en datos e IA. Puede acceder a los modelos en una de las regiones que cuentan con soporte. Además, puede acceder desde otras regiones con la inferencia entre regiones habilitada. Puede habilitar Cortex Guard para filtrar respuestas potencialmente inapropiadas o inseguras. Las barreras de seguridad refuerzan la gobernanza al aplicar políticas alineadas para filtrar contenido dañino.
SQL y Python
El modelo se puede integrar en un pipeline de datos o una aplicación Streamlit en Snowflake para procesar varias filas de una tabla. La función COMPLETE, accesible tanto en SQL como en Python, se puede utilizar para esta integración. Dentro de la función COMPLETE de Cortex AI que se utiliza para aplicaciones de inferencia LLM, simplemente agregue "guardrails: true" para filtrar el contenido dañino. Además, puede acceder a los modelos DeepSeek desde un Snowflake Notebook o su IDE preferido utilizando OAuth para clientes a medida. Acceda a plantillas adicionales y detalles sobre cómo usar la función SQL en este enlace o aprenda sobre la sintaxis en Python en este otro.
Una vez que active Cortex Guard, las respuestas del modelo de lenguaje asociadas con contenido dañino, como delitos violentos, odio, contenido sexual, autolesiones y otros, se filtrarán automáticamente y el modelo devolverá el mensaje "Respuesta filtrada por Cortex Guard". Para obtener más información sobre la perspectiva de Snowflake sobre la seguridad de la IA, lea nuestro white paper sobre nuestro Marco de seguridad de la IA.
REST API
Para permitir que los servicios o aplicaciones que se ejecutan fuera de Snowflake realicen llamadas de inferencia de baja latencia a Cortex AI, la interfaz de la REST API es el camino a seguir.
¿Qué es lo siguiente?
Según DeepSeek, este es el primer modelo de código abierto que demuestra que las capacidades de razonamiento de los LLM se pueden incentivar únicamente a través de RL, sin la necesidad de SFT. Cortex AI proporciona una fácil integración a través de funciones SQL y REST API, y Cortex Guard permite a los clientes implementar los controles de seguridad necesarios. El equipo de investigación de IA de Snowflake planea mejorar DeepSeek-R1 para reducir aún más los costes de inferencia. Los clientes pueden lograr eficiencias de coste-rendimiento con DeepSeek-R1 y acelerar la entrega de aplicaciones de IA generativa. Este avance allana el camino para futuros avances en esta área.
Nota: Este artículo contiene declaraciones sobre previsiones, incluyendo información sobre nuestras futuras ofertas de productos, que no constituyen un compromiso de entrega. Los resultados y las ofertas reales pueden diferir y están sujetos a riesgos e incertidumbres conocidos y desconocidos. Consulte nuestro último 10-Q para obtener más información.