Ollama e IBM Amplían su Alcance a la Serie Snapdragon X con IBM Granite 3.2

Lo que los desarrolladores necesitan saber sobre IBM Granite 3.2

Ollama ahora es compatible con IBM Granito 3.2 modelos en Windows Copilot+ PC con tecnología Serie Snapdragon X procesadores. Esta colaboración desbloquea capacidades avanzadas de IA directamente en computadoras portátiles ultraportátiles, beneficiando tanto a entusiastas individuales como a desarrolladores empresariales.

En esta publicación, weizll resume las características clave de Granite 3.2, explica cómo las PC con Snapdragon X Series (y Qualcomm Hexagon NPU) sobrecargan el rendimiento del modelo, resaltan los casos de uso prácticos y subrayan las ventajas de ejecutar modelos de IA localmente.

Ahora, las computadoras portátiles con Snapdragon pueden ejecutar sofisticados asistentes de IA en cualquier lugar, lo que permite a los desarrolladores trabajar con modelos avanzados sobre la marcha. Estas soluciones en el dispositivo mantienen los datos locales para la privacidad y ofrecen una alta capacidad de respuesta, incluso en entornos con ancho de banda limitado.

IBM Granite 3.2 de un vistazo: el razonamiento se encuentra con la visión

La familia IBMis Granite 3.2 es un conjunto de código abierto, listo para la empresa Modelos de IA diseñados para aplicaciones del mundo real . La última versión presenta nuevo razonamiento condicional y visión multimodal capacidades, todas en tamaños de modelo relativamente compactos (parámetros 2B y 8B):

• Razonamiento de la Cadena de Pensamiento – Granite 3.2 “Los modelos Instruct” (2B y 8B) están ajustados para seguir instrucciones complejas con un proceso de razonamiento interno. Esta cadena de pensamiento puede ser encendido o apagado según sea necesario, mejorar la lógica y la resolución de problemas en varios pasos sin sacrificar el rendimiento general . En otras palabras, el modelo puede “pensar en voz alta” para tareas más difíciles y omitir los pasos adicionales para indicaciones más simples, optimizando el uso de recursos. En particular, IBM incorporó este razonamiento en los modelos centrales, lo que facilita el uso de los desarrolladores cuando es necesario.
• Modelo Visión-Lenguaje (Granite 3.2 Visión) – Granite 3.2 incluye el primer modelo oficial de lenguaje de visión de IBM, a Modelo multimodal de parámetro 2B centrado en comprensión de documentos e imágenes. A pesar de su pequeño tamaño, Granite Vision 3.2 logra precisión a la par con los modelos de visión de código abierto 5× más grande en tareas como la respuesta a preguntas de documentos . Fue entrenado en un conjunto de datos curados de documentos (tablas, formularios, gráficos, diagramas, etc.), lo que le permitió extraer información estructurada de imágenes – por ejemplo, leer tablas en un PDF o interpretar un gráfico. Este modelo compacto hace que el procesamiento visual de documentos sea factible en dispositivos locales.
• Empresa Optimizada – Todos los modelos Granite 3.2 están construidos teniendo en cuenta los casos de uso empresarial. Se capacitaron en datos relevantes para el dominio de alta calidad y se evaluaron en tareas centradas en el negocio (de análisis de ciberseguridad para la generación aumentada de recuperación) . IBM también proporciona Guardián de Granito modelos de seguridad para el filtrado de contenidos y Granito Timeseries modelos para pronosticar, completando la familia para las necesidades de IA empresarial . Importantemente, Granite 3.2 es de código abierto bajo Apache 2.0, lo que facilita a los desarrolladores adoptar e integrar sin obstáculos de licencia. Los modelos están disponibles a través de Ollama, por lo que se pueden ejecutar localmente con una fricción mínima.

En resumen, Granite 3.2 ofrece razonamiento avanzado y comprensión visual en un paquete pequeño y eficiente. Estos atributos lo hacen ideal para ejecutarse en dispositivos de borde modernos –, que es donde entran en juego las PC con la serie Snapdragon X.

Copilot+ PC con Snapdragon X Series: Llevando los modelos Granite 3.2 y NPU Acceleration a una nueva clase de computadoras portátiles

El Serie Snapdragon X es la última línea de procesadores de PC de Windows de Qualcomm Technologies’, y un punto de venta clave es su motor de IA integrado. Cada chip incluye un Hexagón NPU diseñado para ejecutar modelos de IA a alta velocidad y baja potencia. Esta NPU puede ejecutar a 45 billones de operaciones por segundo (45 TOPS), realizar cálculos de redes neuronales en paralelo mientras se usa mucha menos energía que una CPU o GPU .

En términos prácticos, el Hexagon NPU actúa como un coprocesador especializado que turbocompresores cargas de trabajo de aprendizaje automático: maneja las matemáticas matriciales y las operaciones de tensor de manera eficiente, dejando a los otros núcleos libres para otros usos, como la navegación web y los juegos, y prolongación de la duración de la batería durante tareas pesadas de IA .

Para los desarrolladores, el impacto es que se pueden ejecutar modelos significativos de manera eficiente y eficiente en dispositivos con la serie Snapdragon X. Qualcomm Technologies ha demostrado que Hexagon NPU permite ejecutar grandes modelos de IA directamente en el dispositivo con un excelente rendimiento y eficiencia .

Los modelos Granite 3.2’s (2B y 8B) se encuentran cómodamente dentro de este rango. Eso significa que Snapdragon X Series lleva estos modelos a una nueva clase de computadoras portátiles, completamente fuera de línea, con espacio para futuras versiones más grandes.

Casos de Uso: Lo que los Desarrolladores Pueden Construir

Con las capacidades y dispositivos IBM Granite 3.2’ con Snapdragon X Series, los desarrolladores pueden crear una gama de soluciones impulsadas por IA que se ejecutan totalmente localmente. Aquí hay algunos casos de uso prácticos potenciados por esta combinación:

• Asistentes Personales o Empresariales Inteligentes – Granite 3.2’s instruye que los modelos son expertos en general tareas de seguimiento de instrucciones y se puede integrar en los asistentes basados en chat . Un desarrollador individual puede construir un ayudante local de codificación de IA o un asistente para tomar notas que comprenda las indicaciones del lenguaje natural y proporcione respuestas al instante. En una configuración empresarial, puede implementar un asistente virtual en las computadoras portátiles de los empleados para responder preguntas de política, proporcionar orientación de soporte de TI o interactuar con bases de conocimiento internas – todo sin contactar una API en la nube.

El razonamiento de cadena de pensamiento significa que el asistente puede manejar consultas complejas de varios pasos (por ejemplo, “analiza estos requisitos y redacta un plan de proyecto”) de manera más efectiva que los modelos pequeños anteriores. Y debido a que se ejecuta en el dispositivo de los usuarios, puede incorporarse de manera segura datos propietarios (como documentos internos o código) para ayuda sobre la marcha.

• Procesamiento de Documentos y Extracción de Datos Visuales – Usando Granite 3.2 Vision, los desarrolladores pueden automatizar tareas que implican comprender imágenes o documentos escaneados. Por ejemplo, puede crear una aplicación que procese facturas o formularios haciendo que el modelo lea el texto y las tablas de un PDF, generando datos estructurados para su flujo de trabajo. Granite Vision está especializada para exactamente este tipo de comprensión visual de documentos, capaz de extraer contenido de tablas, gráficos, infografías, gráficos y diagramas en contexto .

Esto permite flujos de trabajo de documentos basados en IA completamente en máquinas locales: imagine un dispositivo 2 en 1 de trabajadores de campo que pueda tomar una foto de un informe en papel y analizar inmediatamente figuras y gráficos, o una computadora portátil profesional legal que pueda resumir el contenido de los contratos escaneados sin cargarlos en ningún lugar. El multimodal nature of Granite 3.2 Vision significa que puede interpretar tanto texto como imágenes juntos – una gran victoria para tareas como revisar diagramas anotados o informes financieros con gráficos.

• Aplicaciones de IA Empresarial – La combinación es especialmente atractiva para los desarrolladores empresariales que necesitan integrar IA en aplicaciones comerciales seguro. Debido a que los modelos Granite 3.2 se construyeron para escenarios empresariales (con fortalezas en tareas como clasificación de texto, resumen e incluso tareas de código), se pueden ajustar o solicitar aplicaciones específicas de dominio.

Los ejemplos podrían incluir: un panel de seguridad cibernética impulsado por IA que utiliza Granite para razonar sobre los informes de incidentes y sugerir respuestas; una herramienta de análisis de ventas que resume los datos de CRM y genera información de lenguaje natural; o un bot de soporte al cliente fuera de línea en una industria como la atención médica o las finanzas donde la privacidad de los datos es primordial.

Soporte de granito para múltiples idiomas (12 listos para usar) también significa que las empresas pueden implementar estas características locales de IA para equipos globales. En todos los casos, las empresas se benefician de mantener los datos confidenciales internamente y tener control total sobre la operación de sistemas de IA.

¿Por qué Ejecutar Modelos de IA Localmente? Beneficios Clave

Ejecutar modelos de IA como Granite 3.2 localmente en cualquier dispositivo con Snapdragon X Series en lugar de llamar a API en la nube ofrece varias ventajas concretas para desarrolladores y organizaciones:

• Privacidad y Seguridad de Datos – Mantener la IA en el hardware local significa los datos nunca salen del dispositivo durante el procesamiento. Las entradas (promptos, documentos, etc.) y las salidas permanecen dentro de su entorno, lo que reduce en gran medida el riesgo de exposición. Esto es crítico para datos empresariales confidenciales o información personal. Esto ayuda con el cumplimiento en las industrias reguladas y alivia las preocupaciones de privacidad para los usuarios individuales.
• Velocidad y Capacidad de respuesta – La inferencia local elimina la latencia de enviar solicitudes a través de Internet y esperar una respuesta. Incluso unos pocos cientos de milisegundos de retraso de la red pueden ser notables en una aplicación interactiva. Con el modelo ejecutándose en una PC con la serie Snapdragon X, las respuestas son casi instantáneo para muchas tareas, ya que los datos se procesan en el acto.

Esta capacidad de respuesta en tiempo real es crucial para los asistentes orientados al usuario o cualquier función de IA en una interfaz de usuario – hace que la IA se sienta ágil e integrada. Además, la aceleración de Hexagon NPUu s garantiza que incluso las tareas computacionalmente intensivas (como analizar un documento largo o realizar un razonamiento de varios pasos) se ejecuten rápidamente.

• Ahorro de Costos – Confiar en el hardware local puede ser mucho más rentable a largo plazo. Una vez que tenga el dispositivo, ejecutar la inferencia en él no incurre en tarifas adicionales. Hay sin costo de uso de pago por uso para llamadas API o tiempo de GPU en la nube. Para los desarrolladores, esto significa que puede experimentar libremente con los modelos Granite 3.2 sin preocuparse por acumular facturas. Para las empresas, implementar IA en miles de puntos finales localmente podría evitar gastos sustanciales de servicio en la nube.

Además, la licencia abierta Apache 2.0 de los modelos Granite significa sin tarifas de licencia para integrarlos – tiene plena libertad de uso e incluso ajustarlos a sus necesidades.

• Fiabilidad y Control – Ejecutar modelos en las instalaciones o en el dispositivo también brinda a los desarrolladores más control sobre el entorno de tiempo de ejecución y el control de versiones. Usted no depende de un tiempo de actividad o cambios de los servicios externos; si la computadora portátil o el dispositivo de borde está funcionando, su servicio de IA está disponible. Esto puede ser importante para las herramientas de misión crítica que deben funcionar incluso cuando Internet está inactivo o si un proveedor de la nube tiene una interrupción.

 También permite la personalización del modelo (a través de ajustes o patrones de solicitud) sin estar limitado por otra API. En el caso de Granite 3.2 en Ollama, los desarrolladores pueden auto alojar el modelo, actualizarlo en su horario e incluso integrar barandillas adicionales o registro según sea necesario. Todo se ejecuta dentro de su esfera de control, lo que puede simplificar la depuración y la iteración.

Al aprovechar estos beneficios, los desarrolladores pueden ofrecer características impulsadas por IA más rápidas, seguras y baratas a los usuarios finales. Se alinea especialmente bien con las prioridades de la empresa, donde el gobierno de datos y la gestión de costos son tan importantes como el rendimiento sin procesar.

Empoderar la Innovación al Borde

En esencia, Ollama + Granite 3.2 + Snapdragon X Series ejemplifica el impacto en el mundo real de la IA de borde: trayendo modelos de última generación más cerca de donde se generan y utilizan los datos. Además, la combinación abre una nueva clase de computadoras portátiles para Ollama y Granite 3.2. Esto conduce a más interacciones privadas de IA, latencia reducida y nuevas posibilidades de innovación en el lado del cliente. A medida que el hardware de IA como las NPU se vuelven estándar en las PC y los modelos abiertos continúan mejorando, podemos esperar una ola creciente de aplicaciones locales de IA.

Para los desarrolladores, ahora es un buen momento para comenzar a explorar cómo estos modelos en el dispositivo se pueden integrar en sus productos. La brecha entre lo que puede hacer un servicio de IA en la nube y lo que puede hacer su computadora personal es cerrar rápidamente – desbloqueando un futuro donde La IA es omnipresente, personal y está bajo su control.

Referencias:

1. Anuncio de IBM Granite 3.2 
2. IBM watsonx.ai Modelo de Biblioteca 
3. InfoQ Noticias sobre Granito 3.2
4. Microsoft AI en la guía de Windows
5. Qualcomm/Bechtle en Snapdragon X Elite
6. Petri en Snapdragon X Elite NPU 
7. Ollama Model Library (Granito 3.2) 
8. Ollama Model Library (Visión Granite) 

Qualcomm Blog. M. K., K. S. y M. Ch. Traducido al español