El Qualcomm Dragonwing AI Solución de Electrodomésticos On-Prem pares con el software y los servicios en el Suite de inferencia de IA Qualcomm para la inferencia de IA que se extiende desde el borde cercano hasta la nube.
Juntos, permiten que su pequeña o mediana empresa, empresa u organización industrial ejecute agentes y aplicaciones de IA personalizados y estándar, incluidas las cargas de trabajo de IA generativas, en las instalaciones. Ejecutar inferencia en las instalaciones puede reducir sus costos operativos, garantizar que sus datos permanezcan privados, reducir su consumo de energía y reducir en gran medida la latencia.
Los desarrolladores pueden utilizar la Solución de Electrodomésticos On-Prem de Qualcomm Dragonwing AI y Qualcomm AI Inference Suite para aplicaciones tan variadas como chatbots, asistentes en la tienda, entrenamiento de trabajadores, información específica del sitio, cumplimiento de seguridad y habilitación de ventas. Además, los fabricantes y diseñadores que buscan nuevas formas de agregar valor a la IA local encontrarán esta combinación de hardware y software madura para el desarrollo y la experimentación. Las ubicaciones ideales incluyen tiendas minoristas, restaurantes de servicio rápido, puntos de venta, concesionarios, hospitales, fábricas y pisos de tiendas.
El hardware: Qualcomm Dragonwing AI On-Prem Appliance Solution
El Qualcomm Dragonwing Solución de Aparatos In-Prem de AI es impulsado por el Familia de tarjetas aceleradoras Qualcomm Cloud AI para IoT industrial e integrado.
Figura 1: Qualcomm Dragonwing AI On-Prem Appliance Solution
El hardware es una solución enchufable diseñada para escalar desde un producto de escritorio independiente hasta un dispositivo montado en la pared, sin necesidad de infraestructura dedicada. Brinda a los fabricantes de equipos originales (OEM), fabricantes de diseño original (ODM) e integradores de sistemas (SI) la flexibilidad para llevar nuevas ofertas al mercado en función de múltiples opciones de configuración:
- Básico (disponible ahora) – Ideal para modelos de IA de hasta 10 mil millones de parámetros y aplicaciones que utilizan visión por computadora y modelos de lenguaje pequeño (SLM)
- Además (disponible ahora) – Ideal para modelos de IA de hasta 30 mil millones de parámetros y aplicaciones que utilizan modelos de lenguaje grande (LLM)
- Premier (disponible pronto) – Ideal para modelos de hasta 70 mil millones de parámetros y aplicaciones LLM que exigen alto rendimiento y precisión
Esa cantidad y flexibilidad de poder de cómputo local para la inferencia de IA significa que ahora puede mantener las cargas de trabajo en sus propias instalaciones. Puede ejecutar en casa una amplia gama de modelos – tanto de código abierto como patentados – para IA generativa, procesamiento de lenguaje natural y visión por computadora.
Miembros del ecosistema Qualcomm Technologies’ ya están ayudando a sus clientes con implementaciones internas basadas en la solución. Como se muestra a continuación, Qualcomm Technologies proporciona las capas inferiores en la pila de tecnología, dejando un amplio espacio para que los OEM, ODM, SI y proveedores de software agreguen valor en las capas superiores.
Qualcomm News. Traducido al español
