Desarrollar soluciones con inferencia de IA a escala no tiene por qué ser difícil. Empieza hoy mismo a usar Qualcomm AI Inference Suite, alojada en Cirrascale con nuestro SDK de Python.
Qualcomm se ha asociado con Cirrascale para ofrecer un servicio de inferencia de IA de prueba gratuita que facilita a los desarrolladores la conexión y la ejecución de cargas de trabajo de inferencia desde el código. No es necesario crear contenedores ni manipular infraestructuras complejas en la nube. Para empezar, solo hay que registrarse y obtener una clave API.
Una vez que tenga una clave, solo tiene que elegir cómo conectarse al punto final de inferencia. Si se siente cómodo con Python, se proporciona un SDK junto con la documentación para que pueda conectarse utilizando las convenciones de codificación de Python habituales. Se admiten muchos otros lenguajes de programación y herramientas (más de 20) si prefiere usar API compatibles con OpenAI .
Escenario de muestra
Creemos un ejemplo para ilustrar su uso. Quieres que la IA te indique si la reseña de un cliente es positiva, negativa o neutral. Una vez que tengas esos datos, podrás analizar qué productos o servicios son atractivos y cuáles no.
Ejemplo de SDK de Python
Yendo paso a paso, construiremos nuestro código de muestra.
Funciones de importación que necesitarás del SDK de Imagine:
from imagine import ChatMessage, ImagineClientEstablezca su clave API y punto final en variables de entorno o en el código:
myendpoint = "https://aisuite.cirrascale.com/apis/v2"
myapikey = "useyourownkeyhere"
Crea tu cliente para la API usando el punto final y la clave:
client = ImagineClient(endpoint=myendpoint, api_key=myapikey)Configura tu solicitud, eligiendo qué LLM utilizar:
mymodel = "Llama-3.1-8B"
feedback = "Feedback: ' We loved this hotel, we will be coming back.'"
mycontent = "You are an expert at sentiment analysis. Please evaluate the following customer feedback and answer only with positive, negative, or neutral. Only answer positive, negative, or neutral in lowercase. " + feedback
Llama a la función de chat con tu solicitud:
mymessage = ChatMessage(role="user", content=mycontent)chat_response = client.chat(messages=[mymessage],model=mymodel,)
Imprima el resultado:
print(chat_response.first_content)Intente cambiar el texto de la variable de comentarios a diferentes conjuntos de texto sobre cualquier producto y pruébelo.
Pruébalo
Como puede ver, usar la inferencia en una plataforma escalable como Qualcomm AI Inference Suite es tan sencillo como usar cualquier otra API simple, pero permite acceder a resultados muy rápidos con modelos aún más grandes. Aunque este es solo un pequeño ejemplo, podría integrarse en un microservicio para proporcionar un amplio análisis de la opinión del cliente como parte de un flujo de datos de producción.
¿Te gusta lo que ves? Conéctate con otros desarrolladores, entérate de las últimas noticias y recibe asistencia técnica inmediata uniéndote a nuestro Discord para desarrolladores .
