Inferencia de modelo
Ejecutar un modelo de aprendizaje automático ya entrenado para producir una respuesta, a diferencia de entrenarlo. En un modelo de lenguaje grande, una GPU genera la respuesta token a token, así que el coste y la velocidad se miden en tokens por segundo y tiempo hasta el primer token. Puedes alquilar GPUs y servir el modelo tú mismo, o pagar una API alojada por token.
Runtimes
En Quorum#
Una petición ai envía un prompt de 400 tokens a un Nodo de inferencia. La API de LLM (Investigación de Modelos alojados) no necesita GPUs. Cuesta $2.50 por 1,000 tokens, tarda 600 ms hasta el primer token y limita los prompts por encima de 100 por segundo por nivel de uso. Un Nodo GPU (Investigación de Servicio de modelos) tarda 300 ms hasta el primer token y genera 200 tokens por segundo por T4, 900 por A100 o 2,000 por H100. Su Gasto es el mismo esté ocupado o ocioso, así que un H100 es más barato que la API de LLM solo mientras se mantiene ocupado cerca de dos tercios.
Lee a continuación#
Utilización, Arranque en frío, Limitación de tasa, Instancia spot