QuorumWiki
Jugar
ReferenciaGlosario

Inferencia de modelo

Ejecutar un modelo de aprendizaje automático ya entrenado para producir una respuesta, a diferencia de entrenarlo. En un modelo de lenguaje grande, una GPU genera la respuesta token a token, así que el coste y la velocidad se miden en tokens por segundo y tiempo hasta el primer token. Puedes alquilar GPUs y servir el modelo tú mismo, o pagar una API alojada por token.

Runtimes

En Quorum#

Una petición ai envía un prompt de 400 tokens a un Nodo de inferencia. La API de LLM (Investigación de Modelos alojados) no necesita GPUs. Cuesta $2.50 por 1,000 tokens, tarda 600 ms hasta el primer token y limita los prompts por encima de 100 por segundo por nivel de uso. Un Nodo GPU (Investigación de Servicio de modelos) tarda 300 ms hasta el primer token y genera 200 tokens por segundo por T4, 900 por A100 o 2,000 por H100. Su Gasto es el mismo esté ocupado o ocioso, así que un H100 es más barato que la API de LLM solo mientras se mantiene ocupado cerca de dos tercios.

Utilización, Arranque en frío, Limitación de tasa, Instancia spot

Saber más#