Definir lo que mide el cronómetro
El tiempo transcurrido desde el envío de una pregunta hasta la recepción de una respuesta utilizable puede incluir el manejo del punto de entrada, la planificación de tareas, la consulta, la recuperación, la generación y la transferencia. Una etapa interna rápida puede tener poco efecto en la espera de un extremo a otro. El tiempo hasta la primera palabra visible y el tiempo hasta un resultado completo miden diferentes experiencias.
Defina las condiciones de inicio y fin antes de medir. Registre el tiempo hasta el primer resultado visible, la respuesta completa y el archivo final por separado, junto con las operaciones que se ejecutaron.
Medir por separado los arranques en frío, las primeras preguntas y las solicitudes en caliente
La primera ejecución puede establecer conexiones o aprovisionar recursos. Repetir una pregunta puede devolver un resultado en caché. Mida y comunique ambos casos por separado. En una respuesta en caché, compruebe también la vigencia de los datos y los permisos aplicables.
Registre el entorno de implementación, el modelo y la configuración, el volumen de datos, la complejidad de las consultas, el conjunto de preguntas y el patrón de concurrencia. Cuando una condición cambia, identifíquela antes de comparar la nueva cifra con una medición anterior.
Ir más allá de la media
Algunas solicitudes lentas pueden dominar la experiencia de los usuarios que las encuentran. Informe la mediana, un percentil de latencia más alto, la tasa de fallas y las tareas inacabadas. Indique la población y el tamaño de muestra utilizados para calcular cada percentil.
Distinga a los usuarios presentes al mismo tiempo, las solicitudes enviadas simultáneamente y el rendimiento sostenido del trabajo completado. Un recuento de usuarios por sí solo dice poco sobre lo que hacen los usuarios o cómo cambian el uso de recursos y la latencia.
Informe la calidad de las respuestas junto con el tiempo
| Medición | Que grabar |
|---|---|
| Velocidad | Límites de tiempo y grupos separados para las primeras solicitudes y las almacenadas en caché |
| Estabilidad | Tasa de finalización, tipos de fallas y comportamiento de cancelación |
| Calidad | Corrección con respecto a la línea de base, las fuentes y las definiciones de métricas. |
| Cargar | Espaciado de solicitudes, patrón de concurrencia y duración |
| Alcance | Entorno, datos, versiones y limitaciones conocidas. |
Haga que la prueba sea repetible
Mantenga el conjunto de preguntas sintéticas o aprobadas, los resultados esperados, la configuración de ejecución y las marcas de tiempo originales. Revise los errores y los valores atípicos antes de aumentar la carga. Preserve las citas, las verificaciones de permisos y la calidad de las respuestas en todo el punto de referencia para que las mejoras en el tiempo sigan siendo comparables.
Este artículo describe un método de evaluación. No informa ningún rendimiento medido para una implementación AI-Soda Brain. Base su decisión de selección en una validación que coincida con sus preguntas de negocio, el alcance de los datos y las condiciones operativas.
