Haomai Technology AI Brain

Cómo medir el rendimiento del análisis conversacional de manera justa

Una primera pregunta, una consulta atendida desde la caché y varias solicitudes simultáneas no se ejecutan en las mismas condiciones. Registre el conjunto de datos, la carga de trabajo, los puntos de inicio y fin de la medición y la calidad de las respuestas para poder fundamentar la decisión de despliegue.

Métodos de evaluaciónActualizado en noviembre 20264 min de lectura

Definir lo que mide el cronómetro

El tiempo transcurrido desde el envío de una pregunta hasta la recepción de una respuesta utilizable puede incluir el manejo del punto de entrada, la planificación de tareas, la consulta, la recuperación, la generación y la transferencia. Una etapa interna rápida puede tener poco efecto en la espera de un extremo a otro. El tiempo hasta la primera palabra visible y el tiempo hasta un resultado completo miden diferentes experiencias.

Defina las condiciones de inicio y fin antes de medir. Registre el tiempo hasta el primer resultado visible, la respuesta completa y el archivo final por separado, junto con las operaciones que se ejecutaron.

Medir por separado los arranques en frío, las primeras preguntas y las solicitudes en caliente

La primera ejecución puede establecer conexiones o aprovisionar recursos. Repetir una pregunta puede devolver un resultado en caché. Mida y comunique ambos casos por separado. En una respuesta en caché, compruebe también la vigencia de los datos y los permisos aplicables.

Registre el entorno de implementación, el modelo y la configuración, el volumen de datos, la complejidad de las consultas, el conjunto de preguntas y el patrón de concurrencia. Cuando una condición cambia, identifíquela antes de comparar la nueva cifra con una medición anterior.

Ir más allá de la media

Algunas solicitudes lentas pueden dominar la experiencia de los usuarios que las encuentran. Informe la mediana, un percentil de latencia más alto, la tasa de fallas y las tareas inacabadas. Indique la población y el tamaño de muestra utilizados para calcular cada percentil.

Distinga a los usuarios presentes al mismo tiempo, las solicitudes enviadas simultáneamente y el rendimiento sostenido del trabajo completado. Un recuento de usuarios por sí solo dice poco sobre lo que hacen los usuarios o cómo cambian el uso de recursos y la latencia.

Informe la calidad de las respuestas junto con el tiempo

MediciónQue grabar
VelocidadLímites de tiempo y grupos separados para las primeras solicitudes y las almacenadas en caché
EstabilidadTasa de finalización, tipos de fallas y comportamiento de cancelación
CalidadCorrección con respecto a la línea de base, las fuentes y las definiciones de métricas.
CargarEspaciado de solicitudes, patrón de concurrencia y duración
AlcanceEntorno, datos, versiones y limitaciones conocidas.

Haga que la prueba sea repetible

Mantenga el conjunto de preguntas sintéticas o aprobadas, los resultados esperados, la configuración de ejecución y las marcas de tiempo originales. Revise los errores y los valores atípicos antes de aumentar la carga. Preserve las citas, las verificaciones de permisos y la calidad de las respuestas en todo el punto de referencia para que las mejoras en el tiempo sigan siendo comparables.

Este artículo describe un método de evaluación. No informa ningún rendimiento medido para una implementación Haomai Technology Brain. Base su decisión de selección en una validación que coincida con sus preguntas de negocio, el alcance de los datos y las condiciones operativas.

Volver a todos los artículos

Pruebe con "permisos", "fuente de datos", "fabricación" o "API".