Définir ce que mesure le minuteur
Le temps écoulé entre la soumission d’une question et la réception d’une réponse utilisable peut inclure la gestion du point d’entrée, la planification des tâches, l’interrogation, la récupération, la génération et le transfert. Une étape interne rapide peut avoir peu d’effet sur l’attente de bout en bout. Le temps jusqu’au premier mot visible et le temps jusqu’à un résultat complet mesurent différentes expériences.
Définir les conditions de début et de fin avant de mesurer. Enregistrez le temps jusqu’à la première sortie visible, la réponse complète et le fichier final séparément, ainsi que les opérations exécutées.
Mesurer séparément les démarrages à froid, les premières questions et les requêtes à chaud
Le premier appel peut ouvrir des connexions ou provisionner des ressources. Une question répétée peut recevoir une réponse en cache. Mesurez et présentez les deux cas séparément. Pour un résultat en cache, vérifiez aussi l’actualité des données et les droits applicables.
Enregistrez l’environnement de déploiement, le modèle et la configuration, le volume de données, la complexité des requêtes, l’ensemble de questions et le modèle de concurrence. Lorsqu’une condition change, identifiez-la avant de comparer le nouveau chiffre avec une mesure antérieure.
Aller au-delà de la moyenne
Quelques requêtes lentes peuvent dominer l’expérience des utilisateurs qui les rencontrent. Signalez la médiane, un centile de latence plus élevé, le taux d’échec et les tâches inachevées. Indiquez la population et la taille de l’échantillon utilisés pour calculer chaque centile.
Distinguer les utilisateurs présents en même temps, les demandes soumises simultanément et le débit soutenu des travaux réalisés. Le nombre d’utilisateurs à lui seul ne vous dit pas grand-chose sur ce que font les utilisateurs ou sur l’évolution de l’utilisation des ressources et de la latence.
Signaler la qualité des réponses ainsi que le timing
| Mesure | Quoi enregistrer |
|---|---|
| Vitesse | Limites de temps et groupes séparés pour les premières requêtes et les requêtes mises en cache |
| Stabilité | Taux d’achèvement, types d’échecs et comportement d’annulation |
| Qualité | Exactitude par rapport à la ligne de base, aux sources et aux définitions de métriques |
| Charger | Espacement des requêtes, modèle de concurrence et durée |
| Portée | Environnement, données, versions et limitations connues |
Rendre le test reproductible
Conservez l’ensemble de questions synthétiques ou approuvées, les résultats attendus, la configuration d’exécution et les horodatages d’origine. Examinez les erreurs et les valeurs aberrantes avant d’augmenter la charge. Préservez les citations, les contrôles d’autorisation et la qualité des réponses tout au long de l’évaluation afin que les améliorations du timing restent comparables.
Cet article décrit une méthode d’évaluation. Il ne signale aucune performance mesurée pour un déploiement Haomai Technology Brain. Basez une décision de sélection sur une validation qui correspond à vos questions métier, à la portée des données et aux conditions de fonctionnement.
