Definieren Sie, was der Timer misst
Die Zeit vom Absenden einer Frage bis zum Erhalt einer brauchbaren Antwort kann die Bearbeitung des Einstiegspunkts, die Aufgabenplanung, das Abfragen, den Abruf, die Generierung und die Übertragung umfassen. Eine schnelle interne Phase hat möglicherweise nur geringe Auswirkungen auf die End-to-End-Wartezeit. Zeit bis zum ersten sichtbaren Wort und Zeit bis zu einem vollständigen Ergebnis messen unterschiedliche Erfahrungen.
Definieren Sie vor der Messung Start- und Endbedingungen. Notieren Sie die Zeit bis zur ersten sichtbaren Ausgabe, die vollständige Antwort und die endgültige Datei separat sowie die ausgeführten Vorgänge.
Separate Kaltstarts, erste Fragen und herzliche Bitten
Ein erster Durchlauf kann Verbindungen herstellen oder Ressourcen bereitstellen. Das Wiederholen einer Frage kann zu einem Cache führen. Messen und melden Sie diese Gruppen separat. Überprüfen Sie für eine zwischengespeicherte Antwort auch die Aktualität der Daten und den Zugriffsbereich.
Zeichnen Sie die Bereitstellungsumgebung, das Modell und die Konfiguration, das Datenvolumen, die Abfragekomplexität, den Fragensatz und das Parallelitätsmuster auf. Wenn sich ein Zustand ändert, identifizieren Sie ihn, bevor Sie den neuen Wert mit einer früheren Messung vergleichen.
Schauen Sie über den Durchschnitt hinaus
Einige langsame Anfragen können das Erlebnis für die Benutzer, denen sie begegnen, beeinträchtigen. Melden Sie den Median, ein höheres Latenzperzentil, die Fehlerrate und nicht erledigte Aufgaben. Geben Sie die Grundgesamtheit und die Stichprobengröße an, die zur Berechnung jedes Perzentils verwendet wurden.
Unterscheiden Sie gleichzeitig anwesende Benutzer, gleichzeitig eingereichte Anfragen und einen nachhaltigen Durchsatz abgeschlossener Arbeiten. Die Anzahl der Benutzer allein sagt wenig darüber aus, was die Benutzer tun oder wie sich die Ressourcennutzung und die Latenz ändern.
Berichten Sie über die Antwortqualität und das Timing
| Messung | Was soll aufgezeichnet werden? |
|---|---|
| Geschwindigkeit | Zeitgrenzen und separate Gruppen für erste und zwischengespeicherte Anfragen |
| Stabilität | Abschlussquote, Fehlerarten und Abbruchverhalten |
| Qualität | Korrektheit gegenüber der Basislinie, den Quellen und den Kennzahlendefinitionen |
| Last | Anforderungsabstand, Parallelitätsmuster und Dauer |
| Umfang | Umgebung, Daten, Versionen und bekannte Einschränkungen |
Machen Sie den Test wiederholbar
Behalten Sie den synthetischen oder genehmigten Fragensatz, die erwarteten Ergebnisse, die Laufkonfiguration und die ursprünglichen Zeitstempel bei. Überprüfen Sie Fehler und Ausreißer, bevor Sie die Last erhöhen. Behalten Sie Zitate, Berechtigungsprüfungen und Antwortqualität während des gesamten Benchmarks bei, damit Verbesserungen beim Timing vergleichbar bleiben.
Dieser Artikel beschreibt eine Bewertungsmethode. Es wird keine gemessene Leistung für eine Haomai Technology Brain-Bereitstellung gemeldet. Treffen Sie eine Auswahlentscheidung auf Grundlage einer Validierung, die Ihren Geschäftsfragen, Ihrem Datenumfang und Ihren Betriebsbedingungen entspricht.
