Haomai Technology AI Brain

So messen Sie die Leistung von Conversational Analytics fair

Eine erste Frage, eine zwischengespeicherte Frage und gleichzeitige Anfragen werden unter unterschiedlichen Bedingungen ausgeführt. Erfassen Sie den Datensatz, die Arbeitslast, die zeitlichen Grenzen und die Antwortqualität gemeinsam, um Zahlen zu erstellen, die als Grundlage für eine Bereitstellungsentscheidung dienen können.

BewertungsmethodenAktualisiert im November 20264 Min. Lesezeit

Definieren Sie, was der Timer misst

Die Zeit vom Absenden einer Frage bis zum Erhalt einer brauchbaren Antwort kann die Bearbeitung des Einstiegspunkts, die Aufgabenplanung, das Abfragen, den Abruf, die Generierung und die Übertragung umfassen. Eine schnelle interne Phase hat möglicherweise nur geringe Auswirkungen auf die End-to-End-Wartezeit. Zeit bis zum ersten sichtbaren Wort und Zeit bis zu einem vollständigen Ergebnis messen unterschiedliche Erfahrungen.

Definieren Sie vor der Messung Start- und Endbedingungen. Notieren Sie die Zeit bis zur ersten sichtbaren Ausgabe, die vollständige Antwort und die endgültige Datei separat sowie die ausgeführten Vorgänge.

Separate Kaltstarts, erste Fragen und herzliche Bitten

Ein erster Durchlauf kann Verbindungen herstellen oder Ressourcen bereitstellen. Das Wiederholen einer Frage kann zu einem Cache führen. Messen und melden Sie diese Gruppen separat. Überprüfen Sie für eine zwischengespeicherte Antwort auch die Aktualität der Daten und den Zugriffsbereich.

Zeichnen Sie die Bereitstellungsumgebung, das Modell und die Konfiguration, das Datenvolumen, die Abfragekomplexität, den Fragensatz und das Parallelitätsmuster auf. Wenn sich ein Zustand ändert, identifizieren Sie ihn, bevor Sie den neuen Wert mit einer früheren Messung vergleichen.

Schauen Sie über den Durchschnitt hinaus

Einige langsame Anfragen können das Erlebnis für die Benutzer, denen sie begegnen, beeinträchtigen. Melden Sie den Median, ein höheres Latenzperzentil, die Fehlerrate und nicht erledigte Aufgaben. Geben Sie die Grundgesamtheit und die Stichprobengröße an, die zur Berechnung jedes Perzentils verwendet wurden.

Unterscheiden Sie gleichzeitig anwesende Benutzer, gleichzeitig eingereichte Anfragen und einen nachhaltigen Durchsatz abgeschlossener Arbeiten. Die Anzahl der Benutzer allein sagt wenig darüber aus, was die Benutzer tun oder wie sich die Ressourcennutzung und die Latenz ändern.

Berichten Sie über die Antwortqualität und das Timing

MessungWas soll aufgezeichnet werden?
GeschwindigkeitZeitgrenzen und separate Gruppen für erste und zwischengespeicherte Anfragen
StabilitätAbschlussquote, Fehlerarten und Abbruchverhalten
QualitätKorrektheit gegenüber der Basislinie, den Quellen und den Kennzahlendefinitionen
LastAnforderungsabstand, Parallelitätsmuster und Dauer
UmfangUmgebung, Daten, Versionen und bekannte Einschränkungen

Machen Sie den Test wiederholbar

Behalten Sie den synthetischen oder genehmigten Fragensatz, die erwarteten Ergebnisse, die Laufkonfiguration und die ursprünglichen Zeitstempel bei. Überprüfen Sie Fehler und Ausreißer, bevor Sie die Last erhöhen. Behalten Sie Zitate, Berechtigungsprüfungen und Antwortqualität während des gesamten Benchmarks bei, damit Verbesserungen beim Timing vergleichbar bleiben.

Dieser Artikel beschreibt eine Bewertungsmethode. Es wird keine gemessene Leistung für eine Haomai Technology Brain-Bereitstellung gemeldet. Treffen Sie eine Auswahlentscheidung auf Grundlage einer Validierung, die Ihren Geschäftsfragen, Ihrem Datenumfang und Ihren Betriebsbedingungen entspricht.

Zurück zu allen Artikeln

Versuchen Sie es mit „Berechtigungen“, „Datenquelle“, „Fertigung“ oder „API“.