RunThreadCreateRequest.TopP

RunThreadCreateRequest.TopP-Eigenschaft

Ruft einen Wert ab oder legt einen Wert fest, der eine Alternative zum Sampling mit Temperatur darstellt, das als Nucleus-Sampling bezeichnet wird, bei dem das Modell die Ergebnisse der Tokens mit der top_p-Wahrscheinlichkeitsmasse berücksichtigt. Ein Wert von 0,1 bedeutet, dass nur die Tokens berücksichtigt werden, die die obersten 10% der Wahrscheinlichkeitsmasse ausmachen. Wir empfehlen im Allgemeinen, entweder dies oder die Temperatur zu ändern, aber nicht beides.

public double? TopP { get; set; }

Siehe auch

RunThreadCreateRequest.Tools RunThreadCreateRequest.TruncationStrategy