CalculationPrecisionStrategy

CalculationPrecisionStrategy enumeration

Räknar upp strategier för hantering av beräkningsprecision. På grund av precisionsproblemet med IEEE 754 Floating-Point Arithmetic, kanske vissa “till synes enkla” formler inte beräknas som det förväntade resultatet. Som formeln “=-0,45+0,2”+0. , vid beräkning av operander direkt med ‘+’-operatorn är resultatet inte noll. För en sådan typ av precisionsproblem kan vissa speciella strategier ge det förväntade resultatet.

public enum CalculationPrecisionStrategy

Värderingar

namnVärdeBeskrivning
None0Ingen strategi tillämpas på beräkningen. Vid beräkning, använd bara det ursprungliga dubbelvärdet som operand och returnera resultatet direkt. Mest effektivt för prestanda och tillämpligt i de flesta fall.
Round1Avrundar beräkningsresultatet med signifikanta siffror.
Decimal2Använder decimal som operander när det är möjligt. Mest ineffektivt för prestanda.

Se även