Precisionen för ett numeriskt värde beskriver antalet siffror som används för att visa värdet. I en vetenskaplig miljö skulle detta vara det totala antalet siffror (ibland kallat signifikanta siffror eller signifikanta siffror) eller, mindre vanligt, antalet bråksiffror eller decimalplatser (antalet siffror efter decimalpunkten). Denna andra definition är användbar i finansiella och tekniska tillämpningar där antalet siffror i bråkdelen har särskild betydelse.
I båda fallen kan termen "precision" användas för att beskriva den position där ett oexakt resultat avrundas. Vid aritmetik med flytande punkter avrundas resultatet till en given eller fast precision, som är längden på den resulterande signifikanten. I finansiella beräkningar avrundas ett tal ofta till ett visst antal platser (till exempel till två platser efter decimalseparatorn för många världsvalutor).
Exempelvis kan decimalmängden 12,345 uttryckas med olika antal signifikanta siffror eller decimaler. Om det inte finns tillräckligt med precision avrundas talet på något sätt för att passa den tillgängliga precisionen. Följande tabell visar resultaten för olika totala precisioner och decimaler avrundade till närmaste värde med hjälp av avrundningsmetoden.
Observera att det ofta inte är lämpligt att visa en siffra med fler siffror än vad som kan mätas. Om t.ex. en apparat mäter till närmaste gram och visar 12,345 kg, skulle det skapa falsk precision om mätningen uttrycktes som "12,34500 kg" med två extra nollor ("00") i slutet.
Representationen av ett positivt tal x med en precision på p signifikanta siffror har ett numeriskt värde som ges av formeln
round(10-n-x)-10n, där n = floor(log10 x) + 1 - p.
För ett negativt tal är det numeriska värdet minus det absoluta värdet. Talet 0 kan med vilken precision som helst betraktas som 0.