precision

Все целочисленные значения идеально представлены в виде двойников? [дубликат]

этот вопрос уже есть ответ здесь: представление целых чисел в двойниках 5 ответов мой вопрос заключается в том, что все целочисленные значения гарантированно ...

Настройка десятичной точности, .net

эти строки в C# decimal a = 2m; decimal b = 2.0m; decimal c = 2.00000000m; decimal d = 2.000000000000000000000000000m; Console.WriteLine(a); Console.WriteLine(b); Console.WriteLine(c); Console.WriteLine(d); производит этот выход: 2 2.0 2.0000000 ...

Какой диапазон чисел может быть представлен в 16 -, 32-и 64-разрядных системах IEEE-754?

Я немного знаю о том, как представлены числа с плавающей запятой, но, боюсь, недостаточно. общий вопрос: для заданной точности (для моих целей, количество точных десятичных знаков в базе 10), какой диапазон чисел может быть представлен для 16-, ...

PHP-точность плавающего числа [дубликат]

этот вопрос уже есть ответ здесь: математика с плавающей запятой нарушена? 27 ответов $a = '35'; $b = '-34.99'; echo ($a + $b); результаты в 0.009999999999 ...

C# DateTime.Теперь точность

Я просто столкнулся с некоторым неожиданным поведением с DateTime.UtcNow при выполнении некоторых модульных тестов. Оказалось, что, когда вы называете даты.Теперь/UtcNow в быстрой последовательности, похоже, возвращает вам одно и то же значение в теч ...

Сколько двузначных чисел между 0.0 и 1.0?

Это то, что было у меня на уме в течение многих лет, но я никогда не взял время, чтобы спросить, прежде чем. много (псевдо) генераторы случайных чисел, генерируют случайное число между 0.0 и 1.0. Математически есть бесконечные числа в этом диапазоне ...

Сохранить точность с двойным в Java

public class doublePrecision { public static void main(String[] args) { double total = 0; total += 5.6; total += 5.8; System.out.println(total); } } приведенный выше код печатает: 11.399999999999 Как бы я ...

В чем разница между float и double?

Я читал о разнице между двойной точностью и плавающей запятой одинарной точности. Однако, в большинстве случаев, float и double кажутся взаимозаменяемыми, т. е. использование одного или другого не влияет на результаты. Это действительно так? Когда по ...

Как избежать ошибок округления при расчете площади треугольника?

Я пытаюсь вычислить площадь треугольника с вершинами {{0,1000000000},{1,0},{0,-1000000000}} Легко видеть, что площадь этого треугольника должна быть 1,000,000,000, но когда я пытаюсь вычислить площадь в Java, используя формулу Heron или формулу ш ...

PHP7.1 закодировать в JSON() вопрос поплавка

Это не вопрос, так как это скорее осознание. Я обновил приложение, которое использует json_encode() для PHP7. 1. 1, и я видел проблему с поплавками, которые иногда расширяются до 17 цифр. Согласно документации, PHP 7.1.x начал использовать serialize_ ...