Labview中输出精度数字怎样使其精度为0.05

  ANSYS中小数点位数的确定

/format,,f,18,1则表示選F格式下宽度为18的有效位数小数点后保留1位

/format,,f,18,3则表示选F格式下宽度为18的有效位数,小数点后保留3位

/format,,g,18,10则表示选G格式下宽度为18的有效位数共為10位数(包括整数及小数部分)

当/format,,f,18,1中要求保留的位数不大于整数位时,保留1个有效数字换为其他位时是一样的;而当/format,,f,18,10中的10的位数远大于整数时,表示整个数(包括小数点前面的整数部分及小数部分)之和为10位其他同理。

你对这个回答的评价是

这个在list中不好改。要想设置数据输出精度格式的话最好是写到文件用*vwrite,但是这个不能再GUI中实现

你对这个回答的评价是

日前帮朋友看一个程序一个WHILE循環,退出条件是等于一个双精度数结果程序未按照预想条件退出,由此想到了双精度数的精度问题

计算机中的双精度数都存在精度损夨的问题,因此一般不宜用相等进行判断


上面!=0但是+1后却等于1。

双精度浮点数的确不适合用相等来判断

我要回帖

更多关于 输出精度 的文章

 

随机推荐