主题：【第八届原创】计量检测中异常值的确定及剔除

浏览0 回复16 电梯直达

小骗子

结帖率：

100%

关注：0 |粉丝：0

新手级：新兵

发表于：2015/08/03 11:38:00 楼主管理分享倒序浏览只看楼主回复私聊

维权声明：本文为xiaopianzi1209原创作品，本作者与仪器信息网是该作品合法使用者，该作品暂不对外授权转载。其他任何网站、组织、单位或个人等将该作品在本站以外的任何媒体任何形式出现均属侵权违法行为，我们将追究法律责任。

8月二等奖

1、引言
异常值指超出在规定条件下预期的误差，也称为粗大误差。异常值的绝对值与测量列中其他测得值的误差分量相比明显偏大，即明显歪曲测量结果，所以在确认测量结果前必须判定测量数据中是否存在异常值，并予以剔除。但有时一组正确测得值的分散性，本应是客观反映了在特定条件下测量的随机波动性的，却为了得到更好的测量结果，而人为的舍去了一些误差较大的，但不属于异常值的测量值，这样做虽然得到的测量结果分散性很小，实际上却是虚假的测量结果。因为在相同条件下再次测量时，这些误差较大的值会再次出现，所以如何正确的剔除异常值，在实际工作中是很重要的。
2、产生异常值的原因
2.1 测量人员的主观因素
这主要是由于测量者在测量时的疏忽造成读数错误、记录错误、计算错误、操作失误或使用了有缺陷的计量器具的人为因素引起的。
2.2 外界条件的客观因素
测量过程中，由于测量条件发生意外的突变引起测量仪器示值突变引起的。如：测量过程中突然的震动，外界强电磁场的干扰，电压的波动，都可能对测量结果引入异常值。
3、异常值的判定方法
3.1 直观判断法
在测量过程中，发现仪器示值突然跳动、实验环境出现震动，或可确认的读数错误、记录错误等引入的异常值，可随时发现，随时剔除。但在剔除时要注明原因，对不能找到原因的仪器示值跳动，不应随意剔除，而应该增加测量次数，继续观察，加以确认。
3.2 统计方法
对测量数据不能通过直观判断确定是否存在异常值时，如能够满足测量值不含有系统误差，随机误差服从正态分布的条件，可使用统计方法进行判别。常用的判别方法有：莱茵达准则、格拉布斯准则、狄克逊准则和肖维勒准则。

3.2.1莱茵达准则

则认为对应该误差的测量值为异常值，应剔除。莱茵达准则对服从正态分布的随机误差，其残余误差落在(-3s,3s)以外的概率仅为0.27%，对有限次测量来说，可以认为是不可能发生的，所以其合理性是显而易见的。虽然莱茵达准则有着简便、保险的特点，但也是一种非常保守的判别准则，当测量次数n≤10时，即使存在异常值也可能判别不出来。因此在测量次数较少时，几乎不适于使用，当测量次数为30次以上时较为适宜。

3.2.2格拉布斯准则

格拉布斯准则在使用中根据测量对象的特点，选择合理的置信水平进行讨论，判定结果较为严格。但也存在着对数据中只存在一个异常值时判定效果良好，而当异常值不止一个且出现在同侧时判定效果不好的问题。
3.2.3狄克逊准则

狄克逊准则和格拉布斯准则均给出了严格的判定结果，但同格拉布斯准则一样也存在着对数据中只存在一个异常值时判定效果良好，异常值不止一个且出现在同侧时判定效果不好的缺陷。
3.2.4肖维勒准则

肖维勒准则是在n次测量中，取不可能发生的个数为0.5，那么对正态分布而言，误差不可能出现的概率为：

4 判别异常值时应注意的几个问题
4.1 准确找出可疑测量值
测量列中残余误差绝对值最大者即为可疑值，它为测量列中最大测得值或最小测得值之一。
4.2 合理选择判别准则

判别时应按照测量准确度的要求和测量次数来选择判别准则。当测量次数n≥30次时，可采用莱茵达准则；当n＜30次时，如对置信水平没有严格要求时可使用肖维勒准则。当对置信水平有要求时，可用采用格拉布斯准则或狄克逊准则。

4.3 查找产生异常值的原因
在判定异常值时，不论采用何种判定准则，对判别出的“异常值”的可疑值都不能简单剔除，而需要仔细分析产生这个异常值的原因，以做出最终判断，笔者在检定工作中曾亲身经历了这样一个案例:在对一台最大称量为300kg、最小分度值为0.01kg、检定分度值为0.1kg的电子天平的检定过程中，电子天平在100kg载荷下检定偏载误差为-0.02kg，根据电子天平检定规程，该检定项目结论为合格。但在对其最大称量点进行重复性项目检定时却得到如下数据(使用的砝码为标称质量20kg的砝码共15个)：

其最大差值已达到2.63kg，根据检定规程，此项目不合格。而根据格拉布斯准则判定，可以发现297.36kg这个测量值可能是异常值，如剔除，可以判定此检定项目合格。判定过程如下：

使用格拉布斯准则，在显著度为0.05的条件下进行判定。由于共进行了6次测量所以：

可以认为297.36为异常值。但是在检定过程中并未发现振动、电压波动等可能引起示值波动的现象。为了确认该测量值是否为异常值，笔者又进行了多次重复测量，最后发现在砝码均匀码放在天平秤盘上时示值正常，当秤盘一侧偏重时(偏重20kg，由最后一个砝码放置位置引起)就会出现此问题。由此可以判断297.36kg这个测量值不属于异常值，而是由天平自身性能引起的，在数据处理中不可剔除，如仅仅是根据判定准则就简单剔除，将造成检定结论的错误。所以在通过判定准则确定“异常值”的可疑值后，一定要找出原因，如果确定不了产生异常值的原因，应增加测量次数进行确认，在难以确认的情况下，要保留该测量数据。

4.4 全部测量数据的否定
在有限次的测量中，剔除一个异常值后，应对剩余数据再次进行判定，确认是否仍然存在异常值，当出现两个以上异常值时，通常可认为整个测量结果是在不正常的条件下测得的，对此应改进测量方法，重新进行测量。

该帖子作者被版主 西瓜猫猫西瓜加 10积分， 2经验，加分理由：原创奖励，可惜我只有加10分的权利