该文被科学网推为精选,见http://blog.sciencenet.cn/blog-630565-1109240.html。
方差的“学问”
武汉大学 叶晓明
自提出误差无类别的新概念测量理论思维以来,发现这一学术观点的反对者主要来自测量专业人士。从学术交流的情况看,坦率说,反对者通常自认为对测量理论很精通,完全就不关心新理论的概念逻辑,学术交流经常处于各方自说自话的状态,完全就不在同一个频道。甚至很多常识性的问题都能成为争论焦点,以至于让非测量专业人士都感到莫名其妙。
其中一个典型的各方自说自话就是关于方差概念的理解,新理论的方差概念是一个偏差的概率区间评价,而对方的方差概念却是测量结果的分散性。即使我反复强调方差是误差的方差跟测量结果没有直接关系,对方也始终无法走出他的测量结果分散性圈圈。
还是以珠峰测量结果为例子。2005年国家测绘局公布珠峰高程为8844.43米,标准偏差±0.21米。新理论认为标准偏差±0.21是珠峰高程误差的概率区间的评价值,是一个误差(偏差)的存在范围的概念,标准偏差是误差的标准偏差;而对方则始终坚持认为标准偏差±0.21是未来重复测量结果的发散度,标准偏差是测量结果的标准偏差,甚至认为是我的书没有读好;相反,很多非测量专业人士基本都站在我这一边:当前的测量误差都没说清楚,却又把未来测量扯进来,这是要干吗?
现在,我干脆就从方差的数学定义开始来正面比较这二种方差解释了。
一、方差的数学概念
概率论给出的方差的定义是
σ2(
L)=
E(
L-
EL)
2,表达序列{
Li}的发散度。其含义是,随机变量
L是序列{
Li}中的一个成员,其存在于一个以
EL为中心以
σ(
L)为标准偏差的概率分布区间内。方差
σ2(
L)是一个随机变量
L的方差,表达
L的所有可能取值分散于数学期望
EL的程度。这本身的确没有逻辑问题。
二、测量中的方差概念 如图1,现有测量结果
x是序列{
xi}中的一个成员,或者说,序列{
xi}是测量结果
x的所有可能取值的集合;同时,测量结果
x与其数学期望
Ex之间的偏差
Δx=x-Ex也是误差序列{
Δxi}={
xi-
Ex}中的一个成员,或者说,误差序列{
Δxi}={
xi-
Ex}是误差
Δx=x-Ex的所有可能取值的集合,偏差
ΔA=Δx=x-Ex。
![]()
这样,我们就有二种方法来套用方差的定义
σ2(
L)=
E(
L-
EL)
2。
方法1:把测量结果
x看作
L、把{
xi}看作{
Li}代入定义
σ2(
L)=
E(
L-
EL)
2中,有:
σ2(x)=E(x-Ex)2 (1)
方法2:把
Δx=x-Ex看作
L、把{
Δxi}={
xi-
Ex}看作{
Li}并代入方差的定义
σ2(
L)=
E(
L-
EL)
2中,于是就有:
σ2(Δx)=E(Δx-EΔx)2
因为
EΔx=
E(
x-Ex)=
Ex-Ex=0,所以
σ2(Δx)=E(Δx)2
=E(x-Ex)2 (2)
公式(1)是现有测量理论中的方差概念,方差σ2(x)是测量结果x的方差,现有教科书基本都是以σ2(x)或σx2形式来表达(翻翻现有的测量理论教科书就可证实);公式(2)是新概念测量理论中的方差概念,方差σ2(Δx)是误差Δx的方差,新概念理论用σ2(Δx)或σΔx2形式来表达。 比较公式(1)和(2)可见,
σ2(
x)和
σ2(
Δx)在数量上的确是完全相等的。但是,公式(1)表达测量结果
x存在于一个以
Ex为期望以
σ(
x)为标准偏差的概率区间内;公式(2)表达的是偏差
Δx=x-Ex存在于一个以0为期望以
σ(
Δx)为标准偏差的概率区间内。稍不留意,人们很容易误以为它们是从不同角度表达的同一意思,而实际上,它们存在概念本质的不同,公式(1)实际是个逻辑错误的表达式。
三、公式(1)的错误要害 见图1,测量完成后测量结果值
x是一个确定量而不再是一个随机变量!它根本就没有资格作为
L代入公式
σ2(
L)=
E(
L-
EL)
2。譬如:珠峰高程结果
x=8844.43米,
x只代表8844.43,它不代表其所有可能取值!
σ(
x)=±0.21实际是把所有可能取值的分散性±0.21偷换成8844.43的“分散性”,即
σ(8844.43)=±0.21。这叫偷换概念!
学过概率论的人都知道,一个已知常数C的数学期望E(C)=C,其方差σ2(C)=0,显然σ(8844.43)=±0.21就是乱弹琴了。 而且,把±0.21解释成未来重复测量的发散性实际也不能自圆其说:
1、如果未来重复测量条件过程完全相同(仪器内的噪声过程也相同),那么问题是,同样的测量对象和绝对同样的测量条件过程凭什么必然导致测量结果离散?
2、如果未来测量条件不同,那不同到什么程度时结果的离散度正好是±0.21?当前测量关心未来不同测量的离散度有什么意义?
3、就算未来重复测量能得到很多不同的测量结果,但每个测量结果也有一个与之相伴的标准偏差,这么多新冒出来的彼此不同的标准偏差又该怎么解释?那就是更未来的发散度了吗?
测量结果已经确定了,还非要纠缠测量结果还有其他的可能取值,并把其他可能取值解释给未来重复测量结果,就为了说明具有确切数值的当前测量结果仍然还是个随机变量,活生生地把一个8844.43常量解释成了一个标准偏差为±0.21的随机变量。这也就是现有理论把精度和不确定度都定义为测量结果的发散性的根源---方差概念赋予给了测量结果,以至于无法说清精度的发散性和不确定度的发散性究竟有何不同。学测量专业真是不容易,逻辑思维能力强的人多难混哟。
这就是现有测量理论中的偷换概念的思维方式,把一个明明白白的确定值强行“解释”成随机变量,甚至把真正需要关心的误差评价问题都甩到了脑后。这种自相矛盾是似而非的学问,讲述者讲不清楚学习者也理解不透,于是越发显得学问的深奥。
以至于一些测量专家把这种偷换概念的晦涩理论看成是自己的大学问(但也有很多学者实际早就意识到其中有问题),在错误的泥潭里不能自拔还在那里自鸣得意、自娱自乐、自说自话,完全不相信新概念测量理论能对方差概念作出不同的解释。以这种混乱的概念逻辑为前提,当然就不可能有新测量理论的落脚之地。
四、公式(2)的正确性及其带来的理论意义 而按公式(2),方差赋予了未知偏差
ΔA=Δx=x-Ex,其含义是,
Δx的所有可能取值存在于一个以0为中心以
σ(
Δx)为标准偏差的概率区间内,就是说,标准偏差
σ(
Δx)就是偏差
ΔA=Δx所存在的概率区间的评价值。在公式(2)中,偏差
Δx=x-Ex是随机变量,始终代表其所有可能取值{
Δxi}={
xi-
Ex}。推理过程完全严密,不存在偷换概念问题。
虽然只是一个小小的概念转变,但却把测量理论带进了一片崭新的天地。
在这一解释中,因为测量结果
x已经给定,是个确定量,所以,这一解释实际给出的含义是数学期望
Ex存在于一个以测量结果
x为中心以
σ(
Δx)为标准偏差的概率区间内,数学期望
Ex是不确定量,根本不需要去纠缠测量结果
x的其他可能取值!自然,我们也就很容易理解偏差
ΔB=
Ex-xT也是随机变量,也有它的标准偏差
σ(
ΔB)。因为误差
ΔA和
ΔB完全对等了,也就没有什么误差
ΔA和
ΔB的性质分类之说。
事实上,数学期望与真值之间的偏差
ΔB=
Ex-xT也的确有它的标准偏差(只是图1没有标出来而已),因为它也是测量产生的,追寻到形成它的上游测量也可以获得其标准偏差。请见作者的《珠峰案例中误差类别困扰的全解析》,那里就展示了水准测量中上游误差对下游误差的传递过程。按这样的逻辑来理解,任何偏差都是其所在误差族群中的一员,都有其方差。这样,方差的定义就推广为:
σ2(Δx)=E(Δx)2 (3)
就是说,公式(3)中的误差(偏差)
Δx不仅限于结果与期望之差,也可以是期望与真值之差,更可以是结果与真值之差。且有
EΔx=0。
EΔx=0其实也可以这样理解,因为在所有的测量(包括仪器制造)的每一个基本操作中,人们都是设法尽量让每一个基本误差源向0靠近,大量基本误差源的均值当然就是0了。既然最基本的误差的数学期望是0,所以误差无论经过怎样的代数式叠加合成,其合成误差的数学期望也当然始终是0了。
误差未知,就是误差值不确定,方差就是误差取值的不确定的程度。一个不确定的值才是随机变量,一切顺理成章,论述者和学习者就都轻松自如了。
既然公式(3)是针对任何误差(偏差),那么协方差的概念也就推广到任何误差了,按这一概念推导出来的协方差传播律也就适用于任何误差了。协方差传播律就成了误差之间的概率区间的传播关系,而不再是测量结果发散性的传播关系。
任何误差都有方差,而且一个测量结果也本来就是当前测量和所有上游测量所共同完成的,我们当然应该把所有上游测量和当前测量看作一个整体。这样,对于图1来说,自然有:
Δ=ΔA+ΔB (4)
因为二误差互不相关,根据协方差传播律:
σ2(Δ)= σ2(ΔA)+σ2(ΔB) (5)
这个
σ(
Δ)就是总不确定度,是总误差
Δ所存在的概率区间的评价,不再是测量结果的发散性内涵了。数学推理证明,这种新的方差概念解释对贝塞尔公式、最小二乘法等没有任何影响,因为方差公式的形式并没有改变,改变了的只是其概念内涵。但是,这种概念内涵的转变却使得测量误差理论的解释中不再需要误差分类概念精度(precision)、准确度(trueness)了,因为公式(4)(5)中二个分项完全对等,没有性质差异。
没有了误差分类概念,那么,新理论当然还必须面临一系列的概念逻辑的重新解释,譬如,规律误差的方差问题、测量序列离散与偏离的机理、误差的函数模型与随机模型处理、多变量联合平差结果的不确定度评定、协不确定性分析、离群误差样本(粗差)的形成机制与处理等等。有兴趣的朋友请参阅《新概念测量误差理论》,那里还有更多的可发挥空间。
五、后话 方差的“学问”也无非是这样---随机变量特征的数字描述,任何学过概率论的人都能看懂,千万别以为测量学能有例外。但如果连随机变量究竟是个什么东东都搞不清楚,连起码的逻辑思维能力都没有,却还要前来反对我的新理论,那我就真不知道再该说什么了。想起有个年轻的计量工作者居然理直气壮地指责我凭什么把误差理论和概率论扯在一起,实在令人钦佩。难道那个世代相传的晦涩理论
还有催生人的自信心的功能?所以我相信仍然还会有人以自说自话的方式来跟我辩论。
另外,以本内容为题的评论已经在相关专业期刊的审理之中,相信总有期刊会发表的。
2018 4 15于武汉大学
![]()