主题：【求助】内部交叉检验和检验集检验的区别是什么

原文由 picard(yuan314159) 发表:
用交叉验证建模的时候，不是没有预测集，而是它的预测集是不断变化的。

以交叉验证最常见的留一验证为例。你留的那个样品实际上就算是待在预测集中的。

原文由 雪未霁(v2854560) 发表:

原文由 picard(yuan314159) 发表:
用交叉验证建模的时候，不是没有预测集，而是它的预测集是不断变化的。

以交叉验证最常见的留一验证为例。你留的那个样品实际上就算是待在预测集中的。

这点我明白了，那请问这两种检验的关系呢？我是指RMSECV和RMSEP的关系

比如说在一阶导数的预处理下RMSECV最小，二阶导数的预处理下RMESP最小

那我最终选择那种预处理方法呢？

还有主因子数的选择是不是在内部交叉检验中确定的，和外部检验没有关系？

原文由 picard(yuan314159) 发表:

原文由 雪未霁(v2854560) 发表:

原文由 picard(yuan314159) 发表:
用交叉验证建模的时候，不是没有预测集，而是它的预测集是不断变化的。

以交叉验证最常见的留一验证为例。你留的那个样品实际上就算是待在预测集中的。

这点我明白了，那请问这两种检验的关系呢？我是指RMSECV和RMSEP的关系

比如说在一阶导数的预处理下RMSECV最小，二阶导数的预处理下RMESP最小

那我最终选择那种预处理方法呢？

还有主因子数的选择是不是在内部交叉检验中确定的，和外部检验没有关系？

不同处理方法之间的比较，我们一般以同样指标进行比较。就是SEC和SEC比，SEP和SEP比，不过一般比较稳健的模型，SEP和SEC基本上差不多。这两个参数只看一个就行。

主因子数得选定主要考虑是是否过拟合或者是否选的不够。这些是通过增加主成分数来查看SEC和线性度是否有明显差异来选定，

比如你刚开始选定4个主成分，然后你发现到5个主成分时，线性度和SEC有明显增加，那说明选4个是不够的。反之如果你发现增加主成分后，SEC只有微小变化，那你就得考虑是不是得到合适的主成分了。

      主成分是否合适是通过后期的验证可以发现的。过拟合的模型，一旦验证，你就会发现预测结果非常差。

原文由 第四桥边(v2803872) 发表:

原文由 picard(yuan314159) 发表:

原文由 雪未霁(v2854560) 发表:

原文由 picard(yuan314159) 发表:
用交叉验证建模的时候，不是没有预测集，而是它的预测集是不断变化的。

以交叉验证最常见的留一验证为例。你留的那个样品实际上就算是待在预测集中的。

这点我明白了，那请问这两种检验的关系呢？我是指RMSECV和RMSEP的关系

比如说在一阶导数的预处理下RMSECV最小，二阶导数的预处理下RMESP最小

那我最终选择那种预处理方法呢？

还有主因子数的选择是不是在内部交叉检验中确定的，和外部检验没有关系？

不同处理方法之间的比较，我们一般以同样指标进行比较。就是SEC和SEC比，SEP和SEP比，不过一般比较稳健的模型，SEP和SEC基本上差不多。这两个参数只看一个就行。

主因子数得选定主要考虑是是否过拟合或者是否选的不够。这些是通过增加主成分数来查看SEC和线性度是否有明显差异来选定，

比如你刚开始选定4个主成分，然后你发现到5个主成分时，线性度和SEC有明显增加，那说明选4个是不够的。反之如果你发现增加主成分后，SEC只有微小变化，那你就得考虑是不是得到合适的主成分了。

      主成分是否合适是通过后期的验证可以发现的。过拟合的模型，一旦验证，你就会发现预测结果非常差。

SEC明显增加？sec不是越小越好吗