主题：近红外讨论交流召集贴！！请大家多多发言

虽然近红外光谱从发现到现在已经有二百多年的时间了，但是其应用的兴起却起始于二十世纪50年代末Karl Norris对农副产品（谷物、饲料、水果、蔬菜、肉、蛋、奶等）的品质（水分、蛋白质、油脂等）分析（Ben-Gera and Norris,1968a,b; Bittner and Norris,1968; Butler and Norris,1960; Hart et al., 1962; Massie and Norris, 1965; Norris, 1964; Norris and Butler, 1961; Norris and Hart, 1965; Norris and Rowan, 1962）。很多人已经对近红外光谱的应用和现状做了综述（Barton, 2002; Blanco and Villarroya, 2002; Bokobza, 1998; McClure, 1994; McClure, 2003; 段民孝等, 2002；籍保平, 2000；刘建学等, 1998；陆婉珍等, 2000；徐广通等, 2000；严衍禄等, 2000）。近红外谱区的信息几乎包括有机物中所有含氢基团的信息，信息量极为丰富。近红外光谱分析技术已经广泛应用于农牧业、石油化工、食品工业、煤炭、土壤、环保、纺织、生物、医学、化妆品、保健药品、成像、天文、地球物理等行业。近红外光对物质的穿透能力较强，所以近红外分析不需对样品作任何预处理，属于绿色分析技术。农业领域近红外分析不但可用于实验室分析，也可用于现场分析和在线分析，适合于育种、栽培、营养诊断、农产品加工等需要分析成千上万种样品的领域。因此近红外技术被认为“具有解决全球农业分析的潜力”。应用近红外光谱分析技术进行定性鉴定一般采用峰位鉴别、模式识别（聚类分析）、指纹鉴别和数据库鉴别等四种鉴别方法。而运用近红外光谱分析技术进行定量分析，其关键是建立预测效果优秀的数学模型。
在国外，1978年美国和加拿大就先后将近红外光谱检测方法规定为谷物的标准检测方法。近红外技术现在已为食品工业管制所广泛应用，许多实验方案和计算方法已成为美国官方分析化学家协会（Association of official analytical chemists，AOAC）的标准方法，比如，近红外光谱法分析干蔬菜中水的含量已成为AOAC的标准方法；近红外光谱法快速测量葡萄酒中乙醇的含量也已成为饮料工业中的品质管理方法之一。另外，用近红外光谱法分析各种小麦中的蛋白质已成为美国谷物化学家协会（American association of cereal chemist，AACC）的标准方法；用近红外光谱法分析小麦及面粉中的水分、蛋白质也已成为国际谷物化学家协会（International of cereal chemist，ICC）的推荐方法。可见，近红外光谱分析和其他分析技术一样，先在某一领域得到突破而广泛使用，并逐步进入新的领域，最终，各种领域的分析技术都可能成为官方确认的标准方法。
虽然国内对近红外的研究起步相对较晚，但发展很快。例如，中国石油化工集团公司石油化工科学研究院1998年研制的CCD近红外光谱仪和相应的分析软件应用于国内炼油厂的汽油和柴油组成的测定取得了较好的经济和社会效益（褚小立等，2002）；中国农业大学花费10年时间已成功地研制了中国农业近红外分析技术及网络系统（中国农业大学新闻网），该系统配有近红外分析的各种软件并具有建立与优化近红外分析数学模型的能力。此课题从1990年到2000年的十年间逐步完成的科技成果，包括近红外光谱分析信息源－信息处理软件－信息产品以及相关信息的传送与维护的网络系统。全部系统包括五部分：中国部分农产品近红外基础光谱集，采集了我国主要谷物类及中草药样品5000余个近红外基础光谱；通用近红外定量分析软件，软件功能包含当代国际近红外分析软件的主要基本功能，包括建立数学模型、检验模型、转移模型、分析单个或多个样品等；人工神经网络定性定量分析软件；中国部分农产品近红外定量分析数学模型集，包括小麦、玉米、大豆、大麦等作物的数学模型，其中小麦和玉米数学模型的建模样品集是从全国范围内收集的数千份样品，因此这些数学模型可适用于全国范围；近红外分析网络系统，可通过上网的方式将近红外分析用户与建模中心通过网络连接起来。
可见，近红外光谱技术的应用将在深度和广度上不断向前发展，近红外仪器的性能将继续向高稳定、高信噪比发展，低价位便携式的仪器开发及建立全球卫星近红外系统将成为发展的方向。

近红外光谱分析技术的两个基本要素是光谱仪器和化学计量学软件。其中，化学计量学软件主要进行三方面的工作，第一是剔除和减少光谱数据中的干扰和噪音；第二是建立数学模型；最后是检验模型的实用性。化学计量学是指从化学量测数据中获取、表述、显示相关化学信息，通过运用在计算机上实现的数学与统计学方法，优化化学量测过程，从信号中最大限度地提取有用的信息（汪尔康，1999）。随着近红外光谱仪器制造、计算机技术和化学计量学的深入发展，才使近红外分析技术得以广泛应用，成为二十一世纪发展最快、最具潜力、绿色的新兴分析技术。
一般近红外仪器都提供相应的光谱数据处理软件，也可以购买通用的近红外光谱数据处理软件。国际上软件公司和仪器厂家出售的商品化学计量学软件主要有：PLSplus/IQ and GRAMS (Galactic Industries Inc., Salem, NH, USA)、QUANT+ (Perkin-Elmer Ltd.)、The Unscrambler (Camo AS, Norway)、Pirouette (Infometrix Inc., Woodinville, WA, USA)、MultiSimplex Experimental Optimization Software、SIMCA、MODDE、Siriu、Lamcalc等；国内中国农业大学和石油化工科学研究院也开发了化学计量学软件专门用于近红外光谱数据的分析。也可使用一些数学统计和计量工具软件如MATLAB、SAS(SAS®Institute, Cary, NC, USA)、MATHEMATICA、GAUSS、Maple、Mathcad、winRATS等通过简单的编程和调用各种算法进行光谱分析。还可以使用计算机高级语言如FORTRAN和C语言等编写算法程序进行光谱分析。

光谱数据的预处理可以消除或者减少各种因素对光谱产生的干扰，为校正模型的建立打下基础，还可以通过预处理的相关图和光谱分析，对波长范围进行选择和解释。
样品的不同在近红外区产生的光谱差异很小，用眼睛是无法区分和辨认的，这个特点反而对光谱数据的处理带来极大的好处，即吸收带的微小漂移对中心吸收波长吸收强度的影响也是很微小的。数据预处理就是为了减小数据的共线性、维数、背景影响、噪音水平和光谱的基线漂移偏移而采取的光谱转换方法。转换的目的是消除背景干扰，使光谱数据更利于分析和提取有用的信息。
常用的预处理方法有：均值化处理（Centering）、标准化处理（Weighting或者scaling）、平滑处理（Smoothing）、归一化处理（Normalization）、导数处理（Derivatives）、多元散射校正技术（Multiplicative Scatter Correction, MSC）和标准归一化处理（Standard Normal Variate correction, SNV）或者其中若干方法的组合。
最常用和最简单的数据预处理方法是均值化（Thomas 1994）。它是指每一个变量都减去变量的平均值，从而保证变量围绕平均值而变化。
间接校正的线性数学模型（PCA，PCR或者PLS）是以寻找所有变量的最大方差的方向为基础的投影算法，都依靠变量的相对方差。如果不同变量之间的数据差异较大时，应进行标准化处理。标准化处理（Weighting）是用变量的标准偏差作为权重进行处理，例如变量与均值之差被标准差除。这种操作称为标准化处理(Thomas 1994)。
光谱数据的平滑方法是信号预处理中一种常用的经典去噪音方法，包括窗口移动平均法、窗口移动多项式最小二乘拟合平滑法、窗口移动中位数稳健平滑法和粗糙惩罚平滑法等（梁逸曾和俞汝勤，2000）。窗口移动平均法是指光谱上的每一个观察值被左右相邻的若干个观察值（包括观察值本身）的平均值所代替的平滑方法，是最简单的一种平滑方法。由于光谱两端的那些位于窗口宽度内的数据点不能进行运算，故此法有造成边界点信息的损失和光谱波形失真的缺点。窗口移动多项式最小二乘拟合平滑法（S-G平滑，Savitzky-Golay smoothing）在窗口移动运算中采用了多项式最小二乘拟合，是强调窗口宽度中心点的中心作用的加权平均法，多项式的次数可以是二次、三次、四次或者更高的次数（Savitzky and Golay 1964），若采用一次多项式实际就等于窗口移动平均法。一直以来，窗口移动多项式最小二乘拟合平滑法（以下简称S-G平滑）在化学计量学的波谱数据预处理中应用非常频繁，但此参数估计法与窗口宽度（segment）和多项式次数的选取密切相关，不同的选择，结果会不尽相同。
归一化处理（Normalization）是为了使所有数据都处于一个相同的范围内，使得变量和平均值的分布更加均衡。这是一种对光通过样品的长度进行的校正，又分为三种方法：平均归一化、最大归一化和范围归一化。最常用的平均归一化是指把数据矩阵的每一行都除以它们各自的平均值，这样就中和了隐藏因素的影响。其结果是原始的数据变成了围绕数值1为中心而变化；最大归一化是指把数据矩阵的每一行都除以它们中的最大值，得到的新数据中，正的最大值将达到＋1，负的最大值将达到－1；范围归一化是指把数据矩阵的每一行都除以它们中的最大值与最小值的差。
在光谱计算中，导数光谱是非常重要的一种方法，导数计算可以消除光谱的基线偏移、漂移和背景的干扰。在光谱扫描的过程中，由于仪器参数的设置、样品包装等的差异，可能造成扫描光谱的基线平移和旋转。基线平移指的是光谱中任一波长处的吸光度与真值之间存在固定的偏差；基线旋转指的是光谱误差变化中与波长有线性关系的变化量。一阶导数可以消除光谱基线的平移，二阶导数可以消除基线的旋转。由于导数计算往往增加噪音，故导数预处理之前经常需要进行平滑处理。导数预处理方法（Hopkins 2002）主要有point-difference法，gap法，多项式最小二乘拟合求导法（Savitzky-Golay求导法，S-G求导法）和Norris求导法。S-G求导法（Savitzky and Golay 1964）象S-G平滑一样，是将多项式拟合用于求导，移动窗口宽度（segments）的中心点数据被导数所取代，窗口每次只移动一个数据点，直到整个光谱的数据点都得到了导数的结果。窗口移动多项式最小二乘拟合求导法又称卷积（褶积）求导法。Norris求导法（Norris 1984, 2001; Hopkins 2001a, b, 2002）是利用两点间的直线拟合来求导，用此直线的导数值代替这两点间的中点的数据值。Norris求导法也需要先确定两个参数，第一个是窗口宽度（segment），即那些用于求平均值的光谱吸收值所对应的波长点的间隔长度；第二个参数是窗口间隔（gap），指的是两个窗口（segment）之间的波长点的间隔。窗口的大小在S-G导数和Norris求导中都是非常重要的，窗口的尺寸应根据光谱仪器和光谱数据点采集密度的具体情况具体确定，窗口数据点过少，达不到理想的滤噪音效果，窗口过大，则可能丢失有用的信息。
多元散射校正技术（Martens and Næs 1989，Workman and Springsteen 1998）原先是专门用来校正光谱的多元散射影响的。但是许多相似的影响都可以同时得到校正，比如光通过的长度变化问题、基线漂移、颗粒不均、样品池的装载不一致等各种干扰。多元散射校正技术是通过一个理想的参考光谱来达到消除散射和颗粒大小等的影响。所以关键是所有的光谱必须用一个“理想的”光谱来校正。显然能代表所有样品的理想光谱并不存在，首先计算所有光谱的平均光谱作为理想光谱用以校正，然后其他光谱分别与理想光谱建立线性关系，用此线性方程的斜率和截距对原始光谱进行校正，共有三种校正算法，计算方程如下:
全光谱校正：(2.1)
偏移校正：(2.2)
放大校正：(2.3)
其中x是光谱的反应值，a是线性方程的截距，b是方程的斜率。
标准归一化处理，Standard Normal Variate correction，SNV（Workman and Springsteen 1998）与多元散射校正技术的作用相似，主要是用来校正光谱多元散射的影响，但计算方法上不尽相同。标准归一化处理的主要好处是它不需要一个外加的理想光谱，是通过标准偏差对原始光谱和平均值进行校正。

原文由 easyboy 发表:
我们要进该类仪器,还不知道有哪些仪器验收指标的,请指教!

我也是新手,使用BRUCKER的TENSOR27,做涂料和薄膜金属在线检测

新手，使用Bruker的MPA近红外仪，感觉不错，刚刚接触，做药物的定性分析，明年单位会再买一台做定量分析，还请大家多多指教！

刚开始用FT-IR做化学溶液定性分析。

大家有谁在用瑞典波通公司的DA7200仪器？

原文由 zab 发表:
我想来这里的朋友肯定都是对近红外有所接触吧，希望大家来这里说说，你们用的是什么仪器，做哪方面的研究工作？大家畅所欲言吧，彼此交流才会有收获嘛，多为近红外版的繁荣做点贡献吧

邀请您参加关于建立近红外测量石油轻质燃料标准方法的讨论，帖子已经在论坛上，谢谢！

大家可以加入这个 近红外交流QQ群 3094595,共同讨论遇到的问题和经验.