主题：【分享】光谱分析技术的现代化

浏览0 回复0 电梯直达

Insm_68f50e17

结帖率：

100%

关注：0 |粉丝：0

新手级：新兵

发表于：2024/06/24 21:27:24 楼主管理分享倒序浏览只看楼主回复私聊

现代仪器研制技术的进步以及与化学计量学方法的日趋融合，使得近红外光谱分析系统，无论是硬件系统(即近红外光谱仪、配套专用测量附件等)的稳定性、光学一致性，还是软件系统(即仪器操作控制软件、数据分析软件等)的人机对话功能，复杂数据处理和数学建模功能，均得到全面提升。加之，近年来物联网技术、云计算技术的兴起，特别是基于近红外光谱数据库与相关领域知识的数据挖掘技术应用，以及建模服务系统的网络化，近红外光谱分析技术服务于产业现代化，无论是应用于离线分析，还是在线过程监测，必将发挥越来越重要的作用，量测信号的数字化和分析过程的绿色化将赋予该技术典型的时代特征，可能成为分析的巨人。

1.通用光谱数据库

从人类开启信息化社会的大幕，网络形态飞速发展，从局域网、互联网到移动互联网，信息化进程的脚步从未停歇。“物联网+行业应用”的模式已在智慧城市、智慧农业、智能交通、智能工业和智慧医疗等细分领域得到规模化的应用。遗憾的是，对于物质成分的传感能力仍是物联网感知层的薄弱环节。传统实验室广泛使用的质谱、色谱和化学分析方法受其技术特点所限，很难在需要微型化、低成本和实时性的物联网领域直接应用。近红外光谱凭借其自身具有的独特优势，正在成为物联网重要的感知技术。对于近红外光谱的定性定量分析，校正模型和其所需的数据库是必不可少的组成部分，它们很大程度上决定了近红外光谱的分析效率。光谱数据库在准确地解译关于各类化合物的光谱以及分析物物质构成的图像信息、快速地实现未知分析物的匹配、提高分析能力和分类识别水平方面起着至关重要的作用。由于光谱仪能产生庞大的数据量，建立通用光谱数据库，应用先进的计算机技术来保存、管理和分析这些信息，是提高光谱或者图像信息的分析处理水平并使其能得到高效、合理之应用的唯一途径，并给人们认识、识别及匹配分析物提供了基础。近红外光谱技术的未来在于大数据，而大数据的关键是建立通用的数据库。

近红外光谱数据库是在软硬件平台上基于大量有代表性样本的光谱及其基础数据构建起来的，是极其宝贵的资源，也是未来近红外光谱工作者的一项重要工作，即在仪器标准化的基础上，依照不同领域需求分门别类地建立模型数据库，并在云平台上实现共享。一方面，构建官方及商业化的“互联网+近红外光谱分析”模式、网络模型维护与共享平台，不断扩充完善模型数据库，尤其是粮食、药品、奶制品、肉类、纺织品、石化产品、饲料、烟草、土壤的光谱模型库等，使其在实际应用中发挥应有作用。从任何近红外光谱仪器获得的相同分析物的通用光谱差异最小，不会对后续的光谱数据分析造成明显的影响，也就是说用一台仪器采集的光谱建立的模型预测同一组样品在本台仪器上测量的光谱，与使用本台仪器的模型预测另一台仪器测量同是一组样品的光谱所得到的结果无显著性的差异。当然，这里所说的通用光谱数据库包含了可实现网络平台光谱数据的标准化步骤，光谱仪则是这个网络环境中一个“传感器”和“预测器”。

另一方面，当手机光谱仪普及后，针对日常生活的大宗商品，例如食品、纺织品等，可以采用民众对光谱进行标识建模的方式，建立民间的、公益的、集体所有的光谱模型数据库，所测试的品质也将更加亲民化，例如食用油口味、牛肉嫩度、茶叶口感、内衣服装的舒适度等，形成人人更新、人人享用的工作模式。物联网正以开放、自由、连接、协同和共享的特征开辟一个崭新的时代。共享的核心是协作，未来的模型数据库将会以规模化和个性化的方式合作建立和维护，可以让成千上万的人群以协作方式进行互动，从而带来经营和使用上的重大变革。一旦通用的近红外光谱数据库建成，并得到完善，国内外的行业工程师、化学家、数学家和计算机学家等将会密切协作，通过归纳和演绎等多种手段相结合的方式从大数据中提取有效信息，建立全球化的智能光谱模型库。用户只需在近红外光谱仪器终端的人机对话界面内选择相应的被测样品类选项，然后按下光谱采集键，系统将自动完成数据采集、传送云端、光谱分析、性质预测、报告回送等功能，大大弱化对用户的专业要求，使食品、药品、日用百货品等品质评估的大众化成为现实。

2.云化与深度学习

云计算可能是近红外光谱分析现代化的另一种云化服务模式。资源的高度集中与整合使得云计算具有很高的通用性，用户只需将光谱数据通过网络传输到云端计算中心，“中心云”或“边缘云”便能够迅速、可靠和节能地响应用户需求，进行数据处理，提供分析服务，例如判断农产品大豆的生态环境、品种、等级以及相应的理化性质等特征信息。基于云端大数据模型预测大豆的质量稳定性与产量的历时性变化趋向，辅助基层农民改进或调整种植措施。

构建云计算智能化服务系统通常需要建立大数量样本近红外光谱校正模型。样本量越大，对网络环境中大体量的数据资源、计算机性能和探索性数据分析算法的准确性、运算速度的要求就越高，如在建模过程中组织训练集或校正样本集、清洗异常样本、筛选适宜的建模数据等等。传统的建模方式和流程效率低、适应性差。基于网络资源进行化学计量学网络计算，现代云计算技术为其搭建了高灵活性平台。如何选择诸如Hadoop、Spark等生态圈技术，通过分布式计算提升定性、定量建模效率，并结合长期积累的建模经验、领域知识(包含相关的波长或波段选择、光谱预处理及其参数设置、模型误差水平控制等)，实现自动化建模，共享应用网络资源优势，平衡计算负载，是实现近红外光谱分析网络化云计算所要解决的问题。无论是对近红外光谱定性定量分析的普通用户，还是对近红外光谱数据进行深度挖掘的高级用户，都具有较好的便利性和实用性。

深度学习是一种特定类型的机器学习，具有强大的能力和灵活性，已在计算机视觉、语音识别、自然语言处理等领域广泛使用。深度学习的核心是特征学习，从原始输入数据开始将每层特征逐层转换为更高层更抽象的表示，在分类和预测时提取数据中有用信息，具有潜在的自动学习特征的能力。“深度”通常指神经网络中的隐藏层数，层数越多，网络越深。传统的“浅度”神经网络只包含2层或3层，而深度网络可能包含多达十几或者数十个隐藏层。

由于分析物样品本身具有多样性和复杂性，其光谱信号又受环境条件、测量仪器等各种因素干扰，会直接影响定量或定性分析结果的准确性。为消除这些干扰，常使用预处理方法处理光谱数据。然而，从数十种预处理方法中选择出合适的预处理方法或其组合是比较困难的，原因是预处理方法的选择除了与光谱和预测组分有关，还与定量和定性校正算法有关。数据驱动的深度学习方法推动着人工智能技术的发展，它可以在不需要手动设计特征的基础上发现大数据集中的复杂结构，并从数据中提取关键特征，已经在二维和三维数据方面得到广泛应用。对于近红外光谱数据，卷积神经网络可从光谱中自动提出关键特征，在削弱测量环境、仪器的干扰信号的同时，能够实现光谱数据端到端的分析，建立的模型在保证预测精度的同时还具有较强的扩展性和鲁棒性。

深度学习的另一个特点是可以使用预训练模型，将在源领域学习过的模型，应用于目标领域。例如，使用A品牌光谱仪测量的光谱数据(源域)建立的小麦蛋白质回归模型(预训练模型)，保持该回归模型的卷积层的参数不变，使用B品牌光谱仪(目标域)测量的少量样本，应用迁移学习方法重新训练全连接层网络参数，将回归模型在不同厂商仪器之间进行迁移，训练出的新模型即可适配B品牌光谱仪。在图像领域，广大的互联网用户通过众多的方式在ImageNet上手动注释了超过1400万张图片，基于这些海量开源的图像数据集训练出的预训练模型网络参数量过亿，可以识别数万个类别。在近红外光谱领域，未来随着深度学习算法的发展，收集大量不同仪器、不同样品的光谱，有望建立一个超大规模的预训练模型并开源，互联网用户可使用本领域的少量样品，对预训练模型进行迁移学习，便可训练出本领域预测能力较强的模型。深度学习势必会给近红外光谱领域带来更多新的应用机会，基于该技术可构建近红外光谱“最强大脑”，使近红外光谱分析更便捷、更高效、更智能。