• 咨询热线:400-888-5135

光谱数据的预处理方法及光谱特征的提取方法介绍

时间:2024-03-12 点击:242次

高光谱成像仪在数据采集的过程中,会获取到大量的光谱数据,但是这些光谱数据中会含有大量的干扰因素,需要对光谱数据进行预处理,提取有特征的光谱数据,以保证分析结果的准确性。本文对光谱数据的预处理方法及光谱特征的提取方法做了介绍。

高光谱成像仪

光谱数据的预处理方法:

光谱预处理可以消除光谱数据采集中由仪器产生的噪声、背景干扰、周围杂散光干扰、光散射、震动以及样本自身不能确定性因素(如大小、颜色等)的影响,提高实验校正模型对预测集的预测精度。目前,采用的光谱和图像预处理方法有:

1.SG平滑处理

SG平滑是用平滑点前后特定点的平均和拟合信息来代替平滑点信息,达到平滑的效果。常用的平滑方法有Savitzky-Golay多项式卷积平滑、指数平均平滑和移动式平滑等。

2.标准化归一处理

标准归一化(SNV)是用来消除由样本反射光散射而引起的光谱误差,SNV的应用是在假定各波长点处的吸光度值满足正态分布的基础上,针对每一条光谱进行标准化校正。

3.多元散射校正

多元散射校正(MSC)是用来消除样本反射光谱和光源扩散投射中对光谱数据的影响,消除样本由此而造成的光谱差异。

4.零位线校正处理

零位线校正(Baseline)可以消除仪器的背景或漂移对信号的影响,它是项目储存中在特定时期的一个项目快照,提供一个正式标准,并且只有通过授权之后才能更改。在绘制初期零位线后,以后每次变更都以上一次形成的零位线进行一次差值,直到建成下一个零位线为止。

5.导数处理

导数处理可以用来消除采集光谱时受平缓背景和基线漂移的干扰,还可以强化谱带特征、克服谱带重叠等;如一阶导数可以消除噪声中与波长无关的漂移噪声,二阶导数可以消除那些与波长呈线性相关的漂移。

6.中值校正

中值校正(MF)用来消除采集光谱数据中数值线性突变值,采用平滑点前后特定点的平均来代替平滑点信息,以得到平滑的效果。


光谱特征的提取方法:

1.连续投影法(SPA)

连续投影算法(SPA)用来提取特征来量的一种方法,可以消除波长变量间共线性产生的影响,同时可以有效的避免信息重叠,提取出具有最小共线性和最低冗余度的特征波长,能够以较小的信息量来表示大多数样品的光谱信息,简化了数学模型,广泛应用在光谱实验特征波长的提取中。

该方法的基本原理是选择一个初期波长,然后采用循环选择的方式向前推进,通过计算所选波长在未选入的波长上的投影,选出投影向量的最大波长并将该向量引入波长组合,直至本次循环截止。

2.主成分分析(PCA)

主成分分析(PCA)是一种数据降维方法,其原理是把多个变量进行线性计算重新组合,生成较少变量的方法。不仅可以很好的避免信息重叠、数据的简化,还可以提取出最具代表性的变量子集。该方法通常用来多元统计分析,即将原来具有一定相关性的多维变量进行了重新的组合,降低变量的维度并用来描述原有指标的目的。


光谱数据的建模方法:

1.偏最小二乘(PLS)

偏最小二乘法(PLS)是基于光谱数据中主要成分的逐步提取和变量的添加对多元数据进行统计,利用数学模型逐步检测其显著性,广泛应用在数学建模中。具有以下优点:

①计算时可以根据实验要求使用全部信息进行数据统计,也可以用部分信息进行统计;

②PLS模型在计算过程中,数据矩阵的分解和回归是交互同时计算的,得到的特征值向量直接与被测组分进行线性相关;

③PLS方法一般用于较复杂的数学模型分析中。

2.主成分回归(PCR)

主成分回归(PCR)是在不丢失变量主要信息的基础上,选择维数最少的新变量来代替原始变量,达到降维目的一种多元统计分析方法。

PCR模型是由主成分分析和多元线性回归组成。主成分回归利用全谱或者部分光谱数据,计算载荷、向量;可以消除多元线性回归中的共线问题、变量数使用限制问题和噪音滤除问题。

3.最小二乘支持向量机(LS-SVM)

LS-SVM模型是把已经选好的非线性向量映射到高维空间,然后进行超平面(最优决策函数)构造提取最优的分类,是一种结构风险最小的多元统计方法。该方法既可以将原始空间的线性进行分解,还可以对数据进行分类处理。

LS-SVM是对SVM的改进,是将SVM的二次规划进一步做了简化,可以通过样本建模集与待测样本集建立空间映射函数直接得出线性方程组的解,增强其使用性。

QQ咨询

在线咨询真诚为您提供专业解答服务

咨询热线

400-888-5135
7*24小时服务热线

返回顶部