专利名称：基于支持向量机的软测量仪表建模方法
技术领域：
本发明涉及到一种软测量仪表建模方法，具体是一种基于支持向量机的软测量仪表建模方法。用于测量技术领域。
背景技术：
在现代流程工业中，大量关键性过程状态、产品质量等参数缺乏在线直接测量手段。这以成为制约生产安全、产品质量、质量及生产效益进一步提高的瓶颈。软测量技术正是解决此类问题的有效途径。
软测量技术是当前控制领域的一个研究热点。其核心技术就是建立软测量仪表的模型，目前软测量仪表的建模方法主要有机理建模、多元统计方法、卡尔曼滤波方法、人工神经神经网络、基于模型的回归方法、�：呒椒ǖ鹊�。这些方法在应用中取得了一定的效果。经文献检索发现，Luo J.and Shao H..Softsensing modeling using neural fuzzy system based on rough set theory.《Proceedings of 2002 American control conference》(“应用人工神经网络的方法建模”，《美国控制会议》，2002，1543-548，Alaska)，该文提到人工神经神经网络的方法；利用粗糙集确定网络结构，再用人工神经神经网络进行建模，有良好的学习性能(学习误差0.01)，然而其泛化能力不令人满意(泛化误差1.5514)。但是目前的方法在不同程度上存在着一些问题，很难照顾到各个方面。这些方法所存在的一些问题严重地阻碍了软测量的进一步的应用。小样本、非线性及要求模型泛化能力强和鲁棒性强等问题是软测量建模中急需解决的问题。支持向量机是在统计学习理论体系下产生的一种新的、非常有力的通用机器学习方法。它较好地解决了以往困扰很多学习方法的小样本、非线性、过学习、高维数、局部极小点等实际问题，具有很强的泛化能力。支持向量机则为软测量仪表的建模提供了新的思路。
发明内容
本发明的目的是针对现有软测量建模技术存在的以上不足和缺陷，提供一种基于支持向量机的软测量仪表建模方法，给出了支持向量机最优模型的选择方法、支持向量机(包括标准支持向量机和最小二乘支持向量机)最优模型的确定方法，使其克服了支持向量机在应用中存在的模型确定困难的问题，为支持向量机的软测量建模建立了可靠的基础和依据。
本发明是通过以下技术方案实现的，本发明包括两个部分第一、基于支持向量机的软测量建模基于支持向量机的软测量仪表建模属于黑盒子一类的模型。输入与输出的影射关系可由支持向量机来完成。可测变量X、对象的控制输入u以及对象可测输出变量y作为软测量仪表的输入变量，被估计变量的最优估计为输出。在具体建立软测量模型时，从输入变量中选择一组与主导变量密切相关的一组二次变量，作为支持向量机的输入，离线分析计算值或大采样间隔的测量值Y作为软测量模型的输出，用f(x)=Σi=1laiK(x,xi)+b]]>实现输入输出的非线性函数关系。
第二、最优模型的选择在进行支持向量机软测量建模时，最优模型的选择是非常关键的工作，模型的好坏直接影响着软测量仪表的性能。软测量模型中有两类参数，即正规化参数和核参数(如高斯核中的核宽度σ)，是非常重要的参数。下面给出最优参数选择方法。
(一)确定最优正规化参数正规化参数控制着最小训练误差和最小化模型复杂度的某种折衷。该方法将贝叶斯统计和支持向量机算法相结合，给出了确定优正规化参数的方法。贝叶斯推断理论提供了一种概率手段，为数据建模提供了一个统一的框架。贝叶斯推断分为三个准则，其中在贝叶斯第二准则下，利用贝叶斯参数推断模型对正规化参数进行推断。首先假设训练数据是独立同分布的，参数的分布满足高斯分布。然后根据贝叶斯定理，得到正规化参数的后验分布，将正规化参数转换为参数有效数的函数。最后利用极值原理确定标准支持向量机和最小二乘支持向量机的正规化参数。
正规化参数λ(λ=1c)]]>的最佳值λMP可用下式求得2λMPEWMP=γ,---(1)]]>
其中EW=12wTw,]]>ED=Σi=1lL(yi,f(xi)),]]>γ＝l-λtraceA-1称为参数的有效数，wMP表示最优的w，A=∂2(λEW+ED)∂w=▿2(λEw+Σi=1lL(yi,f(xi))).]]>通过(1)即可求出最优正规化参数。在标准支持向量机和最小二乘支持向量机中，γ有着不同的获得方法。
1).标准支持向量机中损失函数分别取L(yi，f(xi))＝ξi，L(f(xi),yi,)=ξi*.]]>计算中ξi和ξi*由下面函数代替ξi＝(yi-f(xi)-ε)·s(yi-f(xi)-ε)，ξi*=(f(xi)-yi-ϵ)·s(f(xi)-yi-ϵ),]]>其中s(u)=11+e-u.]]>因此，A=▿2(λEw+Σi=1l(ξi+ξi*))=λI+B,]]> 其中，、ri＝r(yi-f(xi)-ε)+r*(f(xi)-yi-ε)，r(yi-f(xi)-ε)＝(yi-f(xi)-ε)·s″(yi-f(xi)-ε)+2s(yi-f(xi)-ε)，r*(f(xi)-yi-ε)＝(f(xi)-yi-ε)·s″(f(xi)-yi-ε)+2s(f(xi)-yi-ε).
2).最小二乘支持向量机中损失函数取为 因此A=▿2(λEw+Σi=1lL(yi,f(xi)))=λ·I+B,]]> 所以支持向量机的有效数为 其中，用ρl表示B的特征值，N(N≤l)表示B的非零特征值的数目。
(二)确定最优核参数核参数从某种程度上定义了高维特征空间，反映了数据的先验知识。该方法将贝叶斯统计和支持向量机算法相结合，给出了确定优正规化参数的方法。在贝叶斯第三准则下，支持向量机估计算法的最优核参数选择可以看作为贝叶斯参数估计理论对核参数的推断估计，这可以看作模型比较的过程。首先利用贝叶斯定理，得到核参数的后验分布。然后利用极值原理最大化模型的后验。最优核参数的确定与采用的核相关，高斯核是一种性能优良的、应用最广的核，且满足雪佛莱原则。最后得到高斯核标准支持向量机和最小二乘支持向量机的最优核参数。
对于核参数最大化ln p(H/D)，可得最优的核参数。
∂lnp(H/D)∂σ=0---(2)]]>对于高斯核核参数的确定方法1)标准支持向量机的最佳核参数σ=|(λMPΣi;j=1l(ai-aj)(a*i-a*j)exp(-(xi-xj)22σ2)(xi-xj)2λMPl-λMPtraceA-1trace(A-2∂K‾∂σ)+trace(A-1(∂K‾∂σ)))13|---(3)]]>2)最小二乘支持向量机的核参数σ=|(λMPΣi;j=1lai·ajexp(-(xi-xj)22σ2)(xi-xj)2λMPl-λMPtraceA-1trace(A-2∂K∂σ)+trace(A-1(∂K∂σ)))13|---(4)]]>目前的软测量建模方法在不同程度上存在着一些问题，很难照顾到各个方面。本发明给出了基于支持向量机的软测量建模方法。针对支持向量机中正规化参数和核参数的选择困难问题，本发明直接给出了具体的参数确定方法。首先利用正规化参数的后验分布和极值原理，迭代确定标准支持向量机和最小二乘支持向量机的正规化参数，然后在贝叶斯第三准则下，迭代确定准支持向量机和最小二乘支持向量机的核参数，一般迭代20次左右就可得到最优参数。本发明避免了经验方法中过多的依赖于设计者的经验和交叉验证方法中计算量太大的缺点。本发明的参数确定方法有严格的理论基�。壹蚪�、方便、易用，非常适合于实际实用。
图1为基于支持向量机的软测量仪表的基本结构示意2为软测量仪表中的软测量模型示意3为本发明实施例精馏塔简化流程图。
具体实施例方式
如图所示，图1为基于支持向量机的软测量仪表的基本结构示意图，该图表示了支持向量机软测量仪表的框架和基本组成。图2为软测量仪表中的软测量模型示意图，该图表示了基于支持向量机的软测量模型的内部结构。方法实施步骤如下步骤1根据工艺分析和操作经验进行二次变量的选择。
步骤2对样本数据进行归一化预处理。
首先对属性值进行归一化，xi=xi-min(xi)max(xi)-min(xi),]]>归一化后的属性值xi∈
。对属性值进行标准化变换x‾i=1nΣj=1nxij,]]>σi2=1n-1Σj=1n(xij-x‾i)2,]]>xij*=xij-x‾iσi,]]>其中 是变换后的数据，j＝1，…，n是维数。
步骤3选择核函数和支持向量机估计算法。(标准支持向量机或最小二乘支持向量机。)步骤4设定初始正规化参数和核参数的参数值。用样本数据对支持向量机进行训练，获取支持向量模型中的系数ai和b，建立支持向量机软测量模型。
步骤5对计算好的系数ai，b，用准则2推断迭代求解支持向量机软测量模型的最优化正规化参数c(c=1λ).]]>一般当两次迭代的相对误差＜5％时，即可认为已收敛到最优值。或控制迭代步数，一般建议在20-30次。
步骤6对计算好的系数ai，b以及最优化正规化参数c，用准则3推断迭代求解支持向量机软测量模型的最优化核参数σ。一般当两次迭代的相对误差＜5％时，即可认为已收敛到最优值。或控制迭代步数，一般建议在20-30次。
步骤7用建立好的最优软测量模型进行估计和预测。
以下提供具体的实施例，对本发明技术方案作进一步的了解实施例工业精馏塔催化裂化装置(FCCU)是石油二次加工中的关键之一。FCCU一般由反应再生，分馏，吸收-稳定和气体脱硫等子系统所组成。分馏塔的主要产品是粗汽油，轻柴油和油浆。将基于支持向量机的软测量应用于石家庄炼油厂分馏子系统中轻柴油凝固点的估计。
图3为精馏塔简化流程图。首先进行二次变量的选�。莨ひ辗治觯虼耍槌鑫露龋�19层汽相，一中回循环量，一中循环抽出温度及一中循环返回温度五个变量作为估计凝固点的二次变量，轻柴油凝固点(Frozen point)为主导变量构造支持向量机软测量仪表。
实验结果根据贝叶斯参数选择方法，标准支持向量机软测量仪表的正规化参数取c＝3.063，核参数取σ＝0.760，最小二乘支持向量机软测量仪表的正规化参数c＝20.82，核参数σ＝0.034。表1为贝叶斯框架下支持向量机的软测量仪表的实验结果。将本发明的结果与背景技术中描述的“人工神经神经网络的方法”的结果进行比较，采用了与背景技术中所述方法相同的数据源。该文献中用了150个训练数据，本发明用了100个训练样本。本发明所得结果均远好于背景技术中方法的结果。
表1 贝叶斯框架下支持向量机的软测量仪表的实验结果
权利要求
1.一种基于支持向量机的软测量仪表建模方法，其特征在于，包括两个部分第一、基于支持向量机的软测量建模基于支持向量机的软测量仪表建模属于黑盒子一类的模型，输入与输出的影射关系由支持向量机来完成，可测变量X、对象的控制输入u以及对象可测输出变量y作为软测量仪表的输入变量，被估计变量的最优估计为输出，在具体建立软测量模型时，从输入变量中选择一组与主导变量密切相关的一组二次变量，作为支持向量机的输入，离线分析计算值或大采样间隔的测量值Y作为软测量模型的输出，用f(x)=Σi=1laiK(x,xi)+b]]>实现输入输出的非线性函数关系；第二、最优模型的选择在进行支持向量机软测量建模时，软测量模型中有两类参数，即正规化参数和核参数，是非常重要的参数，最优参数选择方法如下(一)确定模型的最优正规化参数贝叶斯推断分为三个准则，在贝叶斯第二准则下，利用贝叶斯参数推断模型对正规化参数进行推断，首先假设训练数据是独立同分布的，参数的分布满足高斯分布，然后根据贝叶斯定理，得到正规化参数的后验分布，将正规化参数转换为参数有效数的函数，最后利用极值原理确定标准支持向量机和最小二乘支持向量机回归估计算法的正规化参数；(二)确定模型的最优核参数在贝叶斯第三准则下，支持向量机分类算法的最优核参数选择属于贝叶斯参数估计理论对核参数的推断估计，是模型比较的过程，首先利用贝叶斯定理，得到核参数的后验分布，然后利用极值原理最大化模型的后验，最后得到高斯核标准支持向量机和最小二乘支持向量机回归估计算法的最优核参数。
2.根据权利要求1所述的基于支持向量机的软测量仪表建模方法，其特征是，所述的确定模型的最优正规化参数，具体实现如下正规化参λ(λ=1c)]]>的最佳值λMP通过下式获得2λMPEWMP=γ,]]>其中EW=12wTw,]]>ED=Σi=1ll(yi,f(xi)),]]>γ＝l-λtraceA-1被称为参数的有效数，wMP表示最优的w，A=∂2(λEW+ED)∂w=▿2(λEw+Σi=1lL(yi,f(xi)));]]>通过此式求出最优正规化参数，γ通过以下方法获得1).标准支持向量机模型中损失函数分别取L(yi，f(xi))＝ξi，ξi由下面函数代替ξi＝(1-yi(w·(xi)+b))·s(1-yi(w·(xi)+b))，其中s(u)=11+e-u,]]>因此A=▿2(λEw+Σi=1l(ξi+ξi*))=λI+B,]]> 其中r1＝r(1-yi(w·(xi)+b))＝(1-yi(w·(xi)+b))·s″(1-yi(w·(xi)+b))+2s(1-yi(w·(xi)+b))2).最小二乘支持向量机模型中损失函数取为 因此A=▿2(λEw+Σi=1lL(yi,f(xi)))=λ·I+B,]]> 因而支持向量机模型，包括标准支持向量机和最小二乘支持向量机，其有效数由下式获得 其中，用ρ1表示B的特征值，N(N≤l)表示B的非零特征值的数目。
3.根据权利要求1所述的基于支持向量机的软测量仪表建模方法，其特征是，所述的确定最优核参数，具体实现如下对于核参数最大化ln p(H/D)，得最优的核参数，∂lnp(H/D)∂σ=0]]>对于高斯核核参数的确定方法1)标准支持向量机的最佳核参数σ=|(λMPΣi;j=1l(aiajyiyj)exp(-(xi-xj)22σ2)(xi-xj)2λMPl-λMPtraceA-1trace(A-2∂K‾∂σ)+trace(A-1(∂K‾∂σ)))13|]]>2)最小二乘支持向量机的核参数σ=|(λMPΣi;j=1laiajyiyjexp(-(xi-xj)22σ2)(xi-xj)2λMPl-λMPtraceA-1trace(A-2∂K∂σ)+trace(A-1(∂K∂σ)))13|]]>
全文摘要
一种基于支持向量机的软测量仪表建模方法。用于测量技术领域。包括两个部分基于支持向量机的软测量仪表建模输入与输出的影射关系由支持向量机来完成，可测变量、对象的控制输入以及对象可测输出变量作为软测量仪表的输入变量，被估计变量的最优估计为输出，在具体建立软测量模型时，从输入变量中选择一组与主导变量密切相关的一组二次变量，作为支持向量机的输入，离线分析计算值或大采样间隔的测量值作为软测量模型的输出；在进行支持向量机软测量建模时，首先利用正规化参数的后验分布和极值原理，迭代确定标准支持向量机和最小二乘支持向量机的正规化参数，然后在贝叶斯第三准则下，迭代确定准支持向量机和最小二乘支持向量机的核参数。
文档编号G01D21/00GK1563902SQ20041001753
公开日2005年1月12日 申请日期2004年4月8日 优先权日2004年4月8日
发明者阎威武, 邵惠鹤 申请人:上海交通大学
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
