数学建模处理数据的方法篇1
关键词：元算法；数学模型库；扩展元算法；专题数据处理
中图分类号：tp311文献标识码：a文章编号：1009-3044（2015）31-0041-02
专题数据处理模型库是指通过各类数学模型，充分挖掘其空间分布规律、关联规律、分类规律等内容，从而获取专题数据处理所需的信息，为空间分析和制图提供重要支持。专题数据处理数学模型库广泛应用在非空间特性数据分析、挖掘空间数据、专题地图制图等多个领域。目前，多数制图系统和GiS系统中，数据处理主要借助函数、插件等固定形式完成算法，哪怕建立的模型库管理系统中已存在的模型，例如：针对环境、农业、交通等建立模型库，已有的模型库重用性、扩展性效果不佳，应用至其他领域必须实施较大改动，需要重新编制算法模型或相对应的管理系统。现阶段，GiS和专题制图技术的不断发展，模型库设计方法无法满足数学模型共享性、重用性的要求，也无法实现用户对动态生成数据模型和智能化管理方面的要求。分析上述问题，根据已有的数学模型库系统展开研究，提出基于元算法数学模型库系统，在系统中增设扩展元算法模型库，介绍可视化生成数学模型库，将设计的数学库模型系统挂连至外界GiS框架内方便进行专题作图，获得良好的应用效果。
1简述元算法相关概念及特征
元算法是指从数学模型中抽象而来最具体的算法单元体，其可以标识算法模型的一般特征，通过聚合建立的数学模型具有共享性、重用性的特点。同时，具体使用过程中，必须综合考虑各领域数学模型的特殊性，必须建立针对具体领域所使用的元算法模型。元算法主要特征如下：1）元算法应概括所有专题数据处理算法的特征，换句话来说，任何一个算法均由多个元算法组成，上述元算法过于细化。2）创建的元算法专题数据处理模型采用程序的表示方法，这要求每个算法必须来自客观实际，确保能够被程序应用，并非空穴来风设计。3）专题数据处理模型可在通常情况下，元算法作为算法中的最小单元，不可再分，单元算法也不能过于具体化，太具体会加大重复工作量。建立的数据库系统在确保概况性的基础上，保证元算法具有不可分性。
2设计在元算法基础上的数学模型库
模型库系统平台主要功能是管理或维护模型资源，具有模型分析、模拟功能。基于元算法设计数学模型库系统，该系统的特点主要表现在底层模型库组织方式和表达方式上。由于元算法模型具有普遍性、概况性的特点，采用元算法模型粒度控制尺度设置数学模型库，实现对数学模型资源的管理和维护，为各个领域的专家、用户提供管理控制工具。这种设计形式与已有的模型库系统比较具有以下优点：1）具有简捷性的特点：本系统与原有模型库系统本质的区别在于，该系统是从最基本的模型表示方法入手，把GiS中的算法分解成具有普遍意义的元算法段元。合理控制模型六度确保用户能够自由构建所需的算法模型，在一定程度提升算法模型设计的弹性。2）通用性和合理性的特点：本系统针对GiS中反复出现的数据处理算法，把算法管理逐渐从GiS中进行分离，完成数据处理与数据可视化分离的操作，借助模型库系统便于处理数据。
3建立元算法专题数据处理数学模型库
1）元算法模型主要分类
为便于管理，不得将元算法当做一类进行处理，专题数据处理中把元算法细化为基本元算法子集和扩展元算法子集。专题数据处理模型库系统中，为便于管理，根据元算法模型的参与运算目数划分，主要包括单目和双目元算法模型。参与运算的预案算法有的是单目的，例如：正弦、绝对值等；有的是双目运算，例如：加法、指数运算等等，具体情况如图1。
图1数学模型库“基本元算法”子集内容
2）扩展元算法子集内容
扩展元算法是指由基本元算法组合而成的形式，在实际使用中常见的特殊元算法。对专题数据进行处理过程中，所用的扩展元算法主要来源于以下方面：①包括矩阵、方程等这类相对复杂的运算法，这种复杂的算法主要由基本元算法组合而成，建立数学模型系统也比较复杂，例如：矩阵乘法运算等。②在模型库中重复出现的特殊算法，这些算法在专题数据处理中频繁出现，例如：数据数字特征算法，为防止重复繁琐的算法，必须将这类特殊算法进行提取当做扩展元算法处理，内容如图2。
图2扩展元算法子集主要内容
3）专题数据处理数学模型库内部组织
专题数据处理模型库系统采用向对象法描述模型库的组织体系结构，实现合理管理模型库内部各种算法的目的。以UmL部分算法为例进行设计，如图3。
图3元算法数据模型库组织结构图
图3中mathmodel设置一个公共结构，上述算法模型以直接或间接实现该公共接口，确保每种算法模型采用恰当的变量对象参与运算中。中间第一层接口依据模型变量角度进行划分，依据每个算法参与变量的角度选定相应的实现接口，该接口实现处理输出结果的功能。最下层表示单目元算法和双目元算法，每种算法依据运算目数选定继承基类。每一个算法类实现并继承设定的基类和接口，完成所继承接口与基类的各种算法，设计变量数值和类型后参与运算中。上述设计不单保障算法模型每个变量数值，也确保其实施统一的文件格式输出，达到各算法模型之间相互连通的目的。
4）基于元算法数学模型生成
数学模型可视化生成借助多个元算法模型进行组合或嵌套，是指在原有的模型库系统正确引导下下，挑选创建数学模型库系统所需的元算法部件，无需再次实施编程即可创建所需的数学模型库。
基于元算法主要采用两种方式设计数学模型库，一种在元算法模型基础上创造新的数学模型库，如：计算一条直线上两点之间的距离，数学表示公式为：[y=x1-x2]，该公式所用的数学模型有：减法元算法（[（x1-x2）]）和绝对值元算法（[x1-x2]），采用上述两组元算法模型组建所需的数学模型。另一种方法是借助原有的数学模型和元算法建立新的模型。如：专题数据处理过程中常用的界限等差分级模型，[ai=L+iH-Lm]，该数学公式中的[ai]表示第i个分级的界限值，m代表该式子的分级数，采用H、L分别表示最大值和最小值，间隔递增模型（[ai=L+iH-Lm+i（i-2）2D]），其中D表示公差值，通过分析可知，前面的数学公式是后者一部分，建立后面公式的数学模型时，可将前者的模型当做子模型直接参与建立数学模型库中。例如：在建立等比分级数学模型（[ai=L（HL）Vm]）和间隔等比数学模型（[ai=L+1-qi1-qm（H-L），q表示公比值]）过程中，其可视化生成步骤如下：
首先，创建模型所需的变量因素，设定其所需的参数。其次，依据系统中通用的元算法模型创建有关的子数学模型，主要由单目、双两类数学模型组成，上述数学公式的L、H均为单目模型，其余因子为双目数学模型。最后，把建立的新模型导入专题数据处理模型，根据数学模型生成步骤，创建专题数据处理数学模型库系统。
4结束语
总之，根据元算法数据模型库设计思路，深入研究专题数据处理常用的数学模型库，设置相对应的扩展元算法模型，建立在元算法基础上的专题数据处理数学模型库。这种数学模型库系统具有较好的共享性、可重用性，能有效提升数学模型库开发效率和利用率，值得在各个领域推广使用。
参考文献：
[1]叶文婷.数学算法对计算机编程的优化[J].通讯世界，2015，15（9）：234-235.
[2]李国庆.基于Gep函数发现的决策模型研究[J].许昌学院学报，2014，33（5）：53-56.
[3]聂良涛，易思蓉，李阳，等.数字化工务工程基元模型库建模方法研究[J].铁道建筑，2014，9（2）：90-94.
[4]徐涛，黄子辉.基于数字水印技术的三维网格模型库版权保护系统[J].惠州学院学报，2012，32（6）：59-62.
[5]李欣凯.基于分布参数微元算法的35kV线路舞动数学模型的应用[J].煤矿机电，2014（4）：46-48，52.
[6]邱爱兵，史军杰，冯肖亮，等.基于模型库的船舰组合导航信息融合算法[J].中国航海，2013，36（3）：5-9.
数学建模处理数据的方法篇2
【关键词】混合建模；支持向量机；双酚a催化剂活性；软测量
1.引言
随着工业过程对象的日益复杂，在很多应用中，仅仅靠控制常规的测量参数很难达到让人满意的控制效果，而且很多重要的指标都很难在线获得，所以促使软测量技术产生并得以发展。比如双酚a催化剂活性，双酚a的生产工艺主要采用阳离子交换树脂法[1]，以酸性阳离子交换树脂为催化剂，阳离子树脂催化剂随着时间的变化，其活性不断降低，其下降的程度直接影响缩合反应的程度，所以它是直接影响生产双酚a的重要因素，因此，研究双酚a催化剂活性的变化是既有理论价值，又有重要的工程意义。看过多篇文献，知道催化剂活性建模方法可以采用常规的时间序列建模方法比如支持向量机，但是这是完全基于历史数据的黑箱模型，缺乏物理化学基础，其模型估计结果不具有可解释性，往往难以反应对象的特性，有可能难以把握催化剂活性的变化趋势。本文提出了将机理与支持向量机相结合的一种建模方法，即混合建模[2]，又被称为“灰箱建模”，它在反应过程的机理和噪声影响的同时，能够较为实际地反应过程的真实情况，在现实中得到了广泛的应用。
2.软测量理论
软测量的基本思想[3]是把自动控制理论与生产工艺过程知识有机结合起来，应用计算机技术对于一些难于测量或暂时不能测量的重要变量(主导变量)，选择另外一些容易测量的变量(辅助变量或二次变量)，通过构成某种数学关系来推断和估计，用软件来代替硬件功能。
软测量技术主要由4个相关要素组成：(1)中间辅助变量的选择；(2)数据处理；(3)软测量模型建立；(4)软测量模型的在线校正。其中(3)是软测量技术最重要的组成部分。
2.1中间辅助变量的选择
它是建立软测量模型的第一步，它包括变量类型，变量数量和监测点的选择。三者互相关联，互相影响。常用的选择方法有两种：一种是通过机理分析的方法，找到那些对被测变量影响大的相关变量；另一种是采用主元分析，部分最小二乘法等统计方法进行数据相关性分析，剔除冗余的变量，降低系统的维数。需要注意的是，辅助变量的个数不能少于被估计的变量数。
2.2数据处理
软测量是根据过程测量数据经过数值计算而实现的，其性能在很大程度上依赖于所获过程测量数据的准确性和有效性。为了保证这一点，一方面，我们要均匀分配采样点，减少信息重叠。另一方面，对采集来的数据进行适当的处理，因为现场采集的数据会受到不同程度环境噪声的影响而存在误差。一般数据处理包括数据预处理和二次处理。
2.3数学模型的建立
软测量模型是软测量技术的核心。它是通过辅助变量来获得对主导变量的最佳估计。本文利用了两种方法。一种是单一的支持向量机建模，另一种是混合建模方法。
2.4数学模型修正
由于过程的随机噪声和不确定性，所建数学模型与实际对象间有误差，若误差大于工艺允许的范围内，应对数学模型进行校正。
3.离子交换树脂催化剂失活[4]
3.1离子交换树脂催化反应机理分析
常用的离子交换树脂为磺化的苯乙烯一二乙烯基苯交联的球粒状共聚物。它既不溶解，也不熔融，但是它可以溶胀，每个树脂颗粒都由交联的立体骨架构成，磺酸基团连结于树脂内部的空间网状骨架上，骨架可离解出氢离子，作为活性中心。该催化反应属于正碳离子的反应机理。
3.2离子交换树脂催化失活机理分析
双酚a合成反应使用阳离子树脂催化剂，在使用过程中，随时间推移，催化剂会逐渐失去它的活性。阳离子树脂催化剂失活的主要原因是催化剂的活性基团失去活性或有活性的基团被转化成没有活性的基团，也会因为自身特性和操作条件的变化引起催化剂活性的波动。根据相关化学原理，使得阳离子交换树脂失去活性的因素大致有如下几个：阳离子物质；醇；氢原料物质；高温；水[5][6]。
然而上面五个影响催化剂活性的因素都没有办法用传感器在线测量，也就不适用于工业现场对催化剂活性的软测量。为了满足双酚a生产现场对催化剂活性进行在线监测的需求，本文结合相关机理以及生产经验，通过分析寻找出了影响催化剂活性并可在线测量的若干因素，将其运用到催化剂活性软测量建模之中。通过研究大量文献，可以知道影响催化剂活性并能在线测量的几个因素：催化剂的使用时间；酚酮比；反应温度；生产负荷，将这些影响因素运用到软测量建模中去。
3.3催化剂活性辅助变量的数据处理
我们知道了有4个变量对催化剂失活产生影响。从采样数据中我们尽可能排除噪音成分，保留真实信号。数据预处理一般包括：首先提出一部分不在原始数据变量操作范围或重复的数据，然后再用原则对数据进行进一步的筛选，对筛选后的数据进行平滑处理，最后再将数据进行分类。本文选取100个数据，75个作为训练数据，25个作为测试数据。
4.离子交换树脂催化剂活性建模
4.1基于支持向量机[7]建立催化剂活性模型
4.1.1基于回归支持向量机的方法
近年来，作为机器学习领域中备受瞩目的支持向量机(SVm)在许多领域取得了成功的应用，显示出巨大的优越性：(1)支持向量机基于统计学习理论，根据结构风险最小化原则，具有小样本学习能力，即由有限的训练样本得到小的误差，对独立的测试集仍然能保证小的误差；(2)支持向量机算法是一个凸优化问题，因此局部最优解一定是全局最优解，所以本文先利用支持向量机软测量方法对催化剂活性进行建模研究。
4.1.2支持向量机建模
(1)辅助变量选取
确定模型输入输出变量。输出为催化剂活性，而影响其的因素大致有四个：催化剂时间；酚酮比；反应温度；生产负荷。
(2)数据采集和处理
本文采集了100个数据，每连续四个数据中取一个作为测试集，其余三个为训练集。这样就有75个训练集，25个测试集。
(3)催化剂活性建模
将催化剂时间，酚酮比，反应温度和生产负荷分别作为该模型的输入，输出为催化剂活性。通过matlab仿真，得到如图3-1、图3-2。
由图3-1、3-2可以看出，用单一的支持向量机建模得出的相对误差在[0.8%，-1%]，预测效果相对不是很理想，于是，我们提出了混合建模来进行预测。
4.2基于混合建模建立催化剂活性模型
4.2.1基于混合建模的方法
我们知道，常用的软测量方法有机理建模，数据驱动建模和混合建模方法。机理建模方法可解释性强，外推性好，但是建模过程非常复杂。而数据驱动建模根据过程的输入输出数据直接建模，几乎无需要过程对象的先验知识。但是这种建模方法通常学习速度慢，且容易造成过拟合现象，此外，用这种方法建立的模型不具有可解释性。而混合建模方法则是把简化机理建模方法和数据驱动建模方法结合起来，互为补充。简化机理模型提供的先验知识，可以为基于数据驱动的模型节省训练时间；同时基于数据驱动的模型又能补偿简化机理模型的未建模特性。因此，混合建模方法现已被广泛地应用并且取得了很好的效果。
本文主要对催化剂活性进行部分机理分析[1]，我们知道催化性活性会随使用时间的累积而下降，这是催化剂时候过程中容易把握的部分，所以把这个作为建立机理模型的基础。本文利用数值回归的方法，建立数学表达式f(t)，来描述时间和催化剂活性之间的函数表达式。将现场中的催化剂活性数值和催化剂使用时间作为输出和输入，进行二次多项式回归，确定f(t)的数学表达式。f(t)带有一定的先验知识，能够较为准确地描述催化剂活性的变化趋势，为之后的活性建模提供基础。在以上说的四个催化剂活性影响因素中，除了催化剂时间外，还有生产负荷(flow)，酚酮比(rate)和反应温度(t)。这三个因素对催化剂的影响较难把握。为了反映这些模糊因素对催化剂活性的影响，本文使用支持向量机来描述催化剂活性和这三个因素之间的对应关系。将上述三个影响因素作为支持向量机模型的输入，真实催化剂和趋势曲线f(t)的差值作为模型的输出，训练得到支持向量机模型。模型结构图如图3-3。
4.2.2混合建模
(1)辅助变量选取
与支持向量机不同，混合建模是在确定催化剂活性与催化剂时间关系的先验知识下，将生产负荷，酚酮比和催化剂温度作为输入，而真实催化剂数值和f(t)之间的差值作为输出。
(2)仿真建模
采取和支持向量机一样的数据采集和处理，提取相同的100组数据，75个训练集，25个测试集。然后进行仿真，如图3-4、3-5。
如图3-4、3-5所示，我们得出了将机理和支持向量机结合起来的建模效果远远优于用单一的支持向量机，其相对误差在[0.07%，-0.13%]。
5.结束语
文章将支持向量机和机理与支持向量机相结合的两种建模方法都应用到了催化剂活性建模中，从仿真结果可以看出，混合建模明显优于单一支持向量机方法。所以，在进行建模的时候，尽量的了解过程的机理，在机理的基础上，结合一些智能方法，能够得到更加良好的效果。我们还了解到影响催化剂活性的四个重要因素，并且找到了催化剂活性变化的规律，建立了操作变量和催化剂活性间的软测量模型，用于催化剂活性的在线监测。
参考文献
[1]成亮铖.双酚a生产过程软测量混合建模的研究[D].江南大学,2009.
[2]许光,俞欢军,陶少辉,陈德钊.与机理杂交的支持向量机为发酵过程建模[J].化工学报,2005,56(4):653-658.
[3]潘立登,李大宇,马俊英.软测量技术原理与应用[m].北京:中国电力出版社,2008.
[4]吴玉琴.双酚a催化剂活性的软测量应用[J].技术应用,2011,20(02):146-147.
[5]马怡,常春,李洪亮.合成双酚a催化剂研究新进展[J].化工进展,2007,26(12):1686-1689.
[6]古尾谷,逸生,沈一兵.催化剂失活机理的分诶和失活对策[J].广西大学学报,1978(1):13.
[7]张学工.关于统计学习理论与支持向量机[J].自动化学报,2000,26(1):21-42.
数学建模处理数据的方法篇3
关键词：GiS；地质勘查；找矿；预测
中图分类号：F407.1文献标识码：a文章编号：
地质勘查找矿工作离不开全面的空间信息的支持，因此，需要建立在完善的设计、准确的数据结果和客观的评价之上，而地理信息系统恰恰为其提供了可能。地理信息系统侧重于对各种空间信息的采集、管理和分析，并利用自身强大的数据查询、空间分析能力，为地质勘查、设计、施工提供有效的信息支持。本文将从GiS具有的优势、特点及具体应用进行分析探讨。
地理信息系统（GiS）在地质勘查找矿工作中的优势
在地质学、气象学等自然资源与环境学科中，需要大量准确的空间数字进行模拟、分析、统计，例如地震数据处理、遥感数据处理、重磁数据处理、地球化学数据处理等。GiS的出现，其强大的数据采集、分析、管理功能，为解决环境及资源问题提供了一条康庄大道。在具体的地质勘查找矿工作中，具有以下的优势与特点：
强大的数据信息采集与处理能力
GiS简单而言，是一种处理数据输入/出、图件产品的计算机软、硬件系统，它集采集、存储、管理、检索和综合分析各种地理空间信息为一体，涵盖了计算机的各种应用程序和各种地学信息数据，并且还可以有效地组织而成的现实空间信息模型。在地质找矿勘查工作中，地质人员可以通过输入空间材料的数据，形成各种模型，并且可以从视觉、计量和逻辑上对现实空间进行模拟、管理及预测；地质人员可以随意的抽取、组合、传输相关的空间信息，对各类数据所形成的图片进行仿真模型，有效地预测出成矿的规律及岩土成分。GiS强大的数据采集、管理及处理能力，为地质工程勘查找矿工作提供了来源广泛的数据，数据采集的质量更高、速度更加的快。
2、对图形的处理更加灵活
我们可以把GiS看作是一个图形处理和显示的系统。图形可以是矢量格式，也可以是栅格格式。在该系统中，包含有许多图形的算法，可以充分地实现图形的生成、修改、布局、装饰、显示、可视化等操作的需求。并且可以表达和描述复杂的空间实体，并且对所收集到的图形、图像数据和属性数据高度集成的地理信息系统数据库，为全面管理地质勘查找矿设计信息提供了可能，为建立完善的地质模型、预测成矿、地形特点等，提高了全面可靠的信息。GiS的可视化操作能力，为地质找矿勘查工作提供了一个可视化操作平台，为判断与决策提供了必要的信息数据支持。
3、强大的综合分析能力
GiS可以进行大量的数据模拟与分析，例如地震数据处理、遥感数据处理、地球化学数据处理等。为丰富多彩的空间信息分析与综合提供了有力的新工具。GiS的空间数据分析功能还有拓扑叠加、缓冲区分析数字地形分析等，为建立完善的专业设计、分析、评价、辅助决策模型提供了强有力的分析工具。
二、GiS在地质找矿成矿预测中的应用
GiS成矿预测的经验方法只适用于具备足够数量的已知矿床的地区，因为需要利用这些已知矿床来证实矿化的空间关系。然而，在工作程度较低的几乎不含有已知矿床的地区，则需要借助于概念方法来进行成矿预测，这种方法包括下述三个步骤：
1、建立知识库
首先需要建立导致矿床形成因素及过程的知识库，然后把它们转化为局域范围(数十公里)或区域范围(数百公里)的GiS成因准则。由于大多数矿床的面积都小于3k㎡，因而无论是在局域或大区域成矿预测中都不能直接提供目标矿床的位置。不过，大多数矿床都是多种地质过程共同作用的产物，其中的许多地质过程在这样的大范围内都是可以成图的。从而，分析某个地区的成矿潜力，很重要的一点是把矿床看作是一个完整的区域成矿系统中的一个微小部分。根据这种认识，成矿系统可以认为包括六个主要的组成部分：(1)驱动成矿系统的能源；(2)配位体的来源；(3)矿质的来源；(4)搬运通道；(5)圈闭区；(6)出流区。这种方法要求证实上述每个成矿分量可能促成矿化的潜在要素。
建立GiS数据库
条件优越的成矿地质、具有较多地学资料的区带要优先选择，或在重点勘查区优先试用地理信息系统（GiS）技术,只有在试行得以认可的基础上,我们才能使一套具有高度可行性的地理信息系统（GiS）系统的衡量标准得以建立，才地学建设处一个更具合理性和实用性的信息空间数据库建设，才能对信息进行综合分析。
证实了成矿系统的基本要素并转化为成图准则后，还必须建立相关数据的GiS数据库。为了能够进行快速成矿分析，可以从原始图形数据中建立一系列专题数据库，例如，为了便于度量距某个特征(如断层或花岗岩体边界)的距离，可以建立一系列由同心缓冲(以距这些特征的不同距离)组成的专题。
3、开发评价成矿潜力的子程序
这一步骤涉及到发展和改进成矿预测的方法，澳大利亚地质调查部门已在aRC／inFoGiS上开发了三个由菜单驱动的模块：
(1)专用模拟模块
该模块实际上是一个简单的“黑箱”专家系统，它能使用户选择某个特殊的矿床类型以及包括研究区的某个GiS数据库的名称，该模块然后询问该GiS数据库并圈定满足全部矿床预测准则的区域。该模块的不足之处在于：
a．必须定义矿床类型的特征，从而它不能圈定新的矿床类型的远景区；
B．它要求以严格的方式建立区域数据库，所命名的所有专题和属性都必须与该专家系统数据库相同。
(2)相互作用模拟模块
相互作用模拟模块更灵活，并能使地质人员在一套指定的专题中定义专门的搜索参数而建立用户模型。换句话说，该方法使地质人员能够定义构成某个未知矿床类型的异常岩石类型和其他地质特征；该模块要求用户具有广博的成矿系统的知识。完成分析以后，研究区内任何已知矿床都可用于检验相互作用模拟的结果。
(3)类模拟模块
该模块用于检验矿化已知区域GiS内重要的地球物理异常。类模拟模块能使用户选择某个重要的地区并根据GiS数据库内所有专题的内容确定选择区的特殊地学显示，然后该模块证实具有类似特征的所有其他地区，最后产生一份二元图，把所选择的地区分成类似或不类似于该重要区的区域。
三、小结
综上所述，GiS成矿预测的经验方法和概念方法不是对立的，而是互补的。GiS能够对成矿环境进行定量化，因而在成矿规律和成矿预测中具有极强的功能；GiS还能建立勘查项目管理系统并能够储存与勘查项目有关的各种信息，诸如矿权地边界、以前的勘查成果等。GiS正在改变着我们传统的矿产勘查工作的方式，其巨大的应用潜力正在越来越多地被认识。
参考文献:
[1]李贵荣，郭建平.地理信息系统的研究现状及发展趋势[J].南方冶金学院学报，2003(3):10―14.
[2]吕增泰.地质勘查与找矿技术探析[J].中国高新技术企业,2010(12).
数学建模处理数据的方法篇4
关键词：图形语言；图像处理算法；开发环境模型
信息化社会不断建成，数字图像技术不断发展，出现了一系列图像处理算法，但这些算法往往针对某个固定的程序才能实现，缺少广泛的应用性。数据处理过程说到底是算法分析和图像处理。图像处理过程中必备的开发软件是必不可少的。如photoshop在平面图的设计方面有强大的图像处理功能，而eRDaS在遥感图像和地理信息系统应用方面取得了巨大的成功。但这两款应用软件的用途比较单一，只是针对于艺术设计领域和地理专业应用领域有强大的功能，软件本身并未对其所包含的图像处理算法进行精确地原理解释。因此，这类软件并不适合基于图形语言的图像处理算法开发环境模型的研究，在图像处理算法开发环境模型的研发过程中，研究人员需要花大量的时间和精力在图像处理算法上，使得工作量变大，过程变得复杂，研究工作进行的比较缓慢。
1图像处理算法模型
算法模型的建立采用抽象的代数理论进行定义，算法单元的转换和单元间的组合关系要明确的定义。通过分析图像处理过程，算法单元是一个可以动态重复应用的结构，一个算法单元是由多个子算法单元按照特定的顺序构建而成的，并且每一个子算法单元可以进行再次的分解，具体的分解示例如图1：
图1算法分解示例图
对算法模型的定义要在算法分解的过程中逐步完成。（1）算法模型是一个树状结构图，由不同层次的子算法模型构成，分别以任务序号、任务子目标和算法模型序号表示；（2）算法模型的基本结构由一个二元组组成，分别是子算法模型和算法关系；（3）一个算法单元是一个三元组，分别描述集合算法检索分类、单元算法集合标志。其中，算法单元的描述是以一个五元组来实现的，分别以算法的功能、类别、输入、输出集合进行描述。算法单元标志由一个四元组实现，即属性集合、算法集合与接口属性集合。
2图像处理算法的开发集成环境
2.1系统组成
一个典型的数据程序语言所需要满足的条件是能够提供必须的数据结构和预定义函数数据库以支撑复杂的计算问题。以此为基础，提出了构建图像处理算法的开发环境，构建过程由三个单元组成：算法库的构建、数据元素的构建、相关交界面组建工具的构建。以上三个逻辑单元可以在实现单元分解的基础上构建有效的开发环境，使得研发工作顺利快速地开展。通过对研发过程的分析，在已经成型的开发环境下，提出新的基于图形语言的图像处理算法开发环境，该研发环境需要同时具备以下几个要素：
a.数据形式。图像处理算法的开发环境，除了要定义特定的数据形式外，还要定义图形图像数据的形式，这些通常是以二维和三维的矩阵操作来达成的。同时，为了实现快速开发环境而提供的函数库，可以大大减轻研发人员额外的工作负担。
b.预定义函数库。为了使图像处理算法的研发工作顺利完成，应提供开发环境所需要的相对应的函数库，快速搭建起开发环境，交互界面是在函数库的基础上，让研发人员了解图形语言的算法，此开发环境能使研发过程更加简单快捷。
c.数据查看和数据转换功能工具。数据查看工具能最大限度的减少研发工作人员的时间，在研发的过程中，只要仔细观察数据形式、图像方式以及空间数据和矩阵方差数据，就能实现对图像数据的观察查看。通过一定的转换工具，实现数据转换及图像格式转换，这样，多样化的数据格式在研发过程中才能更加透明化。
其中，由于数字图像的获取方式比较多样，有些图像受到条件的限制而无法获得，可以选择在研究开发过程中用仿真技术获取所需要的数据，并添加必要的第三方软件接口。
2.2平台框架
作为一个完整的开发环境，图像处理和分析算法开发平台是多元化的子系统相互协作完成的处理环境平台，包含了图像处理过程中数据获取、数据处理和数据分析。可以通过图2详细、直观地看出图像处理算法的集成平台。
图2图像处理算法环境的集成平台
数据仿真与获取子系统属于数据生产阶段，通过数据的转换能够为图像处理算法提供一定的支撑。于此同时，和算法性能评估子系统联系，生成实验数据。最后，基于图形语言对算法进行重新定义，通过处理进而正是研究上的准确性。
算法设计子系统属于数据的处理阶段。研究开发工作人员借助算法设计子系统系统设计相对应的算法评估方式，可以有针对性地减少数据需求误差，快速地完成算法开发工作。
算法性能评估子系统属于数据分析阶段。而数据库为开发环境提供主要的数据支持，是目标算法经过确认后，将其作为预定义的算法，便于以后为新算法的开发应用提供基础条件。
3结束语
本文通过列举传统图像处理算法和图像处理软件的不足之处，对基于图形语言的图像处理算法开发环境的优势和图像处理算法开发环境模型的研究开发过程进行了分析，该模型是一个基于图形语言开放的、可二次开发的算法环境，该环境能够使研发人员最大程度上形成界面资源和算法库，减少研发人员复杂的工作程序，减轻研发算法过程中的工作量，使更专注于目标算法的研发工作。由于基于图形语言的图像处理算法能够更高效地完成算法研发任务，所以还需要后期进一步的完善和维护，并且多在实践中验证，争取让这一模型的应用性更加广泛。
参考文献
[1]杨卫东；张天序；宋成军.低分辨率SaR图像舰船目标检测[J].华中科技大学学报（自然科学版），2008（02）.
[2]崔文凯；卢再奇.atR信息处理的软件体系结构[J].计算机技术与发展，2009，（01）.
数学建模处理数据的方法篇5
【关键词】大地测量；数据处理；分析研究
1大地测量数据处理的重要性
大地测量工作中存在很多不稳定性因素，包括观测阶段、观测环境、设计方案、坐标系统等内容，因此极易出现误差。科学有效的数据处理能够充分发挥随机模型与函数模型的潜在职能，迅速提升数据处理工作的可靠性及准确性。
2随机模型和函数模型概述
2.1随机模型
以往观测对象类型、内容都较为单一相似，后来之间出现不同的类型，且使用不同精度进行观测，因此经典措施逐渐演变为协方差与方差分量估计形式，包涵Helmert法、minQUe法、极大似然估计法、BiQUe法等，同时还组建了广义方差模型，增加协方差与方差分量估计形式的普遍性。方差分量估计形式能够对大地测量物力观测比重、几何观测调整等方面产生协助作用，另外在实践应用里这种形式满足重力场恢复、精密定轨、融合导航、卡尔曼滤波等潜在需求，此外在处理大量GpS网数据的采用方差分量估计措施，可以较好对各GpS子网随机模型进行及时协调。
2.2函数模型
最小二乘平差在大地测量工程中应用的频率较高，在没有较多不等式限制要求时，可以不考虑人工变量，单纯依靠整标集法来获得线性互补方案。若只存在一种线性互补方案时，得出答案可以立即停止计算，但不等式限制要求多时会增加整标集法的计算量，因此需要将人工变量纳入考虑范围。一般来说，应该针对检验假设统计量与平差公式施行有效变换即可达到模型转换要求，在现实观测基础上转换混合模型，使之符合实际需求。补偿机制误差中解稳定性与完整性之间经常存在矛盾，也就是说系统之间的相关性、参数过度化可能会对主参数精度产生影响。大地测量数据处理过程中使用的大部分误差模型都属于非线性范围，比如探讨其非线性程度时存在较多指标，pe与in则是应用效果较好的两种。在非线性模型参数估计研究方面，有最速下降法、高斯-牛顿法和阻尼最小二乘法等。在非线性模型参数估计的直接解法方面，如基于控制网优化设计的非线性方程组解法，还有基于相关观测抗差估计的非线性方程的多目标优化算法等等。
3大地测量参数估计基础理论与实际处理措施
1794年由Gauss创造的最小二乘法自问世以来就被广泛使用在大地测量数据处理工作中，尤其在Gauss-markov定理完成组建后，大地测量数据处理领域获得了更为迅速的发展。数据处理基于非随机参数估计理论，在实践经验与研究的充分结合下，基础理论与实际处理措施逐渐涉及到最小二乘配置、随机参数Bayes估计、滤波等内容。在最初处理过程中，注重满秩最小二乘平差、适定问题、平差原则、静态数据等方面，后来慢慢转变为非满秩最小二乘平差、不适定问题、抗差估计、自适应估计、动态数据等。这些变化提升了数据处理措施的灵活性，使参数估计基础理论更为严密，具备可靠精度。
近几年时间以来我国研究领域指出在对抗差估计理论基础上可以优先采用学生化残差统计量进行大地测量数据处理，在实际使用时这种方式能够构造理想的等价权函数，另外也将误差水平临界值纳入考虑范围，在控制观察误差前提下，同步施行实际多余观测数及图形强度，整体抗差性明显优于固定临界值。将抗差估计和正态分布统计量进行对比可知，大地测量工程在抗差估计协助下能够顺利开展应变模型特殊位移工作，成功进行了影响均匀应变的特殊位移参数的识别，成功讨论了大地基准的抗差转换，计算了地心运动，完成了海平面模型的参数估计的研究，完成了卫星激光测距的系统误差的抗差估计的研究。
大地测量自适应滤波问题在近段时间受到广泛重视，其核心是组建自适应因子并对动力学模型误差进行判断。我国学者在研究基础上组建4种动力学模型误差，即状态不符值统计量、预测残差统计量、基于模型预测速度与计算速度不符值统计量以及基于动力学模型预测信息与观测信息的方差分量比统计量[5]。同时组建了4种自适应因子：即两段函数模型、指数函数模型、三段函数模型、选权函数模型。自适应抗差滤波已成功用于大地网重复观测的数据处理和卫星轨道测定等方面。另外，非线性模型参数估计的直接解法别越来越多的应用，不仅不需迭代，而且可以同时考虑二次、三次项的影响，参数估值精度比传统的线性近似时参数估值的精度要高。
4结束语
总而言之，伴随着我国经济水平的迅速提升，大地测量数据处理技术将会受到更多领域广泛的重视，其基础理论、模型及方法的研究深度会呈现理想趋势，另外在实际工程操作中积累的经验也会促进该领域走上可持续发展道路。到目前为止，我国在大地测量数据处理方面已经取得了令人满意的研究成果，为实践工程测量获得理想精度奠定了坚实基础，相信在未来一段时间内会迈上一个新的阶梯。
参考文献：
[1]裴晓娟.对大地测量数据处理的几点认识[J].科技创新导报，2011（11）.
[2]高立成.动态大地测量数据处理若干问题的研究[J].科技风，2009.
[3]杨元喜，曾安敏.大地测量数据融合模式及其分析[J].武汉大学学报（信息科学版），2008（08）.
[4]吴凤娟，吕志平，赵冬青.大地测量数据模式的动态建立[J].海洋测绘，2006（04）.
[5]姚笛.论大地测量数据模式的动态建立[J].科技资讯，2009（08）.
数学建模处理数据的方法篇6
关键词：数据仓库；流通分析；数据挖掘；图书馆
中图分类号：tp311文献标识码：a文章编号：1009-3044(2008)20-30201-03
ResearchandapplicationofBooksCirculationanalysisSystemBasedonDatawarehouse
DaiBin,wUZhi-kai,CHenChao-xiang
(ZhejiangShurenUniversity,informationtechnologyCollege,Hangzhou310015,China)
abstract:thepaperintroducestheconceptofdatawarehouse,andcreatesdataminingmodel,andrealizestheBooksCirculationanalysisSystemtoprovidesupportforlibrarymanager'sdecision-making.
Keywords:datawarehouse;CirculationanalysisSystem;datamining;ontology；Library
1引言
近年来，随着图书馆技术的发展，信息处理技术也得到迅速的发展，信息的检索、查找更加平凡，我校图书馆自建校到2008年5月，图书资源管藏量已超过100万册。图书数目以如此速度的发展，图书的种类如此多样化，需要更好的数据管理技术。而目前的计算机处理能力用传统的数据库无法完成这样类型的处理。管理人员无法从传统的数据库处理中提取更有用，更快捷，更有利于决策的信息。数据仓库技术便应运而生了。
2数据仓库的概念
1992年美国著名的信息工程学家wH.inmon在《Buildingthedatawarehouse》(《建立数据仓库》)一书中首先系统阐述了关于数据仓库的思想理论。他在这本书中不仅仅说明为什么要建立数据仓库以及数据仓库能给你带来什么，更重要的是inmon第一次提供了如何建立数据仓库的指导性意见。[1]数据仓库是对数据进行多层次的数据分析，数据仓库用于支持决策，面向分析型数据处理。
数据仓库是以循序渐进的方式逐步发展起来的。近年来，数据仓库已经在图书馆的发展中起到了广泛的应用。早先，在图书馆领域中，基本上都是通过报表的形式或者是小性的数据仓库来管理的。这些小型的数据管理系统不能对图书馆的管理和决策很少或者根本起不到作用。数据仓库提供的信息极大地改善了这些方面的决策质量。然而，在当今竞争异常激烈的商业环境中，优秀的战略仅仅是成功的诸多要素之一。若不能付诸有效的实施，任何战略都将是一纸空文。
新一代的数据仓库的提出和发展，将对图书馆的管理和有效的决策起到不可预测的帮助。
数据挖掘（Datamining）是指从大量结构化和非结构化的数据中提取有用的信息和知识的过程，它是知识发现的有效手段。该概念出现在1989年举行的第11届国际联合人工智能学术会议上，人们首次提出了数据库中的知识发现（KnowledgeDiscoveryinDataBase,KDD）技术，并且直到1995年，人们才在美国计算机年会(assciationforComputinymachihery,aCm)上首次提出数据挖掘概念。[2]数据挖掘就是在大量的数据中提取规律或数据间的关系。
3采取的基本思路和技术实现方法
在SQLServer2005中设计商业智能应用程序时，首先根据analysisServices项目模板，创建SSaS项目。在创建了analysisServices项目后，再定义一个或多个数据源。然后，根据选自数据源的表或视图，定义名为“数据源视图”的单个元数据统一视图。
3.1数据源
在SQLServer2005的定义是ReportingServices数据源包含数据库连接的有关信息。包括服务器名称、数据库名称和用户凭据。数据源内包含的信息因数据库类型而异一个数据源可以只用于一个报表中，也可以由多个报表共享。
3.2创建维度
所有维度均基于数据源视图中的各个表或视图。在使用数据源生成中的自动生成创建属性和层次结构。通过多维数据集可以更具体的看出个表间的关系。在本题中多维数据集如图1。
3.3数据仓库
数据仓库的目的是组织大量的稳定数据以便于分析和检索，采用简化的结构组织数据，以便提高分析查询的效率，而不是为了进行事务处理，利用ontology建模方法对多种数据来源进行预处理，使之规范化，并实现数据的有效集成。
3.4数据分析和挖掘
使用数据挖掘模型之前必须先对它们进行处理，可将定型数据传递算法来填充模型。利用各种分析挖掘工具，决策者可以作出正确的决策。根据数据挖掘向导创建机遇基于microsoft时序算法的挖掘结构和初始关联挖掘模型。主要的方法有决策树、关联规则、神经元网络、逻辑回归、时序、线性回归等。
4采用决策树算法实现数据挖掘
4.1采用的数据挖掘算法
在SQLServer2005中有提供了决策树、关联规则、神经元网络、逻辑回归、时序、线性回归等一系列算法。microsoft决策树算法是由SSaS提供的分类和回归算法，用于对离散和连续属性进行预测性建模。本系统只要采用的是microsoft决策树算法来实现数据挖掘。
图2决策树的图
4.2测试挖掘模型的准确性
在SQLServer2005中，可以根据数据挖掘模型“提升图”通过与理想的数据线分布计算出挖掘模型的精度。通过与理想数据线分布的对比，计算出挖掘模型的精度。
图3数据挖掘提升图
3.3数据挖掘中的数据关系
数据挖掘中的关键是各个数据间的关系，通过从大量的，不完全的数据中，提取有用的信息和潜在的规律，从而提供有用的决策。在本题中数据的关系如图3所示。
图4数据关系图
5数据仓库在图书馆的应用
近年来数据仓库在图书馆中的应用越来越广泛因为数据仓库在图书馆的应用中有以下优点：
5.1数据仓库对读者需求分布的分析
数据仓库对读者的分布了解读者起到非常重要的作用。在大学的学习生活中，师生关系的距离越来越远，老师了解学生的习惯与要求也就越来越少，数据仓库在这方面起到了非常重要的作用。主要包括，可以通过读者的专业，多年来读者借阅情况等多方面综合分析，清楚读者的取向和兴趣。能为学校的教育，老师对学生的了解，提供支持和帮助。了解读者的兴趣和爱好，可以适当增加这方面的图书，为学生的学习提供方便。根据图书的流通，为图书馆的领导了解工作人员的工作效率，以及指定一些决策提供科学性的依据，合理的安排人员和作息时间
5.2数据仓库对图书和期刊的剔除和采购分析提供决策
图书的剔除和采购是图书馆更新信息的重要方面。只有提够正确的图书信息才能正确的更新图书，只有正确的更新图书馆的信息，才能使图书馆跟上现代化的发展。在这方面数据仓库起到了非常重要的作用，通过数据仓库的分析，统计出长时间的没有通过流通的书籍，统计出呆滞书目，进行剔除处理，通过数据仓库的分析，对图书的采购提供正确合理的决策。合理的采购可以避免重复采购可以减少财力的浪费。
6结束语
数据仓库在先阶段的为图书馆的发展中起到了重要的作用，在以后的发展中同样可以为数字图书馆的建立和发展提供技术支持，作为图书馆的未来发展趋势，数字图书馆在研究和发展中遭遇重重困难，数据仓库、数据挖掘技术在这方面有巨大潜力，可以起到关键作用。虽然数据仓库技术在图书馆领域的发展还处于初级阶段，但它在这方面的优势和挖掘能力，将显示出它的巨大潜力和广阔的应用前景。
参考文献：
[1]安淑芝.数据仓库与数据挖掘[m].清华大学出版社.2005(6).2-3.
[2]苏新宁,杨建林,江念南,栗湘.数据仓库和数据挖掘[m].清华大学出版社.2006(4).114-115.
数学建模处理数据的方法篇7
目前，针对地面激光点云数据处理的研究，主要集中在点云去噪、配准和表面重建等方面［47］。近年来，国内在应用激光扫描仪进行文物保护方面取得了不少成果，如蔡广杰等提出基于点云数据的复杂结构混合建模方法，实现大型复杂场景的精细纹理映射，完成了对大昭寺的三维建模［8］。王莫等先后对太和殿、太和门等古建筑进行了三维数据采集，研究点云数据处理的理论和方法［9］。刘钰等基于重庆大足千手观音点云数据，研究点云的去噪、简化及网格化等预处理技术［10］。本文重点对大型复杂仿古建筑物的精细三维建模方法进行探索，在点云获取、配准、去噪、精简的基础上，分别采用tin三角网和autoCaD以及3DmaX方法构建完整的建筑物模型，实现模型的纹理映射和渲染，最后通过对比几种建模方法精度，验证了其用于建模可行性，同时分析各种建模方法的优劣，为古建筑物精细三维建模、文物保存和修复提供有效方法。
1点云数据获取
试验以河南理工大学西门大型仿古建筑为研究对象，采用LeicaScanStation2三维激光扫描仪进行数据采集。由于仿古建筑结构的复杂性，故架设了多站进行扫描，以获取较完整的扫描数据。数据采集时先根据其位置和形状，确定合理试验方案，包括测站和标靶的数目、摆放位置以及控制网布设等。每站扫描以能最大范围扫描到目标场景为准，且尽量避免了树木、车辆等杂物的遮挡。为确保点云配准精度，标靶数目不少于三个，且扫描时均匀布置在重叠区域内。按照预定的试验方案共架设扫描24站，获取了建筑物的影像和三维点云数据。采集时先用较低的分辨率对每站进行整体扫描，然后对古建筑物的牌匾、斗拱、雕塑、图样文字等细部构件进行分区高分辨率扫描。
2点云数据预处理
点云数据预处理是点云后期处理和建模的基础，包括点云配准、去噪和简化。其中点云配准质量直接决定着建模精度，而点云去噪和精简可以减少点云的数据量，提高建模效率，因此，点云预处理在三维建模中有非常重要的作用。
2．1点云配准
受仪器视角和环境的限制，点云扫描过程往往分多站进行，为了将不同测站的数据统一到相同的坐标系下，需要对点云数据进行空间配准，从而得到完整的点云模型。点云配准一般分为逐站配准、整体配准和精确配准。逐站配准以某一站点云数据为基准，其坐标系参考第一站点云，然后将各片点云采用同名点匹配的方法逐站进行拼接，其优点是拼接简单，无需考虑点云的坐标系问题，缺陷是容易造成误差的不断传递，尤其是模型端点处的点云误差最大［11］。整体配准的思想是采用控制点进行坐标系统一，通过间接平差计算转换参数，其方法简单，精度较高［9］。精确配准又称点集与点集配准，可使不同点云间的配准误差达到最小，如Besl和mcKay［12］的最邻近点迭代算法，主要用于解决基于自由形态曲面的复杂配准问题，其精度很高，但对海量点云迭代的计算量大。综合考虑，本文采用了控制点拼接方法，如图1所示为点云拼接前后的对比图。
2．2点云去噪
点云配准实现了点云坐标系的统一，得到较完整的建筑物点云，但其包含了大量噪声点和冗余数据。由于仪器轻微抖动，测量物体表面反射特性差异，传感器质量、人为扰动、测量环境以及点云配准误差等因素的影响，获得点云难免存在杂乱点和噪声点，这不仅增加建模难度，而且还会严重影响建模精度和质量，所以要对点云进行去噪处理。由于该仿古建筑物结构复杂，包含的噪声点云数据量大，故先手动删除部分明显的噪声点，然后导入Geomagic做进一步的去噪处理。经去噪后的点云更加平滑，同时有效地减小了后期建模偏差。
2．3点云简化
经去噪处理后，点云数据量有了一定的减小，但整体数据量仍然很大，且包含大量冗余数据。由于三维激光扫描仪数据采集方式限制，如拼接造成的点云重叠，墙面采集时密度过高等。使获得的建筑物点云存在大量冗余数据，为进一步减少整体点云数据量，保证后期建模效率，必须对点云进行精简。点云统一化采样是对点云进行等间距采样，可有效减少点云的冗余数据。经点云拼接、去噪、简化后，提高了点云数据的整体质量，为构建精细模型提供保证。
3不同方法的精细建模
精细建模是数据处理的重点，通过精细建模、纹理映射和模型渲染，可以真实再现古建筑的形态和外观，为古建筑变形和损毁分析提供数据支持，因此，基于点云的建筑物建模方法进行研究很有必要。本文分别探讨了Geomagic、autoCaD和3DmaX三种精细建模方法，通过精度对比，分析几种建模方法的可行性和优缺点。3．1Geomagic建模该方法是以点云为基础构建三角网模型和多边形网模型。由于其对点云的完整性要求较高，故建模时首先要对点云进行修复，之后构建三角网和多边形模型，然后基于处理后的多边形采用分块建模，最终再将各部分合并成为一个完整模型。（1）点云修复。由于树木遮挡，所采集的偏房点云数据有一侧出现空洞，处理时采用镜像方法对缺失点云进行修复。由于原始点云数据缺失较多，故采用局部点云镜像，并结合另一台三维激光扫描仪采集数据，实现了不同仪器和不同测站点云数据的拼接合并，有效弥补了数据缺失情况下点云建模不足。（2）分块建模。分块建模是将整体模型划分成各小块，在保证各块完整性和相邻块重叠度的基础上，降低整体建模难度。由于屋顶具有极其不规则的轮廓，因此，决定对屋顶、房屋进行分块建模。首先对拼接后的点云进行分割，分别获得屋顶、屋体点云，注意分割时保留一定重叠部分，然后分别构建屋顶、屋体点云模型，之后将两部分合并为一个完整的多边形模型。建模在保证屋顶轮廓完整性的基础上，有效减小了屋顶轮廓线的变形，同时简化了点云建模数据量。分块建模既保证了模型精度，又提高了数据处理速度。图2为屋顶分块建模后的效果图，图3为模型组合后的整体效果图。（3）纹理映射。纹理映射可提高光栅扫描图像的视觉丰富感，对真实感图像生成有重要意义。实验中，为防止纹理映射造成模型变形，采用photoshop进行高清正射影像处理。在整体纹理映射的基础上，针对纹理残缺部位进行影像重新采集，并进行局部纹理映射，直到效果满意为止。3．2autoCaD建模autoCaD建模则是以点云数据为基础直接建模，使得古建筑细部构件的测量更加方便。该方法主要利用Cloudworx将点云导入autoCaD，通过点云切片绘制出建筑物的三维线框图。autoCaD建模时，首先构建主阁楼的台基、墙体和屋顶，之后构建出左侧的副阁楼，然后借助两侧建筑物的对称性，镜像构建出右侧阁楼，以提高建模效率。古建筑精细建模中还采用了复合物体法，即布尔运算、多段线拉伸、扫略、可编辑多边形的连续修改等方法。门窗制作运用了CaD的布尔运算；屋顶筒瓦的绘制采用了扫略功能，先绘制单个瓦片的断面图，沿屋顶曲面绘出路径，然后扫略得到一组筒瓦，再复制组合得到整个屋顶所有瓦面。建模时遵循先整体后局部、先控制后细节，以防止控制性尺寸出错引起的返工。首先绘制建筑物的中轴线，其次绘制台基、柱、檩、梁枋，然后绘制斗拱、椽望、墙体、门窗，接着绘制屋顶及脊兽等装饰构件，最后进行纹理贴图并渲染输出。图4为绘制的CaD三维线框图，图5为模型正面的纹理映射效果图。3．33DmaX建模方法3DmaX具有功能齐全、扩展性好、操作简便、建模逼真、功能强大等特点，在三维激光扫描技术大力发展的背景下，已成为虚拟古建筑重建的重要手段之一。3DmaX建模主要是通过量测建筑物各部件的点云尺寸，然后通过一系列的拉伸、挤出和自由变形等编辑操作构建各构件模型，然后将各部分组合成一个整体。建模时首先要根据建筑物特点确定建模顺序。按照从下至上的顺序依次构建台基、墙柱、屋顶，完成主阁楼的建模，按同样的方法构建单侧副阁楼，之后采用镜像复制得到另一侧阁楼，最后进行纹理贴图和渲染。如图6为屋顶结构构建过程，图7为建模的最终效果图。
4建模分析比较
建模精度是衡量建模质量的重要指标，因此本文首先就三种建模的精度进行分析，然后分别就三种方法的建模工作量、效率、效果以及适用环境进行探讨。由于三维模型的构建是通过点云拟合建立的，故点云精度直接影响了建模精度。然而分析点云的单点精度较难操作，因此，本文处理时采用了距离比较法。在建筑物上选取20组具有代表性的点对，以全站仪测量和计算的边长作为理论参考，然后分别在tin模型、三维线框模型和3DmaX模型上的相同点位上量取边长，通过边长较差对Geomagic建模、autoCaD建模和3DmaX建模的精度进行对比分析。具体结果见表1（限于篇幅，这里仅列出12组）。（1）Geomagic建模精度分析。对表1中的测量数据进行误差分析可知，点云数据与全站仪的边长较差中误差为3．86mm，平均在6mm以内，故点云数据能够满足建模的精度要求；tin模型相较于全站仪和点云数据的边长较差中误差分别为22．3mm和21．8mm。由于tin模型的精度受点位偏移、点云拟合算法及模型修补等因素的影响，因此，其量边误差较大，最大可达30mm。此外在采用镜像功能进行屋顶建模时，镜像轴与屋顶实际中心轴难免存在偏差，这也是导致模型与全站仪数据偏差较大的原因。（2）autoCaD建模精度分析。三维线框模型与全站仪和点云数据测边的较长中误差分别为10．9mm，两者差值具有一致性，进一步验证了点云数据用于精细建模的可靠性。相对于全站仪数据，三维线框模型的边长较差基本控制在20mm以内。因此，基于三维点云数据，采用autoCaD进行三维建模能够满足工程精度要求。（3）3DmaX建模精度分析。点云数据上量测的边长与3DmaX建立模型所得数据之间存在着一定偏差，边长变形大都在20mm左右，其中误差为25mm。结果表示，采用3DmaX技术进行大型古建筑精确三维重建的精度稍差，但基本满足工程需求。通过对比发现，采用autoCaD配合点云切片进行建模的精度要高于Geomagic多边形建模的精度，但相较于后者，CaD建模的自动化程度和效率较低，工作量大；而采用3DmaX建模的精度较差，但其效率和工作量相对适中，但建模的整体效果和美观度较高。当点云数据采集的质量较高且比较完整时，三角网建模精度会大大提高，能准确表达不规则物体和建筑物细部构建特征，但缺点是点云数据量庞大，处理速度较慢，对计算机存储和性能要求较高。所以建模时应根据具体的工程要求和用途，选择合适的建模方法和方案。例如，对于精度要求不高的虚拟三维场景浏览，可选择Geomagic和3DmaX建模，同时适当减少点云数据量；而对于文物保存和修缮，则可以采用autoCaD进行工程图纸绘制和方案设计。
5结语
数学建模处理数据的方法篇8
随着国民经济迅猛发展，交通物流产业不断扩大，公路使用率剧增。我国高速公路管理单位制定了高速公路日常养护包干管理办法，从而实现“及时养护、防范为主、按时抢修、提高效率、保持检查、预算合理、定期修复”。为了更好地贯彻养护工作，及时采集数据，通过路面平整度的时间序列数学模型，提出路面平整度预测，建立科学的综合养护方案。研究这种数据的统计方法就是时间序列分析。时间序列数学模型在理论上已趋成熟，它用有限参数线性模型描述时间序列的发展趋势，便于进行统计分析与数学处理，预测高速公路使用年限、路面平整度的变化程度，提出综合养护方案。由于近几年不断发展，具有了科学化的管理措施与养护技术，如果能准确及时提出养护方案，就可以促进提高管理养护水平，同时模型拟合的精度也基本能达到实际工程的要求[1]。
（一）道路数据采集
在实际路面测量中，由于只能测到路面不平度的有限数据，所以我们利用时间序列分析，主要任务就是根据观测到的有限数据，通过时间序列数学模型，利用最小二乘法进行数据拟合，建立尽可能多的数据统计，然后利用模型去解释数据的统计规律，以达到对路面平整度的控制或预报的目的。在时间序列分析中，有两类简单而又常用的模型：自回归模型（aR）和自回归滑动平均模型（aRma）[2]。
路面平整度的时间序列模型数据采集是通过自动检测系统完成，其特征在于，要想完成自动化检测系统，需要通过USB接口传输线连接aD转换器，aD转换器连接pLC，pLC连接存储器和数据处理器，数据处理器连接显示屏。可以将自动化检测系统安装在检测车上，检测车上设有测距传感器和定位传感器各8个。我们需要定时采集数据。本文所采集数据是由道路综合检测车对实际路段测得。该设备是由哈尔滨工业大学交通学院侯相深、马松林、王华等人自行开发设计的（见图1所示）。基本原理是通过USB接口，通过传输线将采集的数据直接存入；在检测车上有一个便携式处理器，通过处理器进行数据处理。哈工大设计的工程检测车，由于是由16个传感器所组成，因而每次可以测量一个行车路面的16个点，每次每组得到16个检测数据[3]。
（二）对测量数据序列进行预处理
（三）模型识别和定阶
当我们对aR模型确定了16阶次，通过数学模型中的参数的确定，判断路面的平整度指标，由所给样本进行参数估计。而模型参数估计的方法有矩方法、最小二乘法和极大似然法。所给数据得到的样本如果满足正态分布，可以采用最小二乘法进行参数估计。最小二乘法的原理，就是残差平方和达到最小条件下，所得到的对未知参数的估计值。也可以采用极大似然法进行参数估计，得到和最小二乘法基本一致的结果。由于时间序列数学模型仅依赖于有限参数――自回归系数、滑动平均系数及输入白噪声的方差。根据实际路面数据，如下表。
第一行：路面平整度指标；
第二行：标准轴载作用次数n。
所以根据数据的统计样本，代人数学模型，发现统计规律，由所得的路面平整度的数量指标，得到判断结果和误差范围。但道路过程不具有遍历性，该实测数据为非标准道路，所以可以根据非标准道路时序模型进行参数估计和预估统计结果[5]。
数学建模处理数据的方法篇9
关键字:电力系统;人工神经网络;信号处理
1引言
基于电力变压器故障诊断方法对提高电力系统运行的安全性和可靠性具有重要意义,同时也具有重要的理论价值和广阔的工程应用.基于智能信息处理方法的关键技术研究在研究分析智能信息处理理论关键技术的基础上,提出了以智能信息技术处理理论为主线的电力变压器故障智能诊断技术方案来实现基于云模型白化权函数的灰聚类分析和改进的加权灰靶理论相结合的电力变压器状态评估模型,通过先验知识和实验分析共同优化云模型参数结构,提高电力变压器故障评估的实用性与科学性.
2基于云模型综合应用研究
基于云模型是指一种描述非确定性不确定性数学方法应用在模糊数学和统计学的基础与模糊性和随机性相结合共同构成定性描述和定量描述的相互映射关系,其中,模糊隶属函数是模糊理论的基石,是一个重要的概念,但是在工程实践中如何确定模糊隶属度函数却没有公认的方法与不确定性问题的随机性和模糊性来弥补模糊理论的不彻底性缺陷,因此提出了隶属云平台、云技术与云模型等概念和理论体系结构.
2.1基于电力变压器故障云模型研究
基于电力变压器故障云模型数字运算期望值、熵和超熵表示.期望值ex是所有云滴电力故障所在数域的重心位置,反映了这个定性概念的量在数域上的坐标.熵en是表示定性概念亦此亦彼性的变量,反映了数域中可被语言值接受的数据范围,同时还反映了在数域中的云滴电力故障能够代表这个语言值的概率.超熵He反映每个数值代表这个语言值确定性的凝聚性和云滴的凝聚程度.
对于电力变压器控制系统故障存在双边约束的指标,电力变压器故障云模型的期望值根据公式⑴计算=⑴
根据正态分布的原则,电力变压器故障云模型的熵en按公式（2）计算：
⑵
超熵He是一个常数,可根据具体指标的不确定性和随机性进行调整.
3基于灰色系统理论应用在智能信息电力变压器故障研究
3.1灰色系统理论介绍
基于灰色系统理论是指以Gm(1,1)模型为基础的预测,灰色系统模型是一阶微分方程动态模型.而智能信息电力变压器故障不确定性因素与不确定性全因素多传感器数据信息融合处理关键技术方法,应用于时间序列预测数据.
3.2基于灰色智能信息电力变压器故障模型建模算法研究
3.2.1设所要智能信息电力变压器故障预测系统的某项指标的原始数据列为
3.2.2对原始数据列做一次累加,先生成(1-aGo),再生成(3.2.1)新数据列,即
3.2.3对生成的数据列’建立相应的微分方程式中.为发展系数,为内生控制系数.
3.2.4解步骤3.2.3)中方程式,可得其相应的时间响应模型为:
3.2.5设方程的参数的向量:式中B为累加生成矩阵,为向量,二者的构造分别为:
,
式中为第年的原始数据;为第年的一次累加.
3.2.6令t=1,2,…,n-1,由4)中式可得的值.其中是一次累加量,还需求出还原值,即
3.2.7求出原始智能信息电力变压器故障数据的还原预测值与实际数据值之间的残差值和相对误差q(t),进行残差检验
3.2.8进行关联度R检验;后验差C检验和小误差概率p检验.
3.2.9如果残差检验、关联度检验和后验差都能通过,则可以用所建立的智能信息电力变压器故障模型进行预测.
3.4基于灰色神经网络智能信息电力变压器故障模型研究
⑴灰色理论模型.灰色系统建模使用最多的是Gm(1,1)模型,它是对经过一次累加生成的数列建立的模型,其灰微分方程为(,为待定参数).⑶
⑵白化Gnnm(1,1)灰色神经网络模型.设参数已经确定,对式⑶求解可得到其时间响应函数:⑷
白化微分方程⑶的参数的思路是:将方程⑶的时间响应函数⑷映射到一个智能信息电力变压器故障Bp网络中,对这个Bp网络进行训练,从训练后的Bp网络中提取出相应的方程系数,从而得到一个白化的微分方程,进而利用此白化的微分方程,对系统进行深层次的研究,或对此微分方程求解.要将⑷式映射到Bp网络中,对其做如下变换,对等式两边同除以1+exp(-ak),可得
=
=⑸
经过变换后可将⑸映射到Bp网络中,其结构如图1所示.
相应的Bp网络权值可进行如下赋值(令
(6)
的阈值设为,由⑸得,多层神经元激活函数为Sigmoid型函数:⑺
该函数是S型函数,存在一个高增益区,能确保网络达到稳定态,其它层激活函数取线性的.经过⑹式赋值及Bp网络激活函数确定为⑺式后,可对网络中各个结点计算为:
⑻
LD层仅1个节点,其作用只是对进行y1放大,使之与式⑶相符.考虑到灰色Bp网络与式①的对应关系,因此在设计灰色Bp网络学习算法时要注意以下几点:1)学习算法采用标准Bp算法,由于有一些神经元所用的激活函数为线性的,因此计算误差时要利用线性函数的求导.2)由,故在Bp网络训练过程中,权值始终保持不变.3)直接由输入与、得到,并且连接只是将误差前向传递到第3层,其本身不修改.精度比较可知,用神经网络辅助的灰色建模要远远优于传统的灰色模型方法.
4基于人工神经免疫系统应用研究
在人工免疫系统应用是生物必须防御机制与免疫功能的器官、组织、细胞和免疫效应分子及其基因组成通过分布在全身的各类淋巴细胞识别和清除侵入生物体的抗原性异物,可以保护机体抵御病原体、有害的异物以及癌细胞等致病因子的侵害.基于生物的免疫系统是一种高级的智能信息处理控制系统数据[2].而人工免疫系统是模仿免疫系统的一种智能方法,提供噪声忍耐、自组织神经网络结构学习、自组织与记忆神经网络等学习系统,结合分类器、神经网络和机器推理等系统的优点,具有分布式并行处理、自学习、自适应和强鲁棒性和集中式分散处理与分析电力变压器智能诊断故障等优点服务.
5结束语
基于智能信息与处理电力变压器故障诊断方法来应用电力变压器故障云模型处理、灰色系统理论模型、人工免疫系统等内容的理念和方法.以提高智能信息电力变压器故障诊断方法与灰色神经网络模型预测的应用体系结构,实践证明,基于智能信息处理关键技术在电力变压器故障诊断方法能够有效的排除故障.
参考文献:
数学建模处理数据的方法篇10
【关键词】大数据人工智能算法设计
1大数据的发展概述
大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据包括海量的数据信息与高强度的数据处理能力，大数据是相对于传统数据处理应用程序来说，不足以处理大型、复杂的数据集的新型处理模式，包括分析、捕获、数据整理、搜索、共享、存储、传输、可视化查询、更新和信息管理。大数据通常仅指使用预测分析、用户行为分析或某些其他高级数据的分析方法，这些方法从数据中提取价值，很少涉及特定大小的数据集。数据集分析可以发现新的联系与信息。科学家、企业高管、医学从业者、广告和政府都定期在互联网搜集大数据，这些数据在金融、城市信息学和商业信息学等领域更为重要。科学家在电子科学工作中遇到了很多需要处理海量数据的问题，涉及气象学、基因组学、复杂物理模拟、生物学和环境研究等。大数据包括文本、图像、音频、视频，它通过数据融合可以完成未来数据的机器学习，大数据通常是数字交互的无成本的产品。越来越成熟的概念更清楚地描述了大数据和人工智能之间的区别，人工智能使用具有高信息密度的数据的描述性统计来测量事物、检测趋势等。大数据使用归纳统计和来自非线性系统识别的概念，从具有低信息密度的大量数据集中推断出法则，例如回归、非线性关系和因果效应，以揭示关系和依赖性或者进行结果和行为的预测。
2大数据技术中的算法分析
2.1神经网络算法
神经网络系统是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。神经网络是一种计算方法，基于神经单元的大集合，解决由轴突连接的生物神经元的大群集的问题。每个神经单元与许多其他神经单元连接，并且可以对所连接的神经单元的激活状态影响中实施抑制。每个单独的神经单元可以具有将所有其输入的值组合在一起的求和功能。在每个连接和单元本身上可以存在阈值函数或限制函数，使得信号在传播到其他神经元之前必须超过极限。这些系统是自学习和训练的，而不是明确编程的，并且在传统计算机程序中难以表达的，这种方案在特征检测领域中效果很好。神经网络的目标是以与人类大脑相同的方式解决问题，现代神经网络项目通常使用几千到几百f个神经单元和数百万的连接，这比人类大脑的复杂性还要少几个数量级，更接近于蠕虫的计算能力。为了训练它们，通常发生几千次交互循环。神经网络已被用于解决使用普通的基于规则的编程难以解决的各种各样的任务，如智能化学习。历史上，神经网络模型的使用向高级人工智能的方向移动，其特征在于包含在具有一些动力系统的认知模型的参数中的知识。
2.2灰色关联度分析
灰色关联分析方法，是根据因素之间发展趋势的相似或相异程度，来进行归纳和评价，作为衡量因素间关联程度的一种方法。灰色关联度分析使用特定的信息概念。它定义没有信息为黑色的情况以及具有完美信息为白色的情况，这些理想化的情况都不会出现在现实世界的问题中。事实上，这些过渡阶段的情况被描述为灰色。因此，灰色系统意味着其中部分信息是已知的并且部分信息是未知的系统。根据这个定义，信息质量形成从信息的缺乏到完整信息的存在过渡过程。由于不确定性总是存在，灰色分析可以得出一系列关于解决方案的清晰陈述。在一个极端情况下，这种方案无解，在另一个极端情况下，具有完美信息的系统具有独特的解决方案。在中间情况中，灰色系统将给出各种优化的解决方案。灰色分析试图找到最好的解决方案，提供了确定一个好的解决方案的技术来解决现实世界的问题。
3大数据平台的设计
3.1平台层
大数据分布式存储系统：研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术，当前需要构建至少pB级存储能力的大数据平台才能满足一般的科研和应用需求。
分布式数据挖掘运行时系统：突破mapReduce技术的局限，研究有效支持迭代、递归、层次及集成机制的海量数据挖掘编程模型和运行时系统，构建大数据运行时系统。
3.2功能层
高可扩展性大数据挖掘算法：基于云计算的分布式大数据处理与挖掘算法，构建高可扩展的大数据处理与挖掘算法库，实现tB级数据的建模能力。
分布式工作流引擎：基于云计算的分布式工作流调度、负载均衡技术，构建高效分布式工作流执行引擎。
交互式可视化分析技术：启发式、人机交互、可视化数据挖掘新技术，实现大数据挖掘的高度人机交互功能。
3.3服务层
基于web的大数据挖掘技术：web的大数据挖掘方法和流程，实现易于使用的基于web的大数据挖掘技术，构建基于web的大数据分析环境。
基于openapi的大数据挖掘技术：openapi的大数据挖掘方法，研究大数据挖掘开放接口、开放流程，构建基于openapi的大数据分析模式。
4大数据算法的应用分析
4.1数据挖掘
数据挖掘是发现大数据数据规律的计算过程，涉及人工智能、机器学习、统计和数据库系统结合的方法，它是一个跨学科的计算机科学子领域。数据挖掘过程的总体目标是从数据集中提取信息并将其转换为可以理解的结构以供进一步使用。除了原始数据分析外，它涉及数据库和数据管理方面、数据预处理、模型和推理、复杂性考虑、结构整合处理、可视化和在线更新。数据挖掘是一个热门的领域，并且经常应用于各种形式的大规模数据或信息处理，主要包括收集、提取、存储、分析和统计以及计算机决策支持系统的应用，包括人工智能、机器学习和商业智能。实际的数据挖掘任务是大量数据的自动或半自动分析，从而提取先前未知的数据存在模式，例如聚类分析、异常数据检测和关联规则挖掘、顺序模式分析等，这通常涉及使用诸如数据索引的数据库技术。数据收集、数据准备或结果解释和报告都不是数据挖掘步骤的一部分，但是作为附加步骤属于整个数据挖掘过程。数据挖掘、数据捕获和数据窥探是指使用数据挖掘方法对较大数据集的部分进行抽样分析。虽然这些数据集太小，不足以进行可靠的统计推断以得出更多有价值的信息。然而，这些方法可以用于创建新的假设，以测试更大的数据群体。
4.2机器学习
机器学习是计算机科学的子领域，它使计算机能够学习而不用明确编程。从模式识别和计算学习理论在人工智能的研究演变而来，机器学习探索学习对数据进行预测算法的研究和构建，这样的算法克服了严格的静态程序指令数据驱动的预测或决策，通过从样本输入来建立一个模型。机器学习在一系列计算任务中使用，其中有着明确算法的设计和编程是不可行的，比如垃圾邮件过滤、检测网络入侵者或恶意内部人员、光学字符识别、搜索引擎和计算机视觉，这些方面都没有明确的算法表示。机器学习与计算统计密切相关，并且经常与计算统计重叠，计算统计也集中在通过使用计算机的预测中。它与数学优化有着紧密的联系，它将方法、理论和应用领域传递到现场。机器学习有时与数据挖掘相结合，后者的子领域更侧重于探索性数据分析。机器学习也可以是全自动化的，用来学习和建立各种实体的行为预测，然后用于发现有价值的异常情况。在数据分析领域，机器学习是一种用于设计适合预测的复杂模型和算法的方法，在商业应用中，这被称为预测分析。这些分析模型允许研究人员、数据科学家、工程师和分析师通过学习数据中的历史关系和趋势来产生可靠的、可重复的决策和结果并揭示隐藏的规律。
5总结与展望
大数据技术算法的创新是一条光明而曲折的路，在这条路上会出现很多难题与挑战，这个任务长期而又艰巨，需要结合实际经验，不断地进行总结归纳。为实现自身的长远发展而进行大胆革新，利用创新思维进行现代化建设，从而大踏步地走向智能化的大稻莘⒄鼓勘辍
参考文献
[1]陈晓，赵晶玲.大数据处理中混合型聚类算法的研究与实现[J].信息网络安全，2015（04）.
[2]杨婷婷，林昌露，刘忆宁，张胜元.基于多方排序协议的安全电子投票方案[J].计算机系统应用，2015（08）.
[3]文坤，廖瑛，杨雅君.带有空间机械臂的航天器系统惯性参数辨识[J].飞行器测控学报，2015（04）.
[4]何锋，谷锁林，陈彦辉.基于编辑距离相似度的文本校验技术研究与应用[J].飞行器测控学报，2015（04）.
[5]黄冬梅，杜艳玲，贺琪.混合云存储中海洋大数据迁移算法的研究[J].计算机研究与发展，2014（01）.
[6]孔凡新，刘丽.云环境下的隐私保护密文排序查询[J].计算机工程与设计，2014（01）.
[7]何清，李宁，罗文娟，史忠植.大数据下的机器学习算法综述[J].模式识别与人工智能，2014（04）.
[8]程芳权，彭智勇，宋伟，王书林，崔一辉.云环境下一种隐私保护的高效密文排序查询方法[J].计算机学报，2012（11）.
[9]王茜，杨正宽.一种基于加权Knn的大数据集下离群检测算法[J].计算机科学，2011（10）.
[10]陈书让.超大数据量的快速排序法[J].物探化探计算技术，2000（04）.
作者简介
李跃（1979-），男，黑龙江省大庆市人。研究生学历。现为大庆师范学院讲师。