首页范文数据处理与数学建模方法十篇数据处理与数学建模方法十篇

数据处理与数学建模方法十篇

发布时间:2024-04-26 01:45:34

数据处理与数学建模方法篇1

随着信息技术的普及,传统的演算式的数据处理方法已经逐渐地退出历史舞台,现今社会数据处理方法指的是以计算机为载体、利用互联网技术对数字信息进行整理分析的方法。现行的数据处理方法以表格和图示最为常见,一般的对近几年来的数据趋势进行分析时,往往将数据整理起来绘制折线统计图,以直观的显示数据走势。而统计每一部分数据所占整体的百分比时,一般都是用扇形图,明确地反映出数据比例。传统的图形绘制一般都是利用纸和笔进行的,而现今软件技术的发展为数据模型的抽象化和数字化提供了可能。将数据录入到电脑系统中,通过电脑软件绘制图表,在一定程度上大大增加了数据处理的准确性,提高了数据处理的效率。

二、数据处理方法

在数学建模竞赛中的应用在数学建模的初级阶段,数据处理方法可以帮助分析出模型内部各元素和数据量之间的关系,使得参赛者对自身的数学建模工作有一个基本认知。其中一小部分的数学模型可以借助数据统计的方法在大量的数据中提取有效数据,建立模型,还有人可以利用模型的理论知识与实际知识的差异度分析建模时的问题所在。可见,数据处理是数学建模竞赛中最为关键的环节之一,数据处理方法在数学建模竞赛中的应用对建模结果有着直接的影响作用。

(一)建模数据的基本分析

一般来说,建模过程中涉及的数据往往是以电子表格的形式储存在计算机中的,电子表格可以对数据进行排序、筛选、求和和公式运算等一系列处理。除此之外,其他的计算机软件如文档等,还可以利用其中的绘图功能将数据绘制成更利于观察和研究的直方图、散点图等图像。对建模数据的基本分析是数据处理方法在数学建模竞赛过程中的第一步,也是其他方法的基础。

(二)数据插值

数据插值的理论含义是在已有的数据基础上,将其他数据按照某种公式或规律插入的行为。一般情况下,只有在已有的数据量不足以支撑建模完成时才使用数据插值的处理方法,基本的数据插值往往是固定在两点之间的。当然,数据插值的方法需要遵循理论公式才可以进行,理论公式能够保证后插入的数据的准确性,绘制真实的图表。不同的理论公式,最终形成的插值效果图也就不同,因此在选择插值需要遵循的公式时,需要认真的考量。美国1998年的比赛中就用到了三维插值的方法,取得了巨大的成功。

(三)数据模拟和综合分析

数据模拟主要分为数学模拟和计算机模拟,数学模拟是建立在数学学科公式的基础上的,而计算机模拟则主要是借助计算机技术来实现的。现行的数据处理方法中以计算机模拟的方式居多,利用计算机技术,改变模拟模型的不合理结构和错误参数,为最终的模型塑造样本。数据的综合分析是建模竞赛中数据处理的最后一步,主要是对前几个步骤的整理和总结,并对其中的数据进行采样实证。根据抽样的数据分析,检验数据与模型之间的对应关系是否合理、模型的最终版本是否有着足够的数据支撑,为建模过程守好最后一道关卡。

三、结论

数据处理与数学建模方法篇2

【关键词】三维建模;三维空间模型;人机交互;摄影测量;三维点云

1、引言

随着数字采集技术的不断发展以及“数字地球”、“数字城市”概念的不断深化,人们已不再满足于传统二维手段描述的三维信息,目前三维模型已成为继图像、声音和视频之后的第四种多媒体数据类型[1],物体的表现形式也逐渐从二维表示向三维自动化建模的方向过渡。

目前实现三维建模的方法大致有以下几种:一是直接利用三维建模软件,如计算机辅助设计软件(autoCaD)、三维动画渲染和制作软件(3DStudiomax)等工具人机交互式三维建模;二是直接利用GiS的二维数据和高度信息建立三维模型,但这种方法只局限于规则对象的建模;三是基于数字摄影测量原理对物体快速建模。随着数据采集技术的不断发展和自动化,根据三维激光点云数据自动构建三维模型正成为研究的热点。本文对现今常用的地物建模方法进行比较分析,总结出了各种建模方法的特点。

2、三维建模方法

本文以校园中建筑物为建模对象,分别通过以下3种常用的建模方法进行三维模型重建:基于autoCaD的人机交互式建模、基于扫描点云的建模、基于近景摄影测量的建模。

2.1基于autoCaD的人机交互式建模

对于几何形体相对规则的建筑,常规使用免棱镜电子全站仪对建筑物构件的三维特征点进行散点式数据采集。本文采集数据同时采用“四位编码法”对特征点编码[2],并按建筑构件分类分层存储。绘图时根据特征点编码结合测绘顺序在CaD中编写LiSp程序对建筑物实现自动展点和自动连线生成线框图。以同济大学某学生宿舍为例,在CaD中连线后的线框图见图1(a),图中3个蓝点为门上3个特征点,这些点不同时位于门所确定的竖直面内。可见三维绘图不是实测点位的简单连线或修补,需以实测点位为基础,综合考虑建筑的施工、形变和测量误差及建筑特性,采用拟合的方法对线框图进行局部处理,最后构建三维实体,如图1(b)所示。

(a)门窗的4个图元不共面

(b)构建后的实体效果

图1绘制步骤及效果

此外,游天[3]等人利用对象三视图为底图在三维制作软件中直接建模,并将三面图对模型进行纹理映射提高模型的真实度。本文也以学校校门为例对此方法进行了验证,实验证明该方法构建的三维实体模型精度也能满足一般要求。

2.2基于扫描点云的建模

对于不规则物体,全站仪则显得无能为力了。三维激光扫描技术克服了传统数据采集方式的不足,应运而生的模型自动化重建技术愈来愈受到重视。目前基于扫描点云的建模一般流程可概括为点云的获取、表面重建、点云的处理与建模三个阶段。以校园某建筑为例具体实验步骤如下:

(1)点云数据获取。本实验采用LeicaC10对某楼进行扫描测量,根据该楼的轮廓特征和实际扫描范围等影响因子,本次测量共设16站。

(2)点云数据预处理

为了给建模阶段提供较理想的点云数据,需对原始点云数据进行点云拼接、去噪、采样等预处理。点云数据预处理既可通过算法[4][5][6][7][8][9]实现,也可以通过扫描仪配套软件如Cyclone、FaroScene等完成。这一步操作十分重要,是决定后续数据质量好坏和执行效率的关键。

(3)点云数据建模

目前,对建筑物点云数据模型重建的研究多数从两个方面展开:一方面提取建筑物的边界特征,以特征为约束构建三维实体模型;另一方面是直接对点云数据网格化,建立拓扑关系,进行表面重建和优化。本实验采用点云数据分割、曲面拟合以及交互组合的方法来实现建筑物对象的三维建模。建模步骤大致可分类以下三大步:

a)海量散乱点云数据分割

点云分割是为下阶段精细建模做准备。本文根据空间点的邻域关系估算点与点间的拓扑关系,将建筑模型分割为平整墙面、屋顶和附件几大区域。

b)分割部分精细建模

自动识别提取点云数据特征,并以此特征为约束迭代拟合模型,在此基础上构建三角网格。

c)模型拼接

根据模型间的特征及法矢拼接相邻模型,对拼接后的两模型公共区域部分的三角网进行裁剪、检查以及模型修补和优化。

综合以上步骤,基于点云数据建成的三维模型效果如图2所示。

图2文远楼三维模型

2.3基于近景摄影测量的建模

本实验摄影采用的是非量测型相机,以同济大学某建筑正门为例,根据近景摄影测量原理构建三维模型的流程步骤如下:

(1)影像采集。以多摄站正直环绕摄影方式用普通相机对大礼堂进行摄影,共布设8个摄站。图3为正门前的观测示意图,其中S1、S2为两个观测站,J1~J4分别为正门前4根柱子上粘贴的4个人工标志。

图3现场观测图

(2)坐标解算。考虑到非量测数码相机的内、外方位元素的初始近似值未知以及像点、摄影中心、相应地物点间的不共线,需使用加入像点坐标改正数(本实验仅考虑物镜辐射方向的光学畸变改正数)的直接线性变换解法,建立像点坐标与相应物点空间坐标之间的线性关系。

(1)

式中,)为像片上以任意点为原点的像点坐标,为点的物方空间坐标,L1~L11为11个变换参数。

(3)绘制实体

在相片上采集一定密度的特征点并解算该特征点的三维坐标,反向投影到三维空间后借助三维绘图软件展绘建筑上的特征点,增补遗漏点,并利用计算机视觉技术构建一个线框和几何实体模型。图4为绘制的建筑前门线框模型。

图4前门构建线框图

3、三维建模方法对比分析

基于人机交互的建模、基于扫描点云和基于摄影测量的建模这三种建模方法都是基于测量的建模方式,都需要以外业采集的三维坐标数据为基础进行建模。

基于人机交互的建模方法应用时间较长,技术路线较成熟,国内外研发的许多控制集成建模软件都可以利用基本的几何元素构建复杂的几何场景。这种建模方法灵活,能逼真再现对象的几何结构和表面纹理信息,适合用于对建模效果和细节要求较高的对象。但对于诸如小区、城市这样的大规模场景,如果每个模型都进行精细建模,不仅工作量大、费时费力,而且庞大的数据量也要求计算机硬件具备配套的处理能力,这也成为日后模型调用、管理的一大瓶颈。

基于点云的三维建模方法适用于不规则对象的三维建模,三维激光扫描技术克服了传统数据采集方式的不足,提高了数据采集的精度和效率,获得的点云数据信息量大,包含三维空间信息、颜色属性和反射强度信息,通过一定的算法对点云数据进行处理即可快速构建被测物体的三维模型。这种方法自动化程度高,构建的数字模型不仅精度较高还带有丰富的细节信息。但三维激光扫描在扫描过程中容易产生漏洞,且庞大的点云和数据处理技术也制约了该技术的进一步发展和广泛应用。

基于摄影测量的建模包括近景摄影和相片处理两个过程,且两阶段可独立进行。摄影时可根据测量精度要求选用量测摄影机或非量测摄影机;目前相片处理技术已相对成熟,许多现成的成熟软件和算法可以直接使用。这种方法建模速度快、自动化程度高。但近景摄影测量也存在一定的局限性,例如获取影像时需要布设控制网,这就加大了外业的工作强度;而且影像上灰度变化不明显部位无法获得同名点,这也就制约着三维建模的精度。

4、结论

通过以上的对比分析不难看出,三维模型重建过程中,建模方法和技术路线的选择尤为重要。在实际建模过程中,不要局限于某一种建模方法和技术,应从项目的实际情况出发,分析数据采集方式和数据类型,选择合适的建模方法。一般采集特征点及近景摄影测量技术结合建模软件构建简单建筑等规则对象模型,利用三维激光扫描点云对不规则物体进行精确建模。在实际应用中会遇到或规则或不规则的建筑物(群),需要采用不同的数据采集技术、三维建模方法和可视化工具,因此不同建模方法应相互融合、交织使用。

参考文献:

[1]许敏,张永生.三维实体模型库的设计与实现.微计算机信息.2008,vol.24(3-7):207~209

[2]顾孝烈,鲍峰,程效军.测量学.第四版.上海:同济大学出版社,2011

[3]游天,夏青.三维实体模型的建模技术.测绘科学.2012,vol.37(6):172~174

[4]高志国.地面三维激光扫描数据处理及建模研究:[博士学位论文].长安:长安大学,2010

尹婷.三维激光扫描数据处理技术的研究:[博士学位论文].武汉:武汉理工大学,2010

[5]杨维国.基于openGL在激光扫描数据处理中的应用研究:[博士学位论文].上海:上海交通大学,2010

[6]尹婷.三维激光扫描数据处理技术的研究:[博士学位论文].武汉:武汉理工大学,2010

[7]盛业华,张卡,张凯等.地面三维激光扫描点云的多站数据无缝拼接.中国矿业大学学报.2010,vol.39(2):233~237

[8]官云兰.地面三维激光扫描数据处理中的若干问题研究:[博士学位论文].上海:同济大学,2008

[9]施贵刚.地面三维激光扫描数据处理技术及作业方法的研究:[博士学位论文].上海:同济大学,2010

数据处理与数学建模方法篇3

近十几年来计算机技术的发展给生物医学带来很多新的研究领域和进展,三维建模技术以及三维医学模型也开始应用于生物医学重建上,其中包括人体和解剖脏器的模型。

迄今为止,在呼吸道三维重建这一领域,国内外已有不少研究人员从事有关这方面的模型研究。有很多研究运用不同的方法获得人体呼吸道的三维模型,Cheng等用硅胶树脂材料,按照某志愿者的呼吸道尺寸建立了一个上呼吸道三维模型,并进行了实验研究;Gragic等用计算机X射线断层摄影技术(computedtomographyscans,Ct)对人体呼吸道进行数据采集,并观察了活体正常的呼吸状况,建立了另外一种呼吸道三维几何模型;tawhai等根据多层螺旋X射线断层成像(multi-Detector-RowComputedtomography,简称mDCt)技术采集的人体呼吸道数据,重建了人体下呼吸道三维模型;但是在建立下呼吸道气管、支气管的几何模型上应用最广泛的是weibel提出的模型a。本文打算探索一种有利于人体下呼吸道呼吸生物力学有限元数值模型研究的重建方法。利用中国数字人体断层切片的部分数据集,对于人体下呼吸道的三维重建做出积极的探索,也为将来进行其他组织、器官的三维重建做出积极的探索。

2材料与方法人体下呼吸道三维重建的原始数据资料来自第三军医大学可视化人体研究实验室所采集的可视化人体(CHV)中呼吸道气管、支气管部分数据集,以数据集中包括从咽喉到肺部切片范围的断层数据作为重建的数据来源,利用二维图像处理软件adobephotoshop和医学图像处理软件mimics(mimics是materialise公司的交互式的医学影像控制系统,即为materiaise’sinteractivemedicalimagecontrolsystem)来进行模型重建。2.2方法2.2.1下呼吸道气管、支气管的分割将原始数据转入adobephotoshop中,根据呼吸系统的解剖学知识,将每张断面图中属于下呼吸道气管、支气管的组织划分出来。为保证图像划分的客观性与准确性,在分割前采用印刷行业的屏幕颜色校准方法进行颜色标准统一,避免显示设备差异带来的分割误差。

最后进行色彩模式转化,将划分好以后的断面切片图像的RGBa色彩模式色彩模式转化为灰度图,并保存。

2.2.1建立人体下呼吸道三维模型把所有处理好的图像资料以文件集形式导入医学图像处理软件materialise公司的mimics软件中,为导入图像资料之后,分别显示的下呼吸道气管3个正交断面的二维数据序列,分别是冠状图、矢状图、横断图。

将图像资料导入mimics软件便生成呼吸道气管、支气管的原始蒙罩图像,接着运用阈值选取技术、三维区域增长技术获得新蒙罩(以绿色显示)。在三维实体(3Dobject)菜单栏中导入新生成的蒙罩并加以运算,随后在三维区域增长技术的基础上将所选取的阈值范围内的相邻像素连接而重组成图像,就得到了人体下呼吸道三维模型。其中在theCalculate3D界面为了修补图像,选取更适用于医学图像处理的轮廓内插法,通过减少矩阵、表面光滑、边减少、三角形的减少等方式以提高生成三维实体模型的质量。

3结果利用中国数字人人体断层切片数据得到了下呼吸道的三维模型,真实地再现了下呼吸道气管、支气管的解剖形态,建立的人体下呼吸道三维实体模型形态逼真,可移动或旋转、放大或缩小、平面切割等多种方式显示,任意角度观察。人体下呼吸道三维模型的正面、侧面和俯视等方位的形态。

4讨论利用人体断层切片数据集,通过医学图像处理软件mimics重新建立的真实的人体下呼吸道三维模型,较其他方法得到的模型更能够真实的反应出人体下呼吸道的形态,尤其能够反映出气道的厚度,这是用其他方法得到的下呼吸道三维模型重建不能够反映出来的。运用这种方法获得的人体下呼吸道的三维模型可从任意角度对模型进行整体或者局部的三维显示,模型可以进行任意分割、复制和存储。利用医学图像处理软件mimics建立三维模型进行编辑后可以输出多种三维模型格式,如CaD(计算机辅助设计)、Fea(有限元分析)、Rp(快速成型)格式,可以再计算机上进行大规模数据的转换处理,这样就方便了利用其他分析软件赋予人体的物理特性,模拟人的呼吸状况和对人体下呼吸道进行力学分析,从而把人体下呼吸道模型从一个解剖模型转变为一个物理模型。mimics的功能模块以及模块之间的关系所示。

虽然运用这种方法获得的人体下呼吸道的三维模型与其他方法得到的模型相比有许多优点,但它也有很多不足之处。由于人体呼吸道解剖结构比较复杂而且精细,根据呼吸系统解剖学知识对人体切片数据进行人工手动分割,存在一定视觉误差,从而导致呼吸道管壁的厚度不是十分精确。真实的人体下呼吸道气管、支气管中是存在软骨环的,由于图像处理技术有限,这些软骨环在三维重建后的模型中没有能够体现出来。

5结论三维重建可视化技术是计算机辅助设计与计算机图形学中一个重要的研究领域;与二维图像相比,三维图像能够直观、整体地显示医学图像信息,医生能借助它更好地对病变进行空间定位。因此,医学图像的三维重建越来越得到重视。三维重建在医学领域的应用已经越来越广泛,针对不同的图像数据来源也有着不同的三维重建思路和方法。随着计算机技术的快速发展,开发的专门针对医学的三维重建软件也越来越多,并且在医学的多个领域都得到了广泛的应用。常用的有mimics,3D-doctor,amira等等,可以导入的原始数据资料包括断层切片图、影像数据(Dicom)、三维扫描数据等等,只要原始数据资料合理,就有可能找到合适的医学三维重建软件来进行三维重建。

数据处理与数学建模方法篇4

【关键词】萃取速率扩散系数数学模型

传统的油料加工业,由于工艺条件的限制,对油脂的萃取速率探讨很少。由于油脂萃取工艺技术的提高,现代油料加工业与传统油料加工业的方法根本不同,现代油料的加工,对取得油脂的压榨工艺改变为对油脂的萃取工艺,因此,在取得油脂过程中,萃取速率非常重要,萃取速率在油脂现代制备工艺条件中是重要的依据。影响油脂萃取速率的条件比较复杂,它与油料品种相关,不同的油料它的萃取速率可能不同,即使同一种油料,它的预处理方式不同、萃取操作条件的不同,也可能极大的影响萃取速率。因此,了解和掌握油脂萃取速率的理论,建立油脂萃取速率数学模型,科学地利用萃取速率和数学模型,设计油脂最佳的萃取工艺,是科技研究人员研究的方向。

1.油脂萃取速率的相关知识

传统取得油脂是通过压榨机的压榨,将油脂从油料中挤压出来,这种方式得到的油脂数量少,在废弃的油渣中仍然含有大量的油脂。现代油脂制取的方法是萃取法,它是用某种溶剂在一定的条件下从油料中提取油脂,这种萃取方法叫做固液操作法,它与萃取液的种类有不同的萃取量。萃取由于操作方式的差异,把它们分成两类,一类叫做渗滤式操作,这种操作工艺是将处理好的油料放置在固定床上,然后在油料的上层喷淋渗滤液,渗滤液靠压差可以慢慢穿过油料层,在固液相互接触的过程中完成萃取,由于萃取速率与时间相关,因此要完成萃取要求,需要不断的循环,直至使油料的油脂在与喷淋渗滤液在相互接触的时间内完全溶入液相。另一类操作工艺是固液悬浮萃取法,这种方法只能处理颗粒细小的油料,因为它要求固、液两相可以达到均匀混合的状态,这样它就可以利用带有搅拌的容器,利用搅拌器使固、液两相处于均匀状态。对于这种萃取的方式,可以采取并流、逆流或错流的不同萃取工艺。由于在油脂萃取过程中,油脂由固体萃取到液体的萃取速率影响因素虽然较多,但它的主要影响因素是萃取方式、固体油料细胞的破损程度、混合油的种类和浓度、溶剂在不同时刻向固体颗粒内部的扩散速率、油脂从颗粒内向外扩散的速率有关。因此,为了提高油脂的萃取速率,就要采取适当的措施对固体油料采取相应的预处理工艺。例如,在不同温度下的蒸炒、轧坯、膨化、粉碎、研磨、切片、切丝等工艺环境。决定油脂萃取预处理工艺的理论基础是破坏固体油料的细胞结构,这样就可以使固体油料体内的油脂与蛋白质得到分离,加大了溶剂与油料细胞内的油脂表面积的接触,表面积的大小与固体颗粒的大小关联很大,固体颗粒的大小下降一倍,固体颗粒的表面积增加数倍,因此,可以极大的增加固液接触面积,达到提高萃取速率的结果。

2.油脂萃取速率的数学模型建立

透过实验得到的一种油脂的萃取速率数据,仅仅是经验数据,要探讨油脂萃取的理论速率,将这种理论的萃取速率如果应用到其它固体油料上,需要经过利用数学模型进行归纳,才能使实测数据系统化、条理化,才有可能利用在其它油脂萃取工艺工程设计时得到应用。:

2.1实测数据的回归经验模型

这种回归数学模型是把实测萃取速率数据与操作参数按经验方程的关联。在这方面的研究工作,在科技界已有多人做了大量的研究工作。例如,有学者根据实测的含氨甲醇/己烷双液相溶剂萃取油菜籽的时间-己烷相油浓度数据,回归出油菜籽破碎粒度的萃取速率方程;也有学者根据实测的己烷萃取油菜籽数据,把萃取速率与时间关系按一阶指数方程回归处理;在用超临界流体作油脂萃取溶剂实验中,也有学者从生姜根茎或从香草荚萃取香精油,他们利用经验动力学方程回归萃取速率与各自操作参数的关系得出了回归经验方程。

2.2基于单颗粒的溶质传递过程的机理模型

这种方法主要是依据单颗粒内溶质的传递过程,按假设的传递机理建立了相应的质量传递方程。其中的模型参数是依据实测数据拟合求取的。除此之外,用超临界流体从Canola油菜籽中萃取菜籽油、从迷迭香和罗勒等草本科植物中提取香精油的研究,都是利用这种方法来建立的模型。

3.油脂的萃取速率与扩散系数的关系

油脂的萃取速率的大小受到扩散系数的制约,因此,油脂在油料固相中的扩散系数是油脂萃取速率机理模型中的一个重要参数,它几乎可以决定油脂的萃取速率,扩散系数的数值一般的获得方法是根据萃取速率的实验数据求算。在利用己烷萃取油脂时,人们发现萃取速率与下列因素有关:

3.1油料预处理后形状构造

油料预处理的加工方法较多,但主要方法是轧坯和蒸炒,也有的工厂采用膨化处理。这些预处理目的都是为了破坏油料的细胞,以便于加速油脂萃取时间和萃取程度。在研究过程中提高萃取的主要障碍是油脂通过细胞壁的扩散阻力。因此,对细胞壁破坏程度的差异,会在萃取速率实验测定数据计算的扩散系数上反映出来,这是判断采取任何方法优劣的标准。萃取初期,油脂来自于被严重破坏的细胞;萃取后期,来自于未破损的细胞内部。故初期的油脂萃取速率大于萃取后期。

3.2萃取中混合油黏度的变化趋势

在间隙萃取油脂实验中,随着时间油脂的溶解程度变大,溶剂与油脂形成的混合油浓度渐增,这时候表观的物理性质黏度开始增大。实验提出,液体中溶质的扩散系数受浓度变化影响很大。一般溶质的浓度增加,溶液的黏度增加,扩散系数下降,因此随着萃取过程,油脂不断被溶解。对间隙操作而言,溶液浓度渐增,黏度亦渐增,萃取速率渐降。在操作一定时刻后,几乎达到了平衡,但提高萃取温度仍可提高萃取速率。这可归结为温度升高,溶液黏度下降,油脂扩散系数增大,使萃取速率提高。

结语

对油脂萃取速率数学模型的建立是通过实验,利用数学知识,得到了油脂萃取速率的数学模型。需要提出数学模型的建立是由于它具有实用性。如果为了精确的计算萃取速率,就需要把所有的影响因素都融进模型之中,结果使模型雍肿,也难以求解。那么结果只能使具体操作的工程技术人员望而生畏。解决这一矛盾的方法是设置模型参数,由实验数据回归模型参数。模型参数的引入,这虽然降低了模型的理论价值,但却增强了其实用性,方便了具体操作人员的工作。

教研项目:佳木斯大学教研项目(项目编号JYB2011-042)佳木斯大学科研项目(项目编号L2009-153)

参考文献:

[1]包宗宏,陈精明,史美仁.油脂浸出速率数学模型的建模原理与分析.中国油脂.2004年第6期:13.

数据处理与数学建模方法篇5

关键词:计算机科学;数学思维;应用

现代计算机是伴随着数学问题的求解而产生的,随着自然科学的发展,很多理论方面的研究都需要大量的数学计算,由于人力计算逐渐无法完全完成科学研究中数学问题的计算,计算机的想法逐渐进入人们视野。它可以说是在数学理论的基础之上建立和发展起来的。考察计算机发展的历史,不难看到,数学思想在其中发挥了非常重要的作用。通过对计算机中的数学思想的讨论和研究,可以更好地理解计算机学科现实意义。从某种意义上说,数学为计算机科学提供了思维的工具。其实,早期对计算机的认识就是脱胎于数学而产生的。最早的计算机的创造者就是以图灵为首的一批数学家完成的。而随着计算机的飞速发展,数学思想始终在其中占据着重要的位置,反过来,计算机科技的进步也同样影响着现代数学的进步。时至今日,计算机技术的发展已经给整个世界带来革命性的变化,因此学习了解数学思想在计算机中的应用,可以更好的促进我们对于计算机的认识,也能够更方便我们掌握计算机科学,进而利用其更好的解决实际问题。

一、离散的数学与计算机原理

在计算机系统中,最为人所知的最基本设定就是,以二进制的方式来表示数据,所有的信息数据都要被转化成0和1的组合。这最初是由于电子器件在功能上的局限性所决定的,数字式的电子计算机本质的特点是用电信号来表示信息,用电平输出的高低和脉冲的有无来表达是与否的关系。因此只有采用了二进制,才能够准确的表示信息,所以说从其诞生之日起,计算机就和以微积分为代表的连续性数学划清了界限。因此更准确的说,离散数学是计算机科学的基石。另一方面,构成了计算机系统的硬件和软件同样属于一个离散的结构,其在逻辑功能上来讲是等效的。计算机科学与技术中应用的基本结构大多是离散型的,因此计算机就其本质上应当被称为离散的机器。离散数学可以说是现代数学的一个十分重要的分支,同时是计算机科学和相关技术的理论基础,所以又被人们戏称为称为计算机数学[1]。一般的,广义离散数学的概念包含了图论、数论、集合论、信息论、数理逻辑、关系理论、代数结构、组合数学等等概念,现代又加上了算法设计、组合分析、计算模型等应用方向,总的来说,离散数学是一门综合学科,而其应用则遍及现代科学与技术的诸多领域。

二、关系理论与计算机数据存贮

大数据的概念是现在十分热门的一项新兴技术概念,而大数据的建立基础就是随着日益发展的计算机数据的存储与管理技术。其实从最初的计算机对文件的管理系统到数据库系统的产生,是一次数据管理技术的飞跃。通过数据库的建立,系统可以实现数据的结构化、共享、可控冗余等功能。目前,大部分的数据库都是采用的关系数据库的组织存贮形式。现在,一个系统之中会产生成千上万项的数据元素,这就需要我们找到一种最优的方式来管理和存储这诸多数据。这往往就涉及到了数据库的设计问题,现代数据处理的基础理论就是数学中的关系理论。现在常用的有实体联系法和关系规范化方法。其中实体联系法是通过实体联系模型去描述现实中的数据,建立起简单图形(eR图),在此基础之上进而转换成和具体数据库管理相对应的数据模型。另一方面,关系规范化方法则应用于关系模型的设计和数据库结构的设计之中。通过关系规范法解决关系模型中存在的插入和删除异常、修改复、数据冗余等诸多问题。

三、数学模型的作用及在计算机中的应用

数学模型即,通过建立起一定的符号系统,将对事物系统特征和数量关系的描述通过数学形式表达出来。现当代科学发展的一大趋势就是科学的逐步数学化。均将现象的阐述与问题的解决转化成数学模型的建立。随着计算机的普及和相关产业的飞速发展,各种软件应用已经深入到社会、生活的各个方面。通过计算机软件来处理的问题已不再局限于数学的计算方面,而是面对了更多的非数值计算的实际问题的解决。而通过软件编程去实现实际问题的解决时,就必须首先将这个问题数学化,即建立起一个合适的数学模型。我们通过数学学习中所常常讨论的数值问题的数学模型,就是数学方程。但是非数值计算中的数学模型的建立,则需要用到表、树和图等一系列的数据配合数学方程式的使用建立起一种完善的结构与描述,进而才能够就应用计算机来求解。因此,可以说计算机应用的前提是数学模型的建立。

四、人工智能与模糊数学

随着现代电子计算机技术的发展,如何模拟人脑进行计算以便更好的处理生物、航天系统或者各种其他的复杂社会系统,已经成为计算机发展的一个重要方向。人工智能的概念应运而生,人工智能是一门极富挑战性的科学,而以二进制理论为逻辑基础的现代计算机在理论上是无法完全地模拟人脑思维活动的。这无疑是人工智能的发展是一个重大障碍。因为在日常的生活中,人们会经常遇到许多数量界限并不分明的事物,需要通过使用一些模糊的形容词句来描述。而这些概念是无法用简单地用是与非或精确的数字来表示的。在这一类问题上,人与计算机相比,人脑具备处理模糊信息的能力,可以判断和处理模糊现象。美国的控制论专家L.a.扎德(L.a.Za-deh)在论文《模糊集合》中提出将现代经典的集合论扩展成为模糊集合论,并以此为基础将一对元素间的模糊关系表示为乘积空间中的模糊子集。这一突破性的数学理论成功把自然语言算法化,并实现程序编写的可操作性。使计算机开始具有模仿人的思维方式的方法,进而去解决更加复杂的问题,同时也为现代人工智能的产生与发展奠定了良好的基础。伴随着信息时代的到来,计算机科学的如火如荼,人工智能技术的方兴未艾,使得工业革命时代以来以微积分为基础的连续数学的主导地位已经发生了显著的变化,离散数学正逐步成为科学领域新突破的土壤,其重要性逐渐被人们认识。也有越来越多的人把更多的精力投入到这一领域的研究中。

参考文献:

[1]傅彦,顾小丰,王庆先等.离散数学及其应用[m].北京:高等教育出版社,2007。

数据处理与数学建模方法篇6

关键词:计算机科学;数学思维;应用

现代计算机是伴随着数学问题的求解而产生的,随着自然科学的发展,很多理论方面的研究都需要大量的数学计算,由于人力计算逐渐无法完全完成科学研究中数学问题的计算,计算机的想法逐渐进入人们视野。它可以说是在数学理论的基础之上建立和发展起来的。考察计算机发展的历史,不难看到,数学思想在其中发挥了非常重要的作用。通过对计算机中的数学思想的讨论和研究,可以更好地理解计算机学科现实意义。从某种意义上说,数学为计算机科学提供了思维的工具。其实,早期对计算机的认识就是脱胎于数学而产生的。最早的计算机的创造者就是以图灵为首的一批数学家完成的。而随着计算机的飞速发展,数学思想始终在其中占据着重要的位置,反过来,计算机科技的进步也同样影响着现代数学的进步。时至今日,计算机技术的发展已经给整个世界带来革命性的变化,因此学习了解数学思想在计算机中的应用,可以更好的促进我们对于计算机的认识,也能够更方便我们掌握计算机科学,进而利用其更好的解决实际问题。

一、离散的数学与计算机原理

在计算机系统中,最为人所知的最基本设定就是,以二进制的方式来表示数据,所有的信息数据都要被转化成0和1的组合。这最初是由于电子器件在功能上的局限性所决定的,数字式的电子计算机本质的特点是用电信号来表示信息,用电平输出的高低和脉冲的有无来表达是与否的关系。因此只有采用了二进制,才能够准确的表示信息,所以说从其诞生之日起,计算机就和以微积分为代表的连续性数学划清了界限。因此更准确的说,离散数学是计算机科学的基石。另一方面,构成了计算机系统的硬件和软件同样属于一个离散的结构,其在逻辑功能上来讲是等效的。计算机科学与技术中应用的基本结构大多是离散型的,因此计算机就其本质上应当被称为离散的机器。离散数学可以说是现代数学的一个十分重要的分支,同时是计算机科学和相关技术的理论基础,所以又被人们戏称为称为计算机数学[1]。一般的,广义离散数学的概念包含了图论、数论、集合论、信息论、数理逻辑、关系理论、代数结构、组合数学等等概念,现代又加上了算法设计、组合分析、计算模型等应用方向,总的来说,离散数学是一门综合学科,而其应用则遍及现代科学与技术的诸多领域。

二、关系理论与计算机数据存贮

大数据的概念是现在十分热门的一项新兴技术概念,而大数据的建立基础就是随着日益发展的计算机数据的存储与管理技术。其实从最初的计算机对文件的管理系统到数据库系统的产生,是一次数据管理技术的飞跃。通过数据库的建立,系统可以实现数据的结构化、共享、可控冗余等功能。目前,大部分的数据库都是采用的关系数据库的组织存贮形式。现在,一个系统之中会产生成千上万项的数据元素,这就需要我们找到一种最优的方式来管理和存储这诸多数据。这往往就涉及到了数据库的设计问题,现代数据处理的基础理论就是数学中的关系理论。现在常用的有实体联系法和关系规范化方法。其中实体联系法是通过实体联系模型去描述现实中的数据,建立起简单图形(eR图),在此基础之上进而转换成和具体数据库管理相对应的数据模型。另一方面,关系规范化方法则应用于关系模型的设计和数据库结构的设计之中。通过关系规范法解决关系模型中存在的插入和删除异常、修改复、数据冗余等诸多问题。

三、数学模型的作用及在计算机中的应用

数学模型即,通过建立起一定的符号系统,将对事物系统特征和数量关系的描述通过数学形式表达出来。现当代科学发展的一大趋势就是科学的逐步数学化。均将现象的阐述与问题的解决转化成数学模型的建立。随着计算机的普及和相关产业的飞速发展,各种软件应用已经深入到社会、生活的各个方面。通过计算机软件来处理的问题已不再局限于数学的计算方面,而是面对了更多的非数值计算的实际问题的解决。而通过软件编程去实现实际问题的解决时,就必须首先将这个问题数学化,即建立起一个合适的数学模型。我们通过数学学习中所常常讨论的数值问题的数学模型,就是数学方程。但是非数值计算中的数学模型的建立,则需要用到表、树和图等一系列的数据配合数学方程式的使用建立起一种完善的结构与描述,进而才能够就应用计算机来求解。因此,可以说计算机应用的前提是数学模型的建立。

数据处理与数学建模方法篇7

关键词:灰色理论;沉降预测;matLaB;数据分析

1引言

在各种工程建设中,利用已有的沉降观测资料准确地预测后期沉降有着重要意义。本文主要介绍了灰色预测的基本原理以及结合matLaB语言建立预测模型。matLaB语言代码短小,在矩阵运算方面具有其他程序设计语言难以比拟的优越性,特别适合处理各类测绘方面的数据问题。最后用武汉市轨道交通一号线工程的八期沉降观测数据对建立的预测模型进行检验,说明对于一般的建筑物沉降,灰色预测是一种非常有效的方法。

2数据处理

2.1灰色系统简介

灰色系统理论有一整套处理数据的方法,其中主要分支有:灰关联度分析、灰色预测,灰色聚类等,对于沉降分析来说灰色预测是最值得研究的。

灰色预测是指采用灰色模型对系统行为特征值的发展变化进行的预测;对行为特征值中的异常值发生的时刻进行估计;对在特定时区发生的事件作未来时间分布的计算;对杂乱波形的未来态势所做的整体研究等。

累加生成是灰色系统理论中重要地数据处理方法,通过累加生成后,任意的非负数列、摆动数列都可转化为非减地递增数列,从而削弱原是数据地随机性,突出其趋势性,进而探求数据地内在规律,在变形数据分析处理工作中,采用1-aGo建立(1,1)模型。

灰色系统预测的基本思路是:把随时间变化的一随机数据列,通过适当的方式累加,使之变成一非负递增的数据列,用适当的曲线逼近,以此曲线作为预测模型,对系统进行预测。

沉降观测是周期性的,各期观测的时间间隔往往不等。因此,我们在建立模型时应该选择非等间隔(1,1)模型进行建模。

一、定义1:令为序列

=(),

有=≠const(k=2,,3,4…,n)

则称

(1)为非等间隔序列,为间隔

(2)为的aGo序列

=(,,…,),

(3)为的mean序列

=(,,…,),

=(0.5+0.5)

定义2:令为非等间隔序列

=aGo

=mean(),

=(),

=(),

=(),

=0.5+0.5

(1)称为非等间隔灰导数

=-=

=-

(2)称为非等间隔白化背影值

(3)称下述模型

,或

为非等间隔(1,1)定义型,记为(1,1,)

2.2非等间隔(1,1)建模步骤

(1)生成aGo序列

=aGo,

=(,,…,),

(2)mean

=mean(),

=(),

(3)间隙变换

=,

,

=(),

=max,

(k=2,3,…n),

(4)求解二级参数包

(5)求解二级参数包

(6)生成非等间隔(1,1)模型

2.3程序设计

本文用matLaB语言来建立预测模型,matLaB是mathworks公司的产品,也称为矩阵实验室(matrixlaboratory),是计算数学专家倡导并开发的,其主要功能是矩阵数值运算。与其他程序设计语言相比,它功能强大,可扩展性强,不同领域的专家都能以其为基础,开发相应的应用工具箱,形成开放式的利用体系。由于matLaB比较适合处理矩阵,其基本元素是无须定义矩阵的维数,进行数值计算的基本单位是复数数组(或称阵列),这使得matLaB高度“向量化”。它不需定义数组的维数,并具有矩阵生成函数以及对特殊矩阵处理的库函数。使之在诸如GpS信号处理、建模、系统识别、控制、优化等测绘数据的处理过程中,显得简洁、高效、方便。

matLaB作为一个科学计算平台,提供了500多个数学和工程函数。为数据分析处理和可视化以及程序开发提供了最核心的数值处理和高级图形工具代码。matLaB属于解释性语言,软件自身可以处理海量数据。应用meX技术还可以进一步提高程序运行效率,比如在大地测量的平差计算中,组成的误差方程式系数矩阵及法方程系数矩阵的阶数比较高,可采用如VC等其他程序设计语言编写代码,然后采用meX技术,编译成matLaB能够直接调用的动态连接库(DLL)文件,供程序调用。从而达到提高程序运行效率的目的。

matLaB在大规模数据处理特别是矩阵运算方面具有其他程序设计语言难以比拟的优越性。程序设计方法易于掌握,代码短小。

程序的实现过程如下:

首先就是定义变量a和t,

a=,t=[,,…,],

变量a是一个矩阵,它由沉降监测的变形量组成。变量t是由相邻两次观测时间间隔组成的向量。

clear

loada

formatshort

[n,m]=size(a);

%以下是实现aGo序列

s=zeros(n,m);

fori=1:n

forj=1:m

ifj==1

s(i,j)=a(i,j);

else

s(i,j)=s(i,j-1)+a(i,j);

end

end

end

%以上是实现aGo序列

%以下是实现mean序列

fori=1:n

forj=1:(m-1)

z(i,j)=0.5*s(i,j+1)+0.5*s(i,j);

end

end

%以下是间隙变换

loadt

k=length(t);

tmax=max(t);

dt=t/tmax;

%以下求二级参数包

fori=1:n

c(i)=sum(z(i,:));%参数C

end

s2=a(:,(2:m));

fori=1:n

d(i)=sum(s2(i,:)./dt);%参数D

end

s3=z.*s2;

fori=1:n

e(i)=sum(s3(i,:)./dt);%参数e

end

s4=z.^2;

fori=1:n

f(i)=sum(s4(1,:));%参数F

end

%以下求一级参数包

fori=1:n

aa(i)=(c(i)*d(i)-(m-1)*e(i))/((m-1)*f(i)-c(i)*c(i));

bb(i)=(d(i)*f(i)-c(i)*e(i))/((m-1)*f(i)-c(i)*c(i));

end

%以下是建立非等间隔Gm(1,1)模型

yucezhi=a;

fori=1:n

forj=2:m

yucezhi(i,j)=(bb(i)-aa(i)*s(i,j-1))/(1/dt(j-1)+0.5*aa(i));

end

end

%以下是进行残差检验

cancha=a-yucezhi;

%以下是预测模型

tt=input('请输入预测时间与最后观测值的时间差(单位:天):');

fori=1:n

ta=s(i,m);

tyucezhi(i)=(bb(i)-aa(i)*ta)/(1/(tt/tmax)+0.5*aa(i));

fprintf('第%d个点的预测沉降值为:%8.5f(mm)\n',i,tyucezhi(i));

end

end

2.4工程实例

本文以武汉市轨道交通一号线工程的八期沉降观测数据对建立的预测模型进行检验。

沉降监测的沉降量数据如下:

表-1

残差的最小值是:0.0264(mm)

残差的最大值是:2.2770(mm)

表2是与后8期沉降观测数据相对应的点位的预测沉降值,表3是实测的沉降观测数据与预测值的差值,即残差值。

根据表-3的残差数据以及残差的最小值和最大值我们可以知道,绝大多数点位的预测误差都小于±1.5mm,最小值可以达到0.0264mm。因此,灰色预测的精度是相当高的。

灰色系统理论研究的是贫信息建模,它提供了少数据情况下解决系统问题的新途径。灰色预测在某些方面有其它预测方法所没有的特点,但这不是说灰色预测方法就是最好的方法。任何方法都有其适应性和局限性,灰色预测也不例外。对于有突变的点位,灰色预测也是无能为力的。因此,如何改进或改造灰色预测模型将成为灰色预测模型的重点和难点。

参考文献:

[1]刘大杰,陶本藻,实用测量数据处理方法,测绘出版社.2000.

[2]黄声享,尹晖,蒋征,变形监测数据处理,武汉大学出版社,2003.

[3]王鸿龙,沉降观测数据的处理与统计分析探讨,西北水电,1996.第三期.

[4]邓聚龙,灰理论基础,华中科技大学出版社,2002.

[5]张铮,杨文平,石博强,李海鹏,matLaB程序设计与实例应用,中国铁道出版社,2003.

数据处理与数学建模方法篇8

关键词:思想政治课;评估;web系统;课程系统

中图分类号:tp311.52文献标识码:a文章编号:1007-9599(2012)03-0000-02

networkevaluationSystemanalysisandDesignofCollegesandUniversitiesideologicalandpoliticalLesson

QiuLinrun

(GuangdongUniversityofScience&technologyDepartmentofComputerScience,Dongguan523083,China)

abstract:theministryofeducationtocarryoutideologicalandpoliticaltheoryclassbuildingassessment,designedtoguideandpromotethecollegesanduniversitiestoemphasizeandstrengthenideologicalandpoliticaltheory,deepeneducationalreform,toimprovetherelevanceandeffectivenessoftheteaching.analysis,researchanddevelopmentofasoundideologicalandpoliticalcourseevaluationsystem,theuseofmodernitmeansofideologicalandpoliticallessonassessment,tobetterreflecttheadvancednatureofcurriculumconstruction.ideologicalandpoliticalCoursesnetworkassessmentsystemhasgoodscalabilityandmaintainability,easytopromotetheuseofthereferencevalueofideologicalandpoliticalCourseConstruction.

Keywords:ideologicalandpoliticalcourse;assessment;websystem;Curriculumsystem

一、绪论

思想政治教育工作一直是高校教书育人的重中之重,而思想政治理论课是开展思想政治教育的主要表现形式,教育部“05”方案的提出,更加肯定了思想政治理论课的主导作用。使用思政课程评估系统开展评估工作,不仅数据浏览直观清晰,而且数据分析客观严谨,促使评估工作顺畅进行,最终得出客观的评估结果,同时很容易发现问题和不足之处,为课程的进一步建设和改革提供依据。

思想政治理论课评估旨在“以评促建,以评促改,重在建设”,借着本人所在学院迎接思政评估的契机,对《普通高等学校(民办高校)思想政治理论课建设评估指标体系》进行深入的分析和研究,抽象出数学模型,分析、设计一个思政课网络评估系统,是校园信息化建设工程的一次新的尝试,也是思想政治理论课改革的一次重大突破。

二、思政课程评估系统分析

(一)系统业务分析。思政课程评估考查是近三年来的数据,业务范围广,信息量大,必须摈弃了传统的手工评估方法,采用信息化的方式进行指标评审,把现实的资料数字化,使得评估更客观,而且效率更高。思政课程网络评估系统促使课程建设进入数据化、信息化、网络化的步伐中,可以对课程的建设进行全方位的管理,更有利于提高教学效果。

本系统以评估指标为依据,设计了院校信息管理、院领导信息管理、教学工作管理、科研工作管理、师资队伍建设、特色项目等多个模块,涉及人事处、招生处、学生处、教务处、思政部等多个职能部门的工作需求。系统还要求设计用户管理模块,对不同的用户进行权限的管理,有效地保障的数据安全性和保密性。同时,系统中有些数据,例如学生信息、专业信息、班级信息和教学计划等,这些数据已经存储在学校的教学管理系统,因些本系统还需要基础数据管理模块,设计接口技术直接与教学管理系统实现数据的共享。

(二)系统流程分析。本系统是以评估指标体系的具体要求进行设计的,指标体系包括领导重视、教学工作、科研工作、队伍建设、保障条件、特色项目等六个大的方面,一共36项评分指标,涉及课程建设的各个方面,系统的功能应该涵盖每项指标的数据,实现数据的录入、修改、删除、浏览、分析和统计等操作,最终生成评估的汇总报表,同时数据可以对课程建设提供科学的决策依据。系统主要的业务流程包括以下几个部分:

1.院校信息管理。院校信息包括院校基本信息管理、在校学生信息管理、当年招生信息管理及学院各部门组织机构设置等子模块,院校信息模块涉及学院院办、党政办、宣传办、学生处等学院部门。其中在校学生信息管理子模块和当年招生信息管理子模块涉及万余人的数据处理,信息量较大,可以从基础数据模块调用。

2.院领导信息管理。此模块包括院领导听课记录分析模块、思政课会议管理模块、发展规划及管理文件管理模块、思政理论课经费投入管理模块。该模块涉及学院领导、学院院办、财务处、教务处、评建办等学院部门。各管理模块均涉及相关数据的输入和处理,并对处理后的信息进行分析,并与思政理论课评估标准进行比较,为学院领导提供课程建设的决策。

3.教学工作管理。教学工作管理模块包括专业信息管理、思政课课程管理及教学过程等三个子模块,其中教学过程又分为备课管理、听、评课管理、教学调研管理及学生评教等三级模块,该模块数据来源主要是学院教务处,通过对相关基本数据的输入、处理,系统可提供教学工作数据,与思政理论课评估标准相关教学的指标标准进行比较,从而为学院领导和各职能部门提供教学工作管理的数据依据。

4.科研工作管理。科研工作管理模块包括教学成果管理、科研成果管理、论文管理和专著与教材管理等模块,该模块数据来源是学院科研处,通过对全院教职工科研成果分类输入、处理与统计,系统提供科研相关数据,与思政理论课评估标准相关科研的指标标准比较,从而为学院领导和各职能部门提供科研工作的数据依据。

5.师资队伍建设。师资队伍建设模块包括全院师资队伍管理、思政课教师、教师评优评先、教师进修考察等模块,该模块数据来源主要是学院人事处,通过对相关基本数据的输入、处理,系统提供人事相关信息,与思政理论课评估标准相关师资的指标进行比较,为学院领导和各职能部门师资引进、培养等工作提供数据依据。

6.特色数据管理。该模块是思政课特色项目内容管理模块,包括课程的特色项目建设内容,然后向国家、省上级评估专家展示思政课建设情况。

系统具有良好的移殖性,可以方便地运用在其他高校,同时还提供了用户管理模块、栏目管理模块和基础数据管理模块,其中用户管理模块可添加、修改和删除多个级别和类型的用户,不同用户的使用权限不尽相同,可保障系统多级用户管理,增强系统的安全性;栏目管理模块便于本系统的扩展与维护,栏目是按指标体系设定,可以方便地进行修改;基础数据管理模块为系统提供基础数据依据,有些数据不是与课程评估相关的数据,但是却与课程建设是息息相关的,所以必须包含在系统中,保障系统的完整性。

三、思政课程评估系统设计

(一)系统体系架构。本系统是基于B/S模式的信息系统,采用流行的mVC架构设计,包括模型(model),视图(View)和控制器(Controller)三个部分,使系统结构更加清晰,更好地体现高内聚低耦合的特点,采用mVC对系统进行模块化设计,为系统的扩展性和维护性提供支持。

在mVC程序中,应用程序通过Global.ascx和Controllers实现了URL映射。当用户进行页面请求时,该请求首先会被发送到Controllers控制器中,开发人员在Controllers控制器中创建相应的变量,并调用models模型的方法对变量赋值,Views视图通过Controllers控制器的方法读取变量,并将结果页面呈现在浏览器中。当用户在浏览器中对web应用进行不同的页面请求时,该执行过程将会循环反复。对于models而言,Controller通常情况下使用models读取数据库,把从model中读取的数据存储在相应的变量中。在models中,models能够将传统的关系型数据库映射成面向对象的开发模型,能够使用面向对象的思想进行数据库的数据库访问操作,包括读取、写入、修改和删除等。该系统的视图采用DiV+CSS标准布局结合组件设计;控制器采用面向对象的思想,使用C#编写类和相关方法,传递变量;模型主要使用和LinQ技术来实现数据库的访问。

(二)系统功能模块设计。思政课程系统是按照评估指标体系进行设计的,必须为每一项指标提供数据依据,满足每一项指标内容的考核要求。系统采用模块化设计,把36项指标分解到相应模块中,包括院校信息管理、院领导信息、教学工作管理、科研工作管理、师资队伍建设、特色项目模块。

为了完善系统,还设计了用户管理、基础数据管理和系统设置模块。每个模块完成独立的功能,各模块可以独立开发,从而提高了团队协作效率。本系统的功能主要包括以下部分组成。

(1)系统登录模块;(2)用户管理模块;(3)院校信息管理模块;(4)院领导信息管理模块;(5)教学工作管理模块;(6)科研工作模块;(7)师资队伍建设模块;(8)特色项目管理;(9)基础数据维护模块;(10)系统设置模块;(11)生成评估报表。

(三)数据库设计。数据库是信息管理系统一个非常重要的组成部分,主要完成存储、组织和管理数据的工作。数据库设计是系统设计与实现的关键步骤,设计时必须遵循一定的规则,数据库结构设计的优劣会影响系统开发效率以及系统的使用性能。

本系统采用microsoftSQL2005作为数据库管理平台,数据表、视图和存储过程都在该软件中创建。通过对系统功能模块的分析和设计,系统需设计的数据表较多,包括用户表、院校基本信息、在校学生信息、当年招生信息、组织机构、听课记录分析、思政会议、发展规划及管理文件、思政课经费投入、集体备课记录、教研室听评课记录、教学调研、学生评教、教学成果、科研成果、论文、专著和教材、全院师资汇总、思政课教师评优评先、思政课教师进修考察登记、思政课特色项目、专业列表、专业方向、教学计划、教材、教研室、班级列表、系统栏目等。

四、结语

思政课程评估系统很好地满足了思政课评估工作的需求,通过对系统的数据进行分析和统计,按照指标体系的评审标准生成评估结果报表,为课程的建设和改革提供科学的解决方案,做得逐个突破,精益求精。随着计算机技术的发展,高校必将进入一个新的数字化时代,要求我们要创新思维,改变观念,适应新环境。

参考文献:

[1]黄艳,聂菊华.建立高职院校教学评估体系的思考与实践[J].管理观察,2010

[2]龚赤兵.web开发新体验:3.5mVC架构与实战.北京:电子工业出版社,2009

数据处理与数学建模方法篇9

污水处理是指通过构建一项可靠有效的体系来治理与改善水质,并依靠一套切合实际的自主监控体系来维护其正常运行的过程,这一体系所涉及的参数较多,必须及时给予检测,才能保证污水排放的指标与我国环保部门的有关规定相符合。在实际操作期间,由于污水处理的过程比较复杂、变化较大、具有一定的非线性等,存在传感器不能及时准确地检测和传输数据的情况。针对这一问题,通常主要采用下面两种方法进行解决:第一,可利用新开发的硬件检测仪直接检测过程参数,但因污水处理的过程比较复杂,硬件检测仪器虽能检测到污水中有机物的参数,却无法实时在线监测各种水质中的有机物。因此,要想完成这一污水处理过程相对较难。第二,通过计算机结合易于测量的信息数据进行估算待测量的变量值,即所谓的软测量。在污水处理过程中结合软测量进行构建相应的模型,以完成对污水处理过程的实时监控,从而开发出相关的自行监测体系,满足污水排放的达标标准。

2软测量技术及其内容

软测量技术实质是根据可测量与易测量过程的变量及无法直接测量的待测变量的关系,而按照相应原则来选取新型网络计算机技术进行检测与评估待测变量的方法。通常该项技术主要包含以下内容,即收集和处理数据信息、选取相应的辅助变量、构建软测量的模型及在线校正等。首先,数据信息的收集是指收集原始辅助变量和主导变量的历史数据,使其具备精简、均衡及代表性的特点,以便能够充分反映出污水处理过程的全部状况。而数据处理主要包含数据的变换处理与误差处理两种,目的是为了确保数值的一致性,减少污水处理体系的非线性,减小误差因素。其次,辅助变量的选取,大体包含类型、数量、检测点方位等选取内容且选取时应满足特异性、准确性、灵活性等原则。最后,构建软测量的模型,它的建立方式很多,一般包括回归分析的构建法、工艺机理的构建法及人工神经网络的构建法等。其中基于神经网络的建模方法的研究最多。然而,模型辨识作为软测量的核心要素,在建立模型时,应对其进行认真检验,保证模型得以满足预设的标准要求。

3软测量在污水处理过程中的具体应用

3.1污水处理体系故障诊断中软测量的应用实践

在污水处理的过程中,由于相关部件发生故障出现异常问题,导致水质逐渐恶化,最终造成整个污水处理体系的运行受到影响。因此,为提高污水处理体系的安全性与可靠性,可将软测量的技术具体应用到部件故障的诊断中,将软测量的理论输出和传感器的实际输出相比较,再根据残余信号诊断传感器的故障,最后由软测量的实际输出替换故障仪表的输出。在具体实践过程中,污水处理体系的正常运行,需要较多的传感器进行实时监测才能实现。而该过程从本质上来说是一个运行分类的问题,也就是将体系运转的状态划分为正常和各种异常状况。对此,可运用模型分类的方式进行检测生产过程的实际运转状态。基于支持向量机的检测技术,实质是一项以最小化结构风险为原则的测量方法,因其的构造较为简单且具备良好泛化与全局最优性能的特点,进而在软测量的故障诊断中获得大量研究。据相关文献显示,借助软测量SVm+Bp模型进行预测二沉池的污泥体积指数(SVi),以此判定污泥的膨胀程度。但因该法所选择的污泥膨胀影响参数相对较少,加上基于支持向量机(SVm)在测量小样本参数后取得的误差较大。而在实际的污水处理中,往往异常现象的样本数量均少于正常现象的样本数量。因而在异常现象的预计误差偏大时,就会引起误判的可能。应利用结构风险的泛函加以改进基于支持向量机的方法,结合故障数据的不均匀特性,获取显著的分类预计效果。

3.2优化过程中软测量的应用情况

在污水处理的过程中,因无法在线监测水质中的各种参数,若能准确估算很难测量或者无法在线检测的参数,并将其用来随时调节有关设备的运转情况,如调整阀门开度、电机工作频率等。便能达到环保节能,实现通过消耗最少的物资能源来完成污水排放达标的目的。在污水处理中,微生物的氧气需求量可随着环境与时间的改变而变化。因此,应在不同工作状况下研究及构建氧变化的溶解模型,尤其是污水优化期间很难测量或无法实时测量的变量模型,并在此基础上对鼓风量实施低消耗的有效控制。除曝气优化之外,软测量还可应用于其他的优化工艺中。如用来估计序批式活性污泥(SBR)工艺的循环时间。SBR作为一种污水处理工艺,有序与间歇运行的操作便是其最大的特征,并且该过程具备较大的灵敏性,能依据进水的水质适时调节工艺,确保出水水质的达标。据相关文献资料,利用软测量技术来估算SBR工艺中各阶段的最优处理时间,并按照不同工艺的要求进行分段控制,可实现SBR工艺的全过程优化。此外,污水经一二级的处理后,其水质相对有所改善,污水中的细菌不断减少,但即便如此,污水中可能还会存有少许的病原菌。排放前需给予全面消毒,且加入适量的氯物质。据文献报道,通过神经网络的软测量方法来预先测量大肠杆菌的数量,并投放适量的氯参加氯化与反氯化反应,能起到改善水质的作用。

4回顾展望

由于污水处理的过程具有强非线性、多变量的耦合及参数变化等特点,目前,软测量技术在污水处理过程中的发展趋势,主要是将人工智能、回归分析及机理模型等手段有机结合而成的软测量模型,来进行测量无法测量或难以在线测量的参数,以便有效诊断及优化污水处理的过程。软测量在污水处理过程的运用与实施仍处于初步阶段,还存有较多的问题需要解决。首先,污水处理过程的复杂性与多变性,所获取的数据存在较大误差,进而严重影响了精确模型的建立,为此需要建立一个能自主适应的软测量的模型。其次,软测量的模型没有得到很好校正,始终阻碍着软测量技术的发展应用,尤其是在传感器出现故障时,不知如何完成软测量的自行校正。最后,如何有效应用软测量来诊断及优化污水处理的过程,尤其是污泥膨胀的现象。

5结语

总而言之,在污水生化处理的过程中,尚存有多变量的耦合、测量参数的经常变化、非线性强烈等问题,这给污水生化处理的监控工作造成严重影响。因此,我们只有在污水生化处理中有针对性地应用软测量,尽可能地将其用来优化污水治理的整个过程,从而有效提高污水处理的经济和社会效益。

参考文献

[1]李明河,杨明.污水总氮软测量模型的研究与应用

[J].自动化与仪表,2009,(9):1-4.

[2]马军爽.污水处理出水水质软测量建模研究[J].微计算机信息,2010,26(1):154-156.

[3]黄道平,刘乙奇,李艳.软测量在污水处理过程中的研究与应用[J].化工学报,2011,62(1):2-9.

数据处理与数学建模方法篇10

〔关键词〕大数据;城市公共危机;案例库

Doi:10.3969/j.issn.1008-0821.2016.08.011

〔中图分类号〕G203〔文献标识码〕a〔文章编号〕1008-0821(2016)08-0061-05

〔abstract〕inthefaceofthecitypubliccrisiswhichoccursfrequently,theproblemsoftheshortageofstructuredresearchdataareincreasinglyprominent.thedevelopmentofbigdataprovidednewopportunitiesforthestudyofcitycrisiscasebase.thispaperexpoundedtheconnotationandthoughtpatternsofthebigdataandthefactualresearchbasedonthebigdatatechnology,andthepaperconstructedthefunctionaldesign,systemsarchitectureandsystemimplementationofcitycrisiscasebasebasedonthebigdata.theinnovationofthepaperwasthatrelevantthinking,overallthinking,fault-tolerantthinkingandintelligencethinkingofbigdatawasintroducedintotheconstructionofthecasebase,fillinginthecoordinationworkofthefunctionsofthecasebase.

〔Keywords〕bigdata;citypubliccrisis;casebase

城市公共危机管理问题的研究已经进展多年,有关专家和学者在理论与实践层面都进行了深入的研究。学者Birch和Guth把危机管理划分为事前、事中、事后等3个阶段,并且分别论述了3个阶段危机管理的应对策略[1]。RobertHeath提出了危机管理的4R模型,并将公共危机事件应对过程分为减弱、就绪、响应、恢复等4个阶段,提出了不同阶段的风险管理理论[2]。王传清、毕强提出了政府危机信息管理联动系统模型等[3]。

然而,人、机、物三元世界的高度融合引发了公共危机案例数据规模的爆炸式增长和数据模式的高度复杂化,世界已进入大数据时代[4-5]。仅仅依靠传统案例处理模式、联动处理模式等是无法完全支撑公共危机管理的问题的。由于大数据隐含着巨大的社会、经济、科研价值,已引起了各行各业的高度重视[6-7]。城市公共危机事件中多形态、多信源、高冲突的危机数据可能与大数据的特征相吻合,在构建数据库、系统模型等方面尝试融入大数据的研究和应用,可能会为城市公共危机案例库的建设和应用带来更大的发展空间,为更好地解决城市公共危机的管理问题提供相关理论借鉴和经验尝试。

1文献综述

通过文献研究发现,城市公共危机案例管理系统、平台建设方面的研究尚比较弱,相关文献也仅限于相关模型的构建、数据挖掘模式的构建、关键技术的支撑等。实体研究方面例如兰州大学共危机信息管理研究团队组织研发的《中国公共危机事件案例知识库》[8],该系统收集了2007年以来我国发生的四级以上关于自然灾害、事故灾难、公共卫生、社会安全以及网络舆情的突发公共事件案例等。北京天演融智软件公司研发的《中国危机事件与管理案例库》[9],该系统为各类型组织提供一个学习型的集成化危机预警与辅助决策支持平台。但是系统模式、功能模块的构建还需引入大数据思维。

大数据比较有代表性的定义是3V定义[10],即大数据的特点可以总结为3个V:规模性(Volume)、多样性(Variety)和高速性(Velocity)。面向大数据的思维是多维的,研究者所关注的点不同,思维方式也不同,大数据思维主要有定量思维、总体思维、容错思维、相关思维、智能思维、实验思维等[11]。

大数据在城市应用领域有着迅速的发展,目前基于大数据技术的城市研究机构有:北京大学智慧城市研究与规划中心,该中心致力于智慧城市理论研究与技术攻关、时空间行为大数据研究及智慧城市规划管理应用[12];龙瀛博士创建了北京城市实验室BCL,BCL是致力于采用多学科结合的定量方法进行城市研究的非官方学术研究网络[13];上海同济城市规划设计研究院成立了可持续智慧城市实验室SU-SmaRtCitYLaB,SSCL是一个以集成数据与原创研究为依托的城市研究与规划设计机构[14];北京清华同衡城市规划设计研究院成立了北京西城―清华同衡城市数据实验室UDL等[15]。网站也开始重视大数据和城市应用研究领域,例如城市数据派UDparty[16];城市规划云平台CitYiF等[17]。

目前在城市公共危机管理的研究中,大数据思维模式下的城市公共危机案例库建设尚比较弱,在建设中引入大数据思维,构建城市公共危机案例库,尝试突破传统思维造成的信息壁垒,利用大数据所集成的数据挖掘、机器学习等前沿技术,利用大数据定量分析、智能判断等优势,实现对城市公共危机案例管理的智能化、大数据化等具有深刻的意义。

2城市公共危机案例库功能设计

基于相关理论与实践研究,依据相关案例库的用户需求,结合大数据技术,构建大数据视域下的城市公共危机案例库系统。城市公共危机案例库系统的总体框架由危机案例数据获取模块、危机案例大数据处理模块、危机案例检索与决策支持模块3个功能模块和案例库、工具库、规则库等相关数据库构成。功能模块和功能数据库协同工作,实现危机案例库系统的设计功能。系统的总体结构框架如图1所示。

21危机案例数据获取模块

城市危机案例信息采集是整个城市公共危机案例库建设的基础,也是案例分析及大数据处理的前提和条件。传统数据分析我们主要使用样本分析法,这是在有限的技术条件下无法获取全部数据的无奈选择。舍恩伯格认为:“在大数据时代进行抽样分析就像在汽车时代骑马一样。”[18]为了实现大数据的总体数据思想,模块中设置城市数据信息采集、危机案例数据采集、城市危机案例采集引擎等功能项,这一功能主要由人机交互共同实现。

城市是一个多因素、多层次、多功能的大系统,案例库中城市数据信息的采集不是简单的信息任务上传,采集的数据也不都是结构化的数据,很多数据信息是动态的、隐性的,分析城市危机案例,首先要把城市的全部基本数据信息进行采集存储,这是研究城市公共危机案例的基础。城市数据信息采集功能项需要在大数据的总体思维下把城市的基本数据信息进行全方位采集并存储,这部分主要由人工采集存储。

在现实社会中,危机一般是指对一个社会系统的基本价值和行为准则架构产生严重威胁,并在时间压力和不确定性极高的情况下必须作出关键决策的事件[19]。城市危机不但具有突发性、不可预测性、高度不确定性等危机的一般特性,而且还具有突发性与紧急性并存、公共性与灾难性并存、共振性与复杂性并存、不确定性与时间的有限性并存等特点[20]。危机案例数据采集功能项需要在大数据的总体思维下把城市公共危机事件数据进行全方位采集并存储,重点解决半结构化和非结构化信息数据的采集,这部分主要由人工采集和计算机智能采集存储。

由于大数据的量大,案例库设置城市危机案例采集引擎。该采集引擎注重信息源及其内容的全面性,数据来源包括各大网站、论坛、博客、微博等;采集的内容包括文字、图片、音频、视频等。采集引擎借鉴互联网搜索引擎技术,代替人工智能采集城市公共危机事件,重点采集半结构化和非结构化事件数据、隐性危机信息数据、价值密度低数据等,强调采集数据的完整性。

危机案例数据获取模块经3个功能项获取大量数据后,经过数据集成形成最初的危机案例数据库,该数据库是大量数据的聚集地,没有经过系统处理和加工,交由危机案图1城市公共危机案例库系统结构图

例大数据处理模块进行处理。

22危机案例大数据处理模块

由于大数据时代数据处理发生了重大转变,处理数据的流程也相应发生了变化。大数据普遍适用的处理流程分为采集、导入和预处理、统计和分析、数据挖掘四部分。危机案例库可以借鉴大数据处理数据的流程和大数据思维设置大数据处理模块。

经过危机案例数据获取模块集成的数据导入到分布式案例存储集群,经过专业化信息工具处理进行简单的数据清洗和处理,分布式数据库及计算集群对存储于存储集群的大数据进行数据分析和分类汇总等,形成具备一定功能形态的城市危机案例库。例如把非城市公共危机范畴的数据进行筛除,对自然灾害危机、意外事故危机、公共卫生危机、社会安全危机等案例进行分析和分类汇总等。

由于危机案例库更多的要体现大数据思维,更重要的在功能上还要体现智能化,所以要进一步应用大数据视域下的核心思想,引入大数据的关联思维、容错思维及智能思维对城市危机案例库进行深层次地数据挖掘。与简单的数据清洗和分析分类不同,数据挖掘在过程上具有发散性,主要是对数据进行各种算法的计算,为了更好地满足高级别数据分析的需求。

221关联数据挖掘

在小数据时代,人们常常关注城市公共危机案例的因果关系,试图通过有限样本案例来分析总结其中的内在机理,但是这些有限的危机案例样本数据不能很好地、全面地反映出案例之间的相关关系。在大数据时代,可以通过大数据技术挖掘危机案例之间的隐性关系,获得更多隐性数据的显性化,利用显性化的数据信息可以帮助决策者进行数据获取和数据预测,从而进行更加准确的决策推理。在大数据处理模块引入关联挖掘技术,可以帮助案例库用户检索案例、检索决策、进行决策推理、向用户推送信息等。

222容错数据挖掘

由于小数据时代人们获取的危机案例样本量比较少,所以比较注重危机案例数据的结构化和精确化。舍恩伯格指出:“只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法利用,只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户”[16]在大数据背景下,引入容错思维,适当忽略一定层面上的精确性,接受一定程度的错误和混杂,可能在数据的宏观层面获得更多隐性数据的显性化,帮助决策者进行数据获取和数据预测等。在大数据处理模块引入容错挖掘技术,可以帮助案例库用户进行决策推理、向用户推送信息等。

223智能数据挖掘

大数据时代要求数据库处理数据从线性等简单的思维向智能思维转化,这是大数据处理的显著特征和核心内容。在大数据背景下,引入智能思维,可以对城市公共危机案例数据进行逻辑分析、智能判断、科学预测等。大数据处理模块引入智能挖掘技术,可以更好地支撑危机案例库的数据处理功能,为各项功能的协调运行提供智能化支撑。

在关联挖掘、容错挖掘、智能挖掘等相关大数据处理技术的支撑下,对城市危机案例库进行大数据处理形成城市危机智能案例库。该库可以有效支撑案例库用户的案例检索、决策检索、决策推理等功能。

23危机案例检索与决策支持模块

危机案例检索与决策支持模块主要实现用户的检索需求与决策推理需求。由城市危机智能案例库中的案例数据库、决策数据库、决策推理模块等构成。数据库和功能模块协同工作,实现用户检索与决策推理的设计功能。由智能决策推理形成的新决策方案充实到决策数据库中。用户的检索效果与决策推理效果反馈到案例库的数据获取模块与大数据处理模块。

3城市公共危机案例库系统实现

基于城市公共危机案例库的功能设计,结合大数据技术,给出城市公共危机案例库的系统实现。

31案例库的系统架构

在构建城市公共危机案例库系统功能等研究的基础上,提出案例库的系统架构,其核心部分如图2所示。图2城市危机案例库的系统架构图

案例库系统通过各种不同的连接器,实现对各类数据库、系统、第三方应用的数据进行数据采集;案例库系统对采集的案例数据进行清洗、抽取、处理等操作,生成案例数据索引;案例库系统是通过分布式系统建立数据仓库,并利用大数据技术提供数据挖掘功能;数据服务层为其上的数据应用层提供各类数据接口。用户权限系统可以从数据的各个层面进行嵌入。

32案例库系统的交互环境

在案例库系统功能、系统架构等研究的基础上,构建案例库系统的交互环境案例库交互环境中的案例检索的部分功能实现如图3所示。

在案例检索交互界面中,设置快速检索和高级检索等功能。输入关键词进行检索,在检索界面的左侧,设置危机属性、危机描述、利益相关、案例分析等功能链接。以“2015年8月12日天津大爆炸”为例,危机属性包括天津爆炸的时间、地点、主要影响、危机领域、危机类型、所属行业、危害程度等各项数据;危机描述包括天津爆炸案例的前兆、紧急、持续、结果等阶段的具体数据描述;利益相关主要是指危机利益相关者数据分析等;案例分析主要是对危机案例数据进行大数据处理后进行处理结果的展示,包括案例数据对比分析、案例数据统计分析、数据宏观指导、数据智能判断等,例如港炸案例数据分析、图3案例检索交互测试界面

化学品爆炸案例数据分析、智能爆炸案例数据统计等。

4总结和展望

本研究依据案例库设计的理论和实践研究,结合大数据技术,构建了城市公共危机案例库的功能结构和系统实现,在案例库中嵌入了大数据思维,从技术实现和功能需求上为城市危机管理的减缓工作提供了一些新的思路。

但是系统实现方面还有很多挑战,例如如何在这些数据库之间进行负载均衡、如何实现大数据的智能算法等问题是需要深入思考的,在后续研究中,需要进一步研究功能模块的系统性、精确性、效用性等;工作流程的逻辑性、系统性、规则性等;案例库系统实现的稳定性、实用性、创新性等。

参考文献

[1]张岩.非常规突发事件态势演化和调控机制研究[D].合肥:中国科学技术大学,2011.

[2]HenthR.危机管理[m].王成,译.北京:中信出版社,2004:18-21.

[3]王传清,毕强.政府危机信息管理联动系统模型构建[J].图书情报工作,2012,(9)31-36.

[4]李国杰.大数据研究的科学价值[J].中国计算机学会通讯,2012,8(9):8-15.

[5]Jamesmanyika,michaelChui,BradBrownetal.BigData:thenextFrontierforinnovation,Competition,andproductivity[Z].mcKinseyGlobalinstitute,2011.

[6]Divyakantagrawal,philipBernstein,elisaBertinoetal.ChallengesandopportunitieswithBigData[eB/oL].CyberCentertechnicalReports,February,2012.http:∥docs.lib.purdue.edu/cctech/1.

[7]pattern-BasedStrategy:GettingValuefromBigData[Z].GartnerGrouppressRelease,2011.

[8]兰州大学.中国公共危机事件案例知识库[eB].http:∥/.

[9]麦尼哲中国危机管理资源网[eB].http:∥.cn/index.aspx.

[10]Grobelnik,m..Big-dataComputing:CreatingRevolutionaryBreakthroughsinCommerce,Science,andSociety[R/oL].http:∥/eswc2012grobelnik-big-data/,2012-01-02.

[11]张义祯.大数据带来的四种思维[n].学习时报,2015-01-26.

[12]北京大学城市与环境学院智慧城市研究与规划中心[eB].http:∥/intro/info-5000.shtml.

[13]BeijingCityLab[eB].http:∥/.

[14]可持续智慧城市实验室(SSCL)[eB].http:∥116.236.160.182:1310/SmartCity/SuSmart/lab/FirstpageCn.

[15]清华同衡城市数据实验室UDL[eB].http:∥/.

[16]城市数据派UDparty[eB].http:∥/

[17]城市规划云平台[eB].http:∥/.

[18]维克托・迈尔-舍恩伯格.大数据时代[m].杭州:浙江人民出版社,2013-01-01.