大数据论文篇1
1.1大数据对大量数据信息的处理
由于历史文化名城展示与利用涉及到的内容很多，包括历史学、地理学、建筑学、社会学、景观生态学等，与此同时，随着科学技术的进步，先进的数据采集、建筑测绘等软硬件设施已经大量应用于历史文化名城的展示与利用当中，在此过程中产生了数量庞大的数据信息，而大数据能够对这些庞大的数据信息进行快速准确的处理．所谓“大数据”就是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产．例如，三维激光扫描技术是一种通过激光反射的原理，将被测量对象通过三维激光扫描系统的处理，构建成一整套的点云数据模型，在此基础上，通过专业的三维软件技术对于被测对象进行逆向的数字化构建，从而能够进行后续的数字化的研究与利用．在此过程中，点云数据会大量涌现，尤其是对于展示与利用真实性要求更高的项目而言，所产生的数据将会无限接近于真实的被测对象，数据会呈现出几何数量级增长．数据量大，能够促进历史文化名城展示与利用在探索方法和研究理念的层面上产生根本性的变革．对于早期的历史文化名城的展示与利用来说，由于受到认知性和数据分析能力的影响，人们就某一处历史文化名城的展示与利用的形式、内容以及方法上，仅仅是能够通过数量有限的样本案例和数据资料，利用较为传统的技术手段进行数据的分析、评估和管理．大数据的应用，能够将大量的历史文化名城的相关信息进行有目的性的筛选和处理，为展示利用的方式、方法在名城中的应用，提供了较为全面和具体的对策措施，提高展示利用实施的精确性．
1.2大数据对多样数据类型的处理
历史文化名城在展示利用时涉及到的数据繁多复杂．单就其中的某一处历史建筑来讲，《历史文化名城、名镇、名村保护条例》对建筑本身的历史档案包括了5项内容:1)建筑艺术特征、历史特征、建设年代及稀有程度;2)建筑的有关技术资料;3)建筑的使用现状和权属变化情况;4)建筑的修缮、装饰装修过程中形成的文字、图纸、图片、影像等资料;5)建筑的测绘信息记录和相关资料．除此之外，还有关于历史沿革、历史事件、地名典故、名人轶事等资料．上述几项内容，基本涵盖了一处历史建筑的历史价值和人文价值，这些详细资料，在历史文化名城的展示利用时会起到举足轻重的作用．在历史文化名城的展示利用的过程中，数据的类型非常多，有图片资料、文字资料、影像资料、图纸资料、点云数据等．在以往展示利用处理数据信息的时候，利用传统的数据处理技术，事先定义好结构化的数据．结构化数据是将对象数据向便于查询、处理的方向抽象的结果．结构化数据即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据．结合到典型场景中更容易理解，比如企业eRp、财务系统;医疗HiS数据库;教育一卡通;政府行政审批;其他核心数据库等．在结构化数据过程中，通常会忽略一些特定条件之下所不必考虑的细节，筛选出有用信息．随着互联网技术、展示利用技术以及测绘技术的快速发展和演进，非结构化的数据大量的出现，难以用结构化来进行表示，在存储记录数据的同时还要储存数据的结构，增大数据存储和处理的难度．相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括视频、音频、图片、图像、文档文本等形式．具体到典型的案例中，如医疗影像系统、教育视频点播、视频监控、国土GiS、设计院、文件服务器pDm/Ftp)、媒体管理等具体应用资源，这些行业对于存储需求包括数据存储、数据备份以及数据共享等．目前在历史文化名城展示与利用当中，所利用的数据大部分都是非结构化的数据，而这些非结构化的数据将会逐渐成为主流化的数据．随着历史文化名城保护的发展，与展示利用相关的影响因子指标数量上必定会更加的丰富和细化．为了满足历史文化名城展示与利用的目的，在相关数据激增的同时，新的数据类型还会不断出现，很难用一种或是几种规定的模式来描述趋于复杂、多样性的数据形式．而大数据与传统的数据处理方式最大的不同之处就是，它在非结构化数据和信息的方面能够最大限度地将大量历史文化名城展示与利用的相关影响因子指标的细节信息进行数据非结构化，可以减少在数据处理过程当中的数据流失现象，为展示与利用提供更加充分的情报信息与技术支撑．
1.3大数据对数据信息的快速处理
由于科学技术水平的飞速发展和普及，数据越来越庞大，必须有相应的数据处理能力才能够将大量的数据进行充分而有效的利用．历史文化名城的展示与利用发展到今天，展示利用的相关数据除了具有传统属性以外，还具有时效性，通常某些数据的价值会随着时间的推移而迅速降低，能否快速准确地处理这些数据，则是充分体现它们的价值所在，而大数据的特点就在于能够快速、持续、实时的处理数据，从而能够满足相关的需求．在经济发展和大规模建设工程中，经常会忽略历史文化名城的历史文脉的科学展示与利用．有时会单纯地将历史文化名城的展示与利用和社会发展、自然环境及其居民生活割裂对待，这样会恶化居民的生活环境，不利于拉动居民的消费，不利于延续传统的历史文脉，不利于文化产业的发展，不利于创造品牌效应，降低城市的知名度，不利于历史文化名城的可持续发展，对传统风貌会造成严重破坏．在大数据的背景下，为了保护这些稀缺的展示利用资源，使得名城保护能够可持续发展，大数据就需要对名城的相关数据进行快速处理，及时快速的提出有效、合理的保护措施．
2大数据在历史文化名城展示利用中数据处理的应用
2.1在历史文化名城空间数据上的应用
在《历史文化名城、名镇、名村保护条例》中提到，历史文化名城、名镇、名村应当整体保护，保持传统格局、历史风貌和空间尺度，不得改变与其相互依存的自然景观和环境;建设控制地带内的新建筑物、构筑物，应当符合保护规划确定的建设控制要求;核心保护范围内的历史建筑，应当保持原有的高度、体量、外观形象及色彩等，从条例以上的内容描述可以看出，与历史文化名城展示与利用的相关信息具有非常典型的空间性．历史文化名城展示与利用中空间数据的采集，基于移动设备、互联网络、测绘系统、自动记录系统、数据档案系统等，以及通过这些系统综合分析所产生的再生数据．大数据通过整合和深入提取这些空间数据，将这些信息进行重新利用，实现海量展示与利用的数据信息的实时处理，智能判断以及快速决断，为某一项历史文化名城的展示利用提供决策依据．随着三维激光扫描技术的逐渐成熟，在历史文化名城的街区展示利用中，通常采用三维激光扫描技术，将历史街区现有的建筑特征和风貌进行数据的采集和整理，之后通过计算机相关软件的处理，恢复历史街区传统的风貌特征，并通过虚拟现实等技术手段将其进行一定的场景重现．
2.2在历史文化名城数据分析上的应用
由于大数据在信息处理上具有透彻感知、广泛互联互通、深入智能等特点，能够借助互联网络进行传递、协同以及共享操作，在通过利用先进的数据分析技术，深入分析收集到的展示利用的数据后，进而获取到更加具有创新性的、系统性的、全面性的数据信息来满足某一项历史文化名城在这方面的信息需求．大数据在数据分析方面的应用，从过去单维度的项目计划、项目管理和项目执行，转变为多维度的新兴的项目协作关系．在这种新的组织关系下，每一处历史文化名城个体，在进行展示与利用项目的筹划、设计和实施过程中，都可以精确地、自由地、即时地共享和获得相关信息，发掘同一类型数据的共性和不同，对彼此各自的特点进行正面、真实、合理的归纳与总结，找到若干种恰当的展示与利用的方式与方法，然后进行比较和选择，以达到最佳的展示利用的效果．大数据的应用，促进了历史文化名城的数字化基础构建和物理设备的相互融合，通过数据对于名城的数据采集和汇总，经过网络实现人与物的统一与整合，之后再通过云计算技术，使其对于历史文化名城的展示与利用的管理更加动态化、系统化．
3大数据对历史文化名城展示利用的意义
历史文化名城的组成是由历史文脉和城市形态两大重要要素构成．现在愈来愈多的人们开始呼吁政府有关部门采取有效的措施，保护和传承历史文化名城的历史脉络和注重塑造城市形态，传承历史记忆，展现人文气息．在社会经济处于重大历史变革的今天，对于历史文化名城传承的思考更加具有意义．历史文化名城的历史文脉和城市形态通常表现为包括城市空间形态、结构形态、聚集形态等一些具有可读性强的、城市意向明显的、静止性的、永久性的客观物体．城市形态作为物质属性，其展示利用通常是展现城市的空间轮廓、城市肌理、街道格局、风貌特征、建筑物和构筑物本体等;而历史文脉作为非物质属性，其展示利用通常是展现与历史文化形态有直接联系的演变规律、历史事件、社会结构、社会制度、哲学思想、伦理观念、语言文字、文学艺术、礼仪风俗以及地域文化等．历史文脉的展示通常是结合历史文化名城的物质空间和相关史实文献资料的整理，采用声、光、电等现代的技术手段将抽象的历史文脉以一种相对具体的形式进行展示．大数据的功能和作用就是能够把城市形态和历史文脉等这些具有物质属性和非物质属性的资料信息进行数据化、数字化的统计、整理和归纳，以一种清晰的思路与方式展示历史文化名城文化创造的成就，以生动、形象、完整的方式来诠释历史文化的脉络．通过大数据在历史文化名城形态特征的展示与利用，探索古代与现代文明相互融合的有效方式与途径，在保持相关历史记忆的同时，加入新的科学、技术的活力，从而促进历史文化名城的可持续发展．从历史文化名城的展示利用的角度来说，加强文化遗产展示与利用和促进经济与社会发展的有机结合，探索展示利用的有效解决途径和方式，是为历史文化名城的展示与利用提供策划方案、拟定策略、提供决策的科学依据．只有在保持古城的形态和历史文脉传承的前提下，选择大数据的方式进行历史文化名城的展示与利用，文化遗产本身及其遗产价值才能以更有成效、最佳的方式体现．
4结语
大数据论文篇2
参考文献
[1]陈杰.本地文件系统数据更新模式研究[D].华中科技大学2014
[2]刘洋.层次混合存储系统中缓存和预取技术研究[D].华中科技大学2013
[3]李怀阳.进化存储系统数据组织模式研究[D].华中科技大学2006
[4]邓勇强，朱光喜，刘文明.LDpC码的低复杂度译码算法研究[J].计算机科学.2006（07）
[5]陆承涛.存储系统性能管理问题的研究[D].华中科技大学2010
[6]罗东健.大规模存储系统高可靠性关键技术研究[D].华中科技大学2011
[7]王健宗.云存储服务质量的若干关键问题研究[D].华中科技大学2012
[8]余雪里.金属氧化物pn异质结对光电响应与气体敏感特性的作用[D].华中科技大学2014
[9]王玮.基于内容关联密钥的视频版权保护技术研究[D].华中科技大学2014
[10]韩林.云存储移动终端的固态缓存系统研究[D].华中科技大学2014
[11]田宽.宫内节育器用Cu/LDpe复合材料的表面改性研究[D].华中科技大学2013
[12]聂雪军.内容感知存储系统中信息生命周期管理关键技术研究[D].华中科技大学2010
[13]王鹏.低密度奇偶校验码应用于存储系统的关键技术研究[D].华中科技大学2013
[14]刁莹.用数学建模方法评价存储系统性能[D].哈尔滨工程大学2013
[15]符青云.面向大规模流媒体服务的高性能存储系统研究[D].电子科技大学2009
[16]王玉林.多节点容错存储系统的数据与缓存组织研究[D].电子科技大学2010
[17]田敬.对等存储系统中的数据可用性与安全性研究[D].北京大学2007
[18]傅颖勋，罗圣美，舒继武.安全云存储系统与关键技术综述[J].计算机研究与发展.2013（01）
[19]杨黎.金属氧化物半导体多孔膜材料气敏过程中的导电行为研究[D].华中科技大学2013
[20]聂雪军.内容感知存储系统中信息信息生命周期管理关键技术研究[D].华中科技大学2011
[21]周可，张江陵，冯丹.Cache对磁盘阵列性能的影响[J].电子学报.2003（09）
[22]LipingXiang，YinlongXu，JohnC.S.Lui，QianChang，Yubiaopan，RunhuiLi.aHybridapproachtoFailedDiskRecoveryUsingRaiD-6Codes[J].aCmtransactionsonStorage（toS）.2011（3）
[23]LipingXiang，YinlongXu，JohnC.S.Lui，QianChang.optimalrecoveryofsinglediskfailureinRDpcodestoragesystems[J].aCmSiGmetRiCSperformanceevaluationReview.2010（1）
[24]BiancaSchroeder，Gartha.Gibson.Understandingdiskfailurerates[J].aCmtransactionsonStorage（toS）.2007（3）
[25]Lakshmin.Bairavasundaram，GarthR.Goodson，Shankarpasupathy，JiriSchindler.ananalysisoflatentsectorerrorsindiskdrives[J].aCmSiGmetRiCSperformanceevaluationReview.2007（1）
[26]任劲，谢长生，李为.iSCSi协议及其Linux下的实现[J].小型微型计算机系统.2003（07）
参考文献
[1]赵贻竹.开放式环境中自动信任协商机制研究[D].华中科技大学2008
[2]杨寅.存储系统可靠性关键技术研究[D].华中科技大学2013
[3]王鹏.低密度奇偶校验码应用于存储系统的关键技术研究[D].华中科技大学2013
[4]姜国松.RaiD控制器apoRC软件架构研究[D].华中科技大学2009
[5]李华曜.金属氧化物半导体多孔膜材料光电性能评价的研究[D].华中科技大学2013
[6]刘军.光盘版权保护系统若干关键问题的研究[D].华中科技大学2009
[7]赵小刚.硬盘驱动器自伺服刻写关键技术的研究与仿真[D].华中科技大学2009
[8]裴灿浩.可支持多协议盘阵的存储加密技术研究[D].华中科技大学2010
[9]杨志红.改性Cu/LDpe纳米复合材料的释放行为与生物相容性研究[D].华中科技大学2007
[10]刘百灵.自动信任协商中敏感信息保护机制及提高协商效率方法研究[D].华中科技大学2010
[11]余永升.互联网环境下涉密图像的泄密检测与追踪方法研究[D].华中科技大学2010
[12]吴伟.海量存储系统元数据管理的研究[D].华中科技大学2010
[13]张志广.用于重要电子文件保护的数字水印和数字指纹算法研究[D].华中科技大学2009
[14]詹玲.面向应用的对象存储设备的数据组织研究[D].华中科技大学2009
[15]姚杰.分布式存储系统文件级连续数据保护技术研究[D].华中科技大学2009
[16]孔君华.高钢级X80管线钢工艺、组织与性能的研究[D].华中科技大学2005
[17]孙望强.大分子纳米粒的制备工艺及其性能研究[D].华中科技大学2004
[18]柏自奎.金属氧化物气敏元件阵列的制备与性能研究[D].华中科技大学2008
[19]陈云亮.分级存储系统中基于进化算法的数据管理与保护关键技术研究[D].华中科技大学2013
[20]孔令罔.基于光斑图像分析的光盘驱动器头盘准直系统研究[D].华中科技大学2007
[21]刘春.硬盘读写通道若干关键技术的研究与仿真[D].华中科技大学2007
[22]文风.金属/聚合物复合材料的腐蚀行为和金属离子扩散动力学研究[D].华中科技大学2007
[23]蔡水洲.铜/低密度聚乙烯纳米复合材料在模拟宫腔液中的腐蚀行为及其对铜离子的控释[D].华中科技大学2005
参考文献
[1]赵振.一种自适应海量存储系统组织策略及关键技术研究[D].华中科技大学2006
[2]刘海华.基于运动特征分析的视频对象分割与表达研究[D].华中科技大学2006
[3]林植.基于策略的访问控制关键技术研究[D].华中科技大学2006
[4]刘剑.面向服务体系结构的服务重组关键技术研究[D].华中科技大学2006
[5]史维华.65nmnoRmLC快闪存储器的低功耗高压电路设计和快速编程算法研究[D].复旦大学2009
[6]魏雄.网络存储的智能化管理与服务研究[D].武汉大学2011
[7]刘艳.陈潭秋生平史事与思想研究[D].华中师范大学2014
[8]刘艳.二甲氧基硫代磷酸酯类农药单克隆抗体研制及单链抗体三维结构模拟[D].南京农业大学2009
[9]任崇广.面向海量数据处理领域的云计算及其关键技术研究[D].南京理工大学2013
[10]刘艳.期望价值、学习目地和学习行为：汉语作为第二语言学习动机研究[D].南京大学2012
[11]刘艳.和谐社会构建中的和谐消费研究[D].湖南师范大学2012
[12]李勇.异构存储系统中的缓存技术研究[D].华中科技大学2014
[13]刘艳.嗜热丝氨酸蛋白酶tfpa的外源表达与分子定向改造[D].四川农业大学2012
[14]刘艳.几种北方落叶栎种子发育的形态生理及萌发特性研究[D].北京林业大学2013
[15]刘艳.海岛棉枯萎病抗性相关基因的克隆及功能验证[D].新疆农业大学2013
[16]刘艳.孕期补充DHa对脂多糖所致宫内感染仔鼠脑组织tLR4、核因子-κB表达影响[D].华中科技大学2009
[17]刘艳.乌头碱对大鼠心肌细胞毒性作用的分子毒理学机制研究[D].华中科技大学2009
[18]王辉虎.纳米氧化锌的控制制备及其光催化性能的研究[D].华中科技大学2006
[19]刘艳.急性睡眠限制对健康成人睡眠结构、冲突处理和干扰效应的影响[D].中国人民解放军医学院2014
大数据论文篇3
1.1传统国有企业文档管理
随着企业信息化的要求，国有企业的文档管理虽然实行了电子化、网络化，但是仍有许多纸质文档占用大量的存储库房、橱柜和文档架等空间。文档机构将文档转化为知识的能力严重不足，这使得原本步入半衰期的文档资源直接进入休眠期乃至死亡期，进而导致掌握着企业最有价值信息的文档机构在数字化时代不断边缘化。虽然文档机构所收藏资源实现了数字化储存，但这些资源长期处于休眠期，并没有实际价值意义。
1.2基于知识管理的国有企业文档管理
随着数字化、电子化，网络化时代的来临，文档管理的管理模式经历了实体管理、信息管理、知识管理过程，这演化过程实际是文档价值的升华与知识内涵的拓展过程。知识管理是指通过对企业内外各种信息、知识进行有效的识别、全面的收集、科学的加工和充分的运用,并且通过促进知识共享、鼓励知识创新、实现知识增值，从而来提高企业的应变能力和创新能力。基于文献的梳理，文档管理与知识管理的研究集中于构建知识管理的要求。笔者认为企业文档是企业重要的知识资源，是企业知识管理的基础；同时，文档管理是保护企业知识产权的有力武器。知识管理是实现隐性知识价值的途径，而文档管理是对显性知识的管理。从文档管理与知识管理的性质来看，文档管理是使归档文件的有序化和结构化，实现文档的利用价值；而知识管理是通过对文档的收集、加工、利用、编研和信息化管理等手段，将文档转化为知识资源。从文档管理与知识管理的共同性质来看，它们都是对信息资源进行加工，提取出有价值的信息，为企业提供服务。
1.2.1文档管理模式的转变
传统的文档管理是以纸质文件为管理对象，而现在多以电子文件与纸质文件互为交融的资源为管理对象，并且重视知识管理、知识共享与知识创新。
1.2.2文档业务的流程再造
业务流程再造是企业管理对组织流程重组的一种管理思想。文档业务流程再造是以文档业务流程为改造对象和中心，以关心客户的需求和满意度为目标，对现有的文档业务流程进行根本的再思考和形式的再设计，使得企业能最大限度地适应新形势下的现代经营环境。文档管理的流程再造是以文件管理的流程为基础，实现文件“产生、运转、归档、永久保存或销毁”流程的改造与知识管理的前端控制，流程再造是根据文件管理的流程实行文件前端控制，主要是对企业内部文档而言，将产生于职能部门的文档，经过初次加工，送入文档机构，由文档人员根据企业文档管理的标准体系进行再次加工，然后进行归档，通过数据挖掘的知识管理平台提取知识，最后通过服务平台提供给用户。
1.2.3文档管理人才队伍的建设
传统的文档管理人员的职能是接受、保管、排序、借出、归档等基本职能，但是基于知识管理的文档管理模式中，更要重视知识的产出，重视资料背后隐藏的有价值的知识。这要求作为参与信息管理、知识管理的工作人员提高自己的素质与工作能力，掌握管理学和现代企业管理知识，熟悉企业业务流程，同时懂得利用科学技术提高自己的工作效率。
2大数据环境下国有企业文档管理面临的新挑战
2.1文档管理模式面临的新挑战
大数据时代意味着企业的数据量多而且结构化数据与非结构化数据并重。基于知识管理的企业文档管理模式重视知识管理、知识共享、知识创新。大数据到来，对知识管理的模式提出了新的要求。现有管理模式的收集视角狭隘，而在大数据背景下，文档机构的收藏应多元化发展，从广泛视角收集文档资料，更多关注一些复杂化、碎片化、底层化信息的收集。
2.2文档业务流程面临的新挑战
目前，我们从文档流程与数据流程两方面进行文档管理。我们注重文档的前端控制，但是只是对文档产生之前的文件做出简单鉴定与加工处理。这样的处理并没有减轻文档机构人员的工作量，而是加重了文档机构重复性鉴定与加工处理。文档资料的冗余性、复杂性导致了知识提取工作量繁重，提取知识不可靠性。所以对文档的前端控制来说，文档产生之前的文档鉴定方法与文档的标准化格式是非常必要的，选择正确的文档鉴定方法能快速辨别文档的价值，提高文档输入速度，而文档标准化格式处理是挖掘知识的基础。
2.3文档管理人才建设面临的新挑战
人才资源是企业文档管理的关键。传统的文档管理模式中，只要求工作人员有归档、收集资料、查询等基本知识，而随着电子化、网络化的推进，企业要求文档机构人员除了具备基本服务素养，还要懂得信息化技术。但是在大数据背景下的企业文档管理，这些素养还远远不够，文档工作人员不仅要懂得现代企业管理理论，熟悉企业业务流程，还要具有数据处理能力，能够运用先进的技术提高工作能力与效率。工作人员要从数据的视角看待文档，以大数据理念推动文档的管理与服务。从管理层来看，要严格把关人才选拔；加快文档人员知识结构的变革，多途径、多层次培养人才。
2.4管理技术支持和服务面临的新挑战
技术是企业发展的生产力。在基于知识管理的企业文档管理模式中，技术是整个模式架构的基石。从整体来看，it架构布局是整个知识管理平台的基础；从局部来看，数据挖掘技术是知识提取的核心技术，是整个企业文档管理的中心。整个文档管理的轴心是数据挖掘技术，所有的活动都围绕它开展。现有文档管理模式提供的是点对点的个性化服务。在大数据背景下，用户在竞争日益激烈的环境下需要更多的信息与知识才能做出好的决策，这对国有企业文档机构提供的服务提出了新的挑战。用户要求文档机构的服务响应速度更快，信息检索与查询更便捷，信息与知识的可理解性更强，并且能够提供全过程的信息服务。这要求文档机构在大数据背景下的个性化服务不仅提供用户所需要的信息，还要通过对用户需求进行分析，提供基于海量分布式资源的精细化知识组织输出，即实现“信息+解决方案”的一站式服务。
3基于知识管理的国有企业文档管理的优化途径
为了应对大数据时代的挑战，我们可从两个方面解决基于知识管理的文档管理的问题。
3.1基于知识管理的文档管理模式的改进文档
管理工作的开展需要两方面的支持。文档是企业的宝贵资源，促进企业的成长，所以知识管理需要管理层领导的支持。管理层要重视、关注企业文档管理工作，为文档管理配备必要资源，从大局出发，定时提出要求，及时给予工作指导。在人员配备方面，企业要选用有一定信息素养，掌握一定管理理论的工作人员，同时要具有数据处理能力。大数据技术能够解决企业文档的电子文档数据储存提供与调用速度慢的问题，所以企业的技术服务部必须从企业大局出发，全面建设企业信息化平台。从企业底层的网络it架构到面向用户的信息平台，技术部的人员要提供一站式技术，为文档管理部门提供基础技术支持。另外，在面向用户的文档管理平台上，必须要对用户进行权限管理，防范企业泄密的风险。
3.2基于知识管理的文档管理业务流程再造
基于文档管理业务流程再造，是指我们在文档前端控制的时候，增加文档鉴定与文档格式标准化功能。在文档鉴定方面，采用徐拥军学者（2008年）的宏观鉴定论。它不再采用“时间、来源、职能、内容或用户”之类的具体标准，而是改用更加宏观且相对抽象的“文件形成机关的社会职能”标准。这种宏观鉴定标准与方法可以对体积量大的文件进行批处理式的鉴定，提高鉴定速度，进而提高资料收集工作的效率。对于提高企业文档输入工作的效率问题，这就要求企业建立文档管理标准化体系。标准化体系分为两个层次：第一个是数据输入的标准化格式。标准化格式的电子文档数据提高了工作人员对数据输入的效率，同时也利于工作人员对海量标准化数据深层次的挖掘。第二个是企业文档管理流程的标准化。工作人员严格按照标准化流程办事，落实流程各个阶段的责任，防止文档泄密与丢失等其他突发事件。知识管理平台是企业档案管理的核心，它的前端是企业收集的文档经过标准化处理的数据，后端是面向用户的开放性信息平台。知识管理平台的核心是数据挖掘技术，数据挖掘技术是大数据时代的一种数据处理技术，它指从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘技术善于发现文档海量信息中的精华，有利于有效的知识管理，是实现知识挖掘、知识共享、知识创新的途径与方法。
4结语
大数据论文篇4
关键词：大数据；云计算；虚拟化
1认识大数据
相信大家都还记得2013年5月10日淘宝十周年晚会上，阿里巴巴集团董事局主席马云在其卸任集团Ceo职位的演讲中说到：“大家还没搞清pC时代的时候，移动互联网来了，还没搞清移动互联网的时候，大数据时代来了。”
什么是大数据？
早在1980年，当时著名的未来学家阿尔文·托夫勒便在其著作《第三次浪潮》中热情洋溢地将大数据赞颂为“第三次浪潮的华彩乐章”。不过直到时光抵达2009年，“大数据”才开始成为互联网信息技术行业的流行词汇。
环顾四周，我们都已经切身感受到了当今的信息量正在以前所未有的速度膨胀。当我们的普通民众在上世纪90年代刚刚接触个人计算机的时候，1mB的磁盘，1GB的硬盘已经是不错的配置。然而现在呢？GB、tB都已经无法满足我们丈量数据大小的需要，pB、eB、ZB已经义无反顾地承担起了丈量数据的大任。
随着互联网自媒体的普及，每天都有数以亿计的人在发微博、写微信、更新个人主页、使用社交网站、发表个人评论……全球互联网上每天会有220万tB的新数据产生，90%的数据都是在过去的24个月内创造出来的，如今，这个比例还在不断上升。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中，他们对大数据的表述是：大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。他们对大数据的特性进行了归纳，提出了4V特点，即Volume(数据量大)、Velocity(要求实时性强)、Variety(数据的种类多样)、Value(数据是有价值的)。
而《互联网周刊》则认为“大数据”的概念远不止大量的数据和处理大量数据的技术，或者所谓的“4V特点”之类的简单概念。大数据是涵盖了人们在大规模数据的基础上所能做到的事务，而这些事务在小规模数据的基础上是无法实现的。换句话说，大数据让我们能够以一种前所未有的方式，通过对海量数据进行分析，获得具有巨大价值的产品和服务，或者深刻的洞见，进而最终形成变革世界的力量。
2大数据应用的现状分析
最早提出世界已经迎来“大数据”时代的机构则是全球知名的咨询公司——麦肯锡。麦肯锡在其研究报告中指出：数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
大家都或多或少地意识到应该能从这些海量的数据中获取些什么，然而究竟我们能获取到什么呢？
一个被广为传播的典型案例是：在2012年初美国的一家target超市，一位愤怒的父亲突然闯进来对店铺经理咆哮道：“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券，她才17岁啊！”经理下意识地认为是店里出了问题，也许是误发了优惠券，于是立即向这位父亲道歉。然而经理却没有意识到，其实这是公司正在运行的一套大数据系统得出的分析结论。
target会从其会员的购买记录中去了解该顾客的性格、类别等一些列业务活动。上面的例子正是target为适龄女性创建的一套怀孕期变化分析模型，如果相关客户第一次购买了婴儿用品，系统将会在接下去的几年中根据婴儿的生长周期向顾客推荐相关的产品，从而培养和提高客户的忠诚度。
果然，一个月后，该名愤怒的父亲打电话给商铺道歉，因为target发来的婴儿用品优惠券不是误会，他的女儿确实怀孕了。
利用数据挖掘用户的行为习惯和喜好，在凌乱纷繁的数据背后发掘出更符合用户兴趣和习惯的信息、产品和服务，并对这些目标化的信息、产品和服务进行针对性地调整和优化，这便是大数据能带给商家最诱人的价值之一。
随着社交网络在人们生产生活中地位的快速提升，大量UGC(UserGeneratedContent用户自生成的内容)进入互联网，上述价值的实现也变得越来越明显。
事实上，全球it业巨头都已经意识到数据的重要意义和“大数据”时代的到来。包括iBm、emC、惠普、微软在内的全球知名跨国公司都陆续通过收购与“大数据”相关的厂商来实现技术整合。
目前典型的大数据应用领域有：
商业智能。例如：用户行为分析，即结合用户资料、产品、服务、计费、财务等信息进行综合分析，得出细致、精确的结果，实现对用户个性化的策略控制，这在营销网络的流量经营分析中占有越来越举足轻重的地位。个性化推荐，即在各类增值业务中，根据用户喜好推荐各类业务或应用，这已成为运营商和门户提供商服务用户的一个最有效方式之一，比如应用商店的软件推荐、iptV视频节目的点播推荐、购物或旅游网站的猜你喜欢等。
公共服务。一方面，公共机构可以利用大数据技术把积累的海量历史数据进行挖掘利用，从而提供更为广泛和深度的公共服务，如实时路况和交通引导；另一方面，公共机构也可以通过对某些领域的大数据实时分析，提高危机的预判能力，如疾病预防、环境保护等，为实现更好、更科学的危机响应提供技术基础。
政府决策。通过对数据的挖掘，从而有效提高政府决策的科学性和时效性。例如：日本大地震发生后仅仅9分钟，美国国家海洋和大气管理局(noaa)就了详细的海啸预警。并且随即noaa通过对海洋传感器获得的实时数据进行了计算机模拟，制定出详细的应急方案，并将制作的海啸影响模型实时在了Youtube等网站上。
3大数据解决方案的现状分析
以往谈及大的数据通常用来形容一个公司创造的大量非结构化和半结构化的数据。如今把“大数据”作为一个专有名词提及，通常指的是解决问题的一种方法，即通过收集和整理生产生活中方方面面的数据，然后对其进行整理、挖掘、分析、处理，进而从中获得有用的价值信息。这种衍化出的新的商业模式即为通常意义上的大数据解决方案。
虽然通常意义上的大数据解决方案描述了一种通常的行为，但要实现这种通常的行为，往往会遇到诸多技术和硬件上的问题。一个显而易见的问题就是：大数据包络万象，而且像音频、文本信息、视频、图片等非结构化数据正以突飞猛进的速度增长，加上移动互联网的普及所带来的如位置、生活信息等富含价值的数据，现有的，或者传统的对数据的处理手段和硬件配置已越来越跟不上数据发展的步伐。
于是革命爆发了！
哈佛大学社会学教授加里·金就说道：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”
数据需要存储，存储需要设备，存储设备的容量和可扩展性以及读取的速度成为了一大问题(容量问题)；大数据不是一日而成的，往往都需要一定周期的积累，在数据的积累过程中，以前的数据和现在的数据在存储上应该是能保持一致的，无论设备升级与否，而且这些数据要长期有效，这是一个持久的问题(积累问题)；与持久相对应的，互联网是变化的、经济活动是变化的、整个世界都是变化的，针对某些实时问题，如交易、金融等，用已经过去的数据显然是不合适的，这也是一大问题(延迟问题)；大数据包络万象，有些是可以随意获得、和消除的，有些，如金融数据、医疗信息、政府情报等，则是需要按不同级别进行保护和加密的，特别是在需要交叉数据参考的应用中，不同部分的数据有着不同的安全需要，这又是一大问题(安全问题)；为了满足上述问题，我们显然可以通过不断加大投入，购买更多的存储设备、雇佣跟多的工作人员、建设更多的数据中心和分析中心，但这一切都是由成本的，特别是对于以盈利为目的的商业机构而言，成本和收益永远都是最优先考虑的问题之一(成本问题)；当然还有很多其他的问题，这里就不一一罗列了。
驱动商业机构解决上述问题的动力肯定是商业利益。以全球知名的it制造与服务和咨询提供商iBm为例，其全球Ceo调研显示，唯有在数据获取、将数据转换为洞察力、再将洞察力转化为行动力等方面表现优秀的企业，才能有持续的绩效表现。绩效突出者从海量数据中挖掘出有价信息的能力是绩效不佳者的2倍。
iBm认为由于当今企业、市场、社会、政府之间的联系变得越来越紧密，传统的数据分析正日益呈现出“大数据”时代的新特点，即容量要求更高、速度要求更快、数据类型多样和数据来源复杂4个方面。结合多家领先市场咨询机构的调研数据显示：
2010-2015年，“大数据”市场年均符合增长率为39.4%，将是整个信息与通信技术市场增速的7倍；管理及维护数据的成本将是购买存储设备所需成本的4倍；全球数据量的年均复合增长速度为59%；未来需要分析的信息源中，混合类型数据所占比重将高达85%；数据分析直接受到服务器性能制约的数据量将占到总体的87%；仅2012年一年，服务器在整体“大数据”市场投资中就将占去14%的比重。
这就意味着传统计算的低效正在为企业发展带来阻碍，企业感到当前的it系统变得更加复杂且难以管理。数据显示：企业用于运营和维护it系统的费用已经超过整体预算的70%，并且这一比例仍在持续增长；企业有三分之二的it项目及解决方案部署超出了原定计划；it架构的复杂度将以当前速度每两年就增加一倍。
于是出乎绝大多数人意料的事情发生了：it部门，这个曾经作为企业现代化和创新化能力标志的部门，正越来越成为企业新创新的阻力而非动力。
怎么办？
很多人立即想到了另外一个热词：“云计算”。
iBm全球高级副总裁Rodadkins认为，当前全球it领域有了令人振奋的发展趋势和挑战，现在每天有大量数据和信息生成，这为大数据分析提供了机会；数据中心的挑战也为it提供了新机会，比如云计算，能降低数据中心成本。
emC资深产品经理李君鹏认为，大数据本身就是一个问题集，云技术是目前解决大数据问题集最重要有效的手段。云计算提供了基础架构平台，大数据应用在这个平台上运行。目前公认处理大数据集最有效手段的分布式处理，也是云计算思想的一种具体体现。teradata技术总监StephenBrobst则表示，公有云架构对数据仓库没有影响，因为企业的Cio不会无缘无故把财务数据或者客户数据放到云上，那样很危险。然而，是私有云架构确实有影响：第一，通过私有云，可以巩固数据集市，减少利用率不足的问题；第二，可以通过灵敏的方式将数据集成，实现业务价值。
于是有人就此理解为：大数据的最佳解决方案是采用云计算和分布式处理，利用互联网将运算能力、存储能力都做分布式的处理，认为这样做就可以最大程度上地降低成本、增加扩展性和灵活性。
然而事实真的如此吗？
让我们来分析一下最近iBm公司在国内针对百万人口的城市级信息中心制定的解决方案：
面对数量庞大且增长迅速的各类交通信息：120万辆机动车电子卡、4万辆机动车的实时GpS定位、200万笔公交iC卡数据、518个高清卡口的113亿张图片等，该市信息中心的领导意识到，当前多个项目能源消耗大、占地要求非常高、并且原有的网络设备难以满足新增的需求，网络设备经常更换，并且这些相互独立的数据库、服务器和存储，以及不同的访问权限和没有统一的管理界面，让本就压力巨大的数据中心的效率大打折扣，同时也极大浪费了宝贵的人力、能源和其他各种资源。
iBm给出的解决方案是：
首先，在基础平台上摒弃了分布式的服务器架构，而是采用大型服务器在基础架构上对处理能力、i/o吞吐和主存储进行了整合，这样做的最大亮点是，将原有成百计的分布式服务器整合到了个位数，极大地节省了空间和能源，做到绿色环保；因为不用考虑各分布式服务器之间的互通互联和各服务器之间的状态及负载均衡与调配，节省了相当数量的管理人员；另外大型服务器自身端到端的管理功能和适用于异构工作负载且基于策略的框架，有效帮助信息中心实现中心控制，实现极高的性能。
其次，在整合的基础平台之上，采用“云计算”框架虚拟化设计，实现了智能交通和政务网站的整合。这一方案让用户在使用上可以享受与分布式架构相同甚至更加优越的性能。由基础平台通过虚拟化形成的任意数量的虚机，在统一云管理软件URm的配置下，能够提供统一的管理视图和管理机制，简化在多套异构业务系统环境下系统的运营和维护工作。
而在本方案中的存储部分则采用了运行稳定、性能领先、技术成熟的San网络架构，具有很好的稳定性，能为前端各应用提供可靠的数据存储平台，并且整个San网络中的部件都配置了双冗余组件，保证任一部件的损坏不会影响整个系统的运行，而关键数据库的数据都通过合理的备份策略，定期备份在了物理磁带上，保证关键数据的绝对安全。
总结下来，整合的基础平台，“云计算”框架的虚拟化设计，和定制化的高速存储，打造出了最稳定、最可靠、最安全、最绿色的运行环境，让政府的大数据应用完美落地。
可见，大数据的解决方案不同于纯粹云计算的解决方案，虽然云计算带来了看上去更便宜的处理能力和存储能力，但对于往往都有相当数量级规模的大数据应用而言，在基础架构上巧妙地整合和部分的集中，反而能更好地解决安全性、可靠性、稳定性和绿色环保的需要。
4结束语
大数据论文篇5
目前，国内高等院校的计算机基础教育更多地沿用了传统计算机教育的方法，只注重讲授计算机的理论知识和操作要领，未考虑学生学习的效果。这导致学生只是记住一些概念和理论，能做基本的操作，却很难用所学的知识灵活地解决实际问题。当前大学计算机基础教育面临以下4个问题：
（1）学生的计算机应用能力差异大
高等院校的学生来自全国各地，而不同地区的中小学计算机教育水平参差不齐。单一的课堂教学已无法保证所有的学生学得会、学得好，这给教学带来了问题。
（2）教学和实验的学时严重不足
目前，各个高校都在减少课时，教师只能在课堂上和实验中加大讲授的知识量，加快教学进度。当一个教师面对几十个学生时，基础较差的学生往往得不到教师足够的指导和练习时间，这给辅导答疑带来了问题。
（3）学习的结果与过程未被记录下来
学生可以利用丰富的网络资源巩固课堂内容，扩大知识面，加深对知识的理解。在传统教学中，教师往往忽视了学生的课后学习，没有记录学习结果与过程，这给教育过程的改进带来了问题。
（4）目前的网络教学系统很少区分学习个体
网络教学系统能够提供大量的多媒体教学资源，帮助教师进行课后辅导答疑，却很少区分学习个体，导致缺乏个体相关的数据，从而难以提供个性化的指导，这给网络教学系统的智能化带来了问题。这些问题归根结底是数据的问题，是数据没有被有效地规划和整合的问题。我们把与学习过程相关的大量数据收集起来，对这些数据进行分析，挖掘出有价值的信息，最后传递给学习者，这是一种解决计算机基础教育所面临问题的可行方法。
2面向计算机基础教育的大数据
在当前知识大爆炸的时代，人们获取知识的途径不仅仅局限于课堂，更多的是网络资源。当代的大学生接受新生事物更快，更愿意在特定的学习情境下去主动构建知识。因此，大学计算机基础教育需要改革现有的教育模式，将大数据技术融入到大学计算机基础教育中，建立与时俱进的大数据驱动的教育模式可以有效解决上述问题。在大数据时代涌现出大量的网络教学系统，随着这些网络教学系统的推广和普遍应用，使用者数量急剧增加，产生了大量的数据。数据之间可能存在某种联系，对这些联系进行分析和挖掘可能会找到有价值的信息。将有价值的信息展现出来，能够帮助我们做出正确的决策。在人类社会的发展已经由动力驱动转变为数据驱动的背景下，教育正在发生着一场新的变革，大学计算机基础教育也面临着类似的机遇和挑战。通过网络教学系统，可以更加方便地获取和利用大学计算机基础教育相关的各种数据
。大学计算机基础教育涉及的数据主要有以下几种：
（1）课件。课件是文字、声音、图像、动画等素材的集合，帮助教师更加生动地讲解课程内容，主要使用ppt和Flash两种文件。
（2）视频。视频是将教师在课堂上的授课内容录制下来，为学生提供课后学习的方式。学生可以在教学系统中下载或在线学习视频内容。
（3）题目。题目主要用于测试学习效果，包括判断题、填空题、选择题、问答题、程序设计题等各种题型。
（4）问题。学生在学习过程中遇到的问题，通过教学系统提交给教师。这些问题反映了学习的难点，是教师在课堂上需要详细讲解的教学内容。
（5）代码。代码是学生做程序设计类题目时所编写的程序代码。学生编写代码的质量可以由教师评判，也可以由系统自动评判。
（6）行为。行为用来记录学生的学习活动，如课件下载行为、视频点播行为、作业浏览行为、编程行为等。这些行为能够反映出学生的学习情况。
（7）缺陷。缺陷是学生提交的作业中包含的各种错误，反映了学习过程中存在的问题。对教学系统而言，这些数据是进行个性化推荐学习的参考依据；对教师而言，这些数据能够提示教学过程中需要特别关注的地方。
（8）过程。过程是指在教学过程中收集到的一些宏观数据，如课件学习过程、视频学习过程、测试过程等。这些过程能够反映出学生学习的个体差异。
3大数据驱动的新模式
在大数据时代，我们可以利用大数据技术在大量与学习相关的数据中挖掘出有价值的信息。这些信息能够帮助学生更加科学有效地学习，较好地解决当前计算机基础教育面临的问题。因此，我们将大数据技术融入到大学计算机基础教育中，提出一种大数据驱动的计算机基础教育新模式。它是在有效规划和整合计算机基础教育大数据的前提下，为学生提供各种自主学习资源和服务的新模式。学生和教师在使用各种网络教学系统时，输入的数据和学习行为都被系统记录下来。利用大数据技术对记录下来的数据进行分析，挖掘出与学生学习特征相关的数据。这些数据为学生的后续学习提供个性化的推荐，规划个性化的学习路线；向教师反馈学生的学习行为和效果，为后续教学提供个性化的推荐，帮助教师改进教学方法。以在线课程系统、在线编程系统和在线答疑系统为代表的各种网络教学系统目前得到了广泛的应用，这些系统本质上都是大数据驱动。实践证明，这些系统的应用将为学生学习和教师教学提供实质性的帮助。
1）在线课程系统是课堂教学的延伸
大型开放式网络课程mooC是国际上流行的教学平台。自2013年5月以来，北京大学、清华大学、复旦大学、上海交通大学等国内一流高校纷纷宣布加入mooC，向全球提供免费的在线课程。mooC采用云计算架构，提供大量的视频学习资源和人机交互功能。学生提交作业后，系统能自动评判作业的质量，以评估学习效果。mooC的出现给计算机基础教育带来巨大影响。mooC解决了学生计算机应用能力差异大的问题，学生不管基础如何，都能找到与之相应的学习内容；mooC弥补了课堂教学学时不足的问题，学生能在课后随时随地找到学习资源；mooC能够记录学习的结果与过程以及作业中的错误等，这些对于改进教学方式和调整教学重点等都有意义。
2）在线编程系统是实验环节的补充
随着SaaS技术(软件即服务)的不断成熟，出现了许多功能强大的在线编程系统。这给大学计算机基础教育中的程序设计类课程的实验教学
带来了巨大的帮助。使用在线编程系统进行实验的好处有以下几点：
（1）教师不用在实验室的每台计算机中安装软件，学生通过浏览器就可以编写程序；
（2）学生编写的代码都存储在云端，能上网的地方就能练习编程，并且随时可以修改代码，解决了实验教学学时不足的问题；
（3）在线编程系统主要记录代码和代码编写的过程，能够收集实验过程中与学习相关的数据。国外在线编程系统CodeCademy提供了一种学习编程的新方式。它的用户群是零基础的学习者，所以CodeCademy创设趣味性的学习环境，手把手帮助学习者了解编程的过程。它的在线编辑器能让学习者不用寻找、下载和安装编程环境就可以在网络上编程。在线编程系统不仅为实验教学提供了方便的实验环境，还能收集大量的程序代码和学生的编程行为，有助于分析学生的学习特点与习惯，区分学习个体，为制订个性化学习路线提供有价值的数据。
3）在线答疑系统是课后辅导的平台
学生在学习过程中常常会遇到很多问题，这些问题如果能及时得到解答，就能促进学生更深入地学习；反之，就会影响学生的学习效果和积极性。目前，互联网上已经出现了许多人工解答和自动解答的系统。有代表性的是上海交通大学的远程教育设计中心设计开发的answerweb自动答疑系统，它是一个动态的问题及答案的数据库。学生输入关键词后可以在系统已有的问题和答案数据库中查找相关的材料。如果没有找到答案，则会自动转发给教师请求帮助解答。随后，新的提问和答案将被增加到系统库中。系统会记录所有的问题和答案以及学生提问过程中的行为。在线答疑系统应用到大学计算机基础教育中，解决了教师无法在课后对每位学生进行辅导答疑的问题。同时，利用大数据技术，答疑系统将学生提问和获得解答的行为记录下来，自动的分析这些数据，挖掘学习个体特征，为学生的后续学习提供个性化的推荐。
4结语
大数据论文篇6
关键词：电子商务；大数据；资源导言
it产业在经历云计算、物联网两次颠覆性技术革命后，又迎来新一轮技术变革——“大数据”。当前，互联网迅速崛起，数据爆炸性增长，越来越多企业将数据和信息视为自身的智力资产和核心竞争力。在信息量急剧增长的大数据时代，任何企业、组织都面临着新一轮的机遇和挑战。2012年，美国政府从国家战略层面规划大数据，并正式启动了“大数据研究和发展计划”。对于身处“大数据”漩涡中心的电子商务企业，又该如何运用大数据优势。
1、大数据与电子商务
1.1大数据
从中文语法来看，数据就是一个抽象名词，但是，数据却能代表一定的信息，经过处理的数据可作为人们行为的重要参考，由数据衍生出的模型也在各种决策中发挥着重要作用，所以，数据是决策的基石[1]。伴随互联网的崛起，数据的概念已经发生了根本性的改变，从之前的自然科学领域逐渐扩展到经济学、企业管理，互联网的快速发展又将数据的外延不断扩大，2010年后“云数据”概念的提出突破了数据的时空限制，大数据由技术热词变成社会浪潮，渗透到社会生活的各个层面。"大数据"指的是无法使用传统流程或工具处理或分析的、超过任何单独一台计算机处理能力的庞大数据量[2]，其中，“大"是指数据规模，其一般在10tB以上。同过去的海量数据相比，大数据具有：Vol-ume、Variety、Value和Veloc-ity等4V特征。其中，Vol-ume指体量大，即：数据规模庞大，其早已突破计量单位，而采用pB(千万亿字节)、eB(百亿亿字节)乃至ZB(十万亿亿字节)来计量。Variety指多样性，即：数据种类繁多，除了有传统结构化数据库所存储的大量结构化数据外，互联网上还存在着大量的由图片、网络日志、视频、地理位置信息等所代表的半结构化和非结构化数据，并且后者所占据的比例高达四分之三；其三，即时传输。在上述的大量互联网非结构数据中，很多是由即时通讯工具产生，这些数据普遍要实时存储和处理，并且要快速流转，否则会产生价值流失；其四，无关信息冗余度大。大数据中所包含的海量信息并非都是有用的，也就是说，必须对大数据中的数据进行过滤和组织，并将相关联的信息进行整合，才能披沙拣金有所获益。因此，如何运用好大数据才是大数据的关键。正如《驾驭大数据》的作者BillFranks(比尔•弗兰克斯)所说:“重要的不是数据，而是如何使用数据，大数据的核心是发现价值”[3]。
1.2大数据与电子商务
当前，国内几家大型的电子商务网站，如:天猫、京东商城、国美在线、苏守易购等，它们都有着超过千万的活跃用户，天猫每天的平均交易额超过一亿，订单量超过100万，用户的访问和交易必将产生一定的数据，而这些数据又可为今后的继续交易提供指导，但是，如何高效利用这些海量数据成为摆在电商企业面前亟待解决的难题。伴随着大数据时代大门的打开，大数据为管理者数据利用创新提供了新的思路。在大数据时代，电子商务企业通过对外搜集、整理大量数据，对内量化企业自身运作的各个环节，可以做到市场需求预测和智能决策分析，进而实现提高效率，节约成本的目的，因此，在大数据环境下，传统的业务驱动模式都将由数据驱动来取代。
2、大数据给电商企业带来机遇和挑战
2.1大数据下电子商务的机遇
麦肯锡公司认为，数据已经成为企业生产过程中的基本要素，其也可以为企业创造价值和利润，因为企业通过搜集、处理数据，可以发现新商机，创造出新价值。因此，对于电子商务企业来说，大数据时代蕴藏着巨大的机遇。
2.1.1大数据有利于提升工作效率
据统计:销售员在进行具体销售前要进行售前准备，一般情况下这一准备时间占整个销售工作时间的24%。如果把销售员的准备时间转化为销售时间，则可增加26亿收入，可见，营销人员为销售而进行准备的时间过长[4]。如何才能有效缩短“售前准备”时间，激发销售过程中的潜在价值，采用基于大数据的分析和优化成为企业的必然选择。通过引入大数据，企业可实现“低成本、高效率”的营销，进而在激烈的市场竞争中节约自身成本、战胜对手。大数据时代下社会化营销，理解描述消费者需求的海量数据是重点，有效挖掘客户的个性需求是关键，针对个性需求提出切实可行的营销解决方案是目的所在。采用大数据技术，电商企业可对海量数据进行深度挖掘，并搜索出潜在客户，从而显著提高交易成功几率。
2.1.2大数据有利于个性化营销
当前，电子商务蓬勃发展，数据信息所呈现出的爆炸式增长的速度远远高于消费者获取信息能力的提升速度，这必然使得消费者时常手无足措。正如西蒙所说:“信息越丰富，就会导致注意力越匮乏”。传统商业模式耗费了消费者过多的注意力，但却远不能满足消费需求，如何才能在消费者有限的注意力下实现销售，个性化精准营销显然是一不错的选择，而大数据的运用则使这一营销模式成为可能。2015年11月11日淘宝狂购物欢节数据表明：仅天猫商城销售额就达912.17亿元；一分钟支付宝交易成功笔数最大达315万笔。通过对电子商务平台上大数据进行收集和分析，可以对消费者的结构、购买的周期以及兴趣等有一定程度的把握，这就有利于电商为消费者提供个性化和精准销售服务，提高销售额和利润率。
2.2大数据对电子商务的挑战
2.2.1拥有大数据的挑战
在大数据时代下，电子商务的竞争已经成为基于数据的竞争。谁能充分利用好大数据，谁就可能成为赢家，然而，拥有大数据是利用大数据的前提条件。大数据哪里能得到，大数据又该如何运用。据调查，40%的从业者认为及时收集到支持个性化营销所需用户数据持悲观态度，51%的从业者认为应用大数据最大障碍是组织内缺乏数据共享机制。对于大型电商企业而言，他们拥有大数据且拥有大数据处理能力，他们就能在竞争中脱颖而出，而对中小电商企业而言，如何才能拥有大数据就是一个极为具有挑战的问题。
2.2.2处理大数据能力的挑战
仅仅拥有大数据并不够，对大数据的挖掘和深度分析能力才是企业的核心竞争力。当前，互联网巨大规模的应用和数据的不确定性，给处理封闭世界研究的软件提出了一个难题，针对更加开放、动态的问题，如何给出答案。这就要求在有效的时间内找出它的近似算法和最逼近的算法，但这一问题传统的商业数据库基本上做不了。据统计，83%的公司正在花很多时间研究海量数据，89%的公司因未能充分挖掘所拥有的大数据而失去机会，因此，拥有大数据并不等于拥有价值，关键还在于能否对大数据进行分析和深度挖掘[5]。
2.2.3对隐私保护的挑战
大数据时代，企业通过搜集和记录，可以得出消费者的个人信息、兴趣爱好、交易信息、访问的网站等，然而这些记录时常包含用户的个人真实信息，如电商交易时的用户姓名、真实家庭地址、个人电话，甚至银行账号等信息，在倡导保护个人隐私的今天，从法律和技术层面，应该采用哪些措施来防止消费者隐私泄露是个值得电商企业认真思考的问题。
3、电商与大数据运用
3.1电商企业应通过大数据运用创新商业模式
电商企业通过挖掘大数据，可以把消费者划分成众多群体，每个群体都会有某些共同特性，电商企业的这些划分是精确把握用户网络行为的依托，也是实现广告推广个性化、精确的基石。通过引进大数据，可以探索智能化的推广服务，创立超越传统的、性价比更高的全新商业模式。事实上，国内某些电商早已开始研究和运用大数据，比如阿里巴巴、京东商城等，通过分析会员服务记录，电商可以充分了解用户购买行为，并由些针对性地开展一系列的业务活动，比如通过e-mail给用户提供个性化的促销服务，这些服务的开展，能为电商企业节省巨额的广告费用，进而给该公司带来的丰厚的经济回报。
3.2电商企业应通过大数据运用优化网站
营销效率的管控是电子商务企业营销成败的关键，因为营销效率的高低直接决定的企业的效益。从行业角度来看，电商企业的利润为广告展现、广告转化率、购买转化率、客单价和净利润率的乘积，从上述公式不难看出，无论是流量引导还是购买行为的发生，都存在转化率问题。转化率高导致营销效率高，效率的提升又直接转化为企业的实际效益，那么，如何才能确保电商企业沿着这一良性循环的道路向前，答案很明显：提升站内转化率和控制转化成本。在大数据时代，电商企业一般通过技术优化——站内推荐来实现转化率的提升。在美国的amazon网站上，有超过35%的销售来自于站内推荐系统。推荐引擎是大数据的典型应用，也是站内推荐系统的核心，其原理是记录访问网站顾客的每一个具体行为，并将这些行为量化后存入数据库，之后按照一定的算法对这些数据进行处理，挖掘出这一用户的喜好和个性需求，并建立与之相符的推荐模型，用以预测该用户感兴趣的、有可能购买的商品。在客户下一步的访问请求中，主动向用户推荐其感兴趣或者需要的商品，从而吸引用户点击并实现购买行为。作为一种工具，大数据不仅可以预知消费者的兴趣所在，还能帮助网站研发者去做诸如用户界面和用户体验的优化。在大数据之前，aB测试是一种准确性较高，但测试成本更高的分离式组间实验，随着大数据的普及，aB测试这样一种“先验”的实验体系已越来越成为网站优化常用的方法。通过大数据aB测试，可以轻松管控二跳率、转化率与网页布局、页面功能模块的关系，从而通过数据来持续优化用户界面／用户体验。
3.3电商企业应通过大数据运用发展会员营销
大数据体量庞大，通过应用大数据，电商企业能够从注册、访问、加入购物车、支付、购买等环节将所有到访网站的用户管理起来，进而建立起客户转化销售漏斗，实现会员营销，同时，大数据的运用，使得传统的电子邮件营销、短消息营销变得更加高效率和智能化。另外，随着大数据的应用和数据库营销的深入开展，电商企业也可通过升级现有数据库，增加营销内容、触达渠道、评价体系等来建立起符合自身特点的VRm体系。
3.4电商企业应通过大数据运用推动差异化竞争
在国内，电子商务已经发展到一定的高度，成本竞争和同质化竞争成为电商企业不得不面对的问题，如何才能从根本上解决这两大突出问题，大数据时代的到来为这一问题的化解指明了方向，通过个性化创新提升企业竞争力。国内最大的电商阿里巴巴通过整合各项业务平台资源，除显著增强数据处理能力外，还形成了电子商务客户数据库和消费者行为产业链信息库，这是其他电商企业可望而不可及的。这些特有数据将阿里巴巴与其他电商企业拉开距离，将竞争从简单的价格战引入至“数据”战，形成差异化竞争。
4结语
总之，“数据就是财富，数据就是竞争力”的大数据时代已经到来，谁拥有大数据和强大的处理能力，谁就拥有赢得市场的砝码。电商企业应从战略的高度把握这一机遇，认真锤炼大数据驾驭能力，唯有如此，电子商务企业才能在新时代续写华章。
参考文献
[1]王云蔚.大数据背景下的消费市场研究[J].北京印刷学院学报.2014年01期.
[2]刘光金.大数据处理对电子商务的影响分析[J].计算机光盘软件与应用.2014年17期.
[4]甘利新，涂伟.大数据时代电子商务的机遇与挑战[J].科技广场.2013.3:137-140.
大数据论文篇7
1.1大数据等于大机遇与大问题
数据的数量随着现代企业的发展以指数级的速度与日俱增，从这些数据中提取有商业价值的信息的期望也随之增加。越来越多的企业领导人明白，近乎实时的大量数据收集分析可以帮助他们应对市场趋势，在日益严酷的经营环境中占据一个独特的竞争优势。随着大数据主动获取越来越多的数据，为企业领导人提供了增强的商业价值同时，企业在存储数据方面将面临着巨大的风险和威胁。
1.2大数据等于大安全威胁
公司刚开始体验到大数据的优越，像任何新的恋情一样忽视对方的缺陷。然而，了解这些海量数据存储包含大量的“有毒”的数据对用户来说是很必要的。有毒数据是指脱离控制后会造成损害的数据。通常情况下，有毒数据包括监护信息如信用卡号码，个人可识别信息（pii）如身份证号码，和个人的健康信息（pHi）和敏感的知识产权，包括商业计划和产品设计。如今，网络黑客和一些商正在偷这类有毒的数据。安保不全和缺乏控制的大数据环境可能会使这些恶意行为更容易。随着大数据热度的消退，公司必须意识到大数据环境问题，并适当控制和保护他们的大数据环境。
1.3大数据等于大安全挑战
像任何技术创新一样，应用大数据带来的好处已使企业下意识的忽略了其潜在的负面影响。当安全专家指出其潜在后果时，业务和it领导人会认为专家是为了商业利益故意将弊端夸大化，现有的安全技术被直接应用上去，而不考虑实际。我们都知道，直接覆盖或者套用的方式是无效的并且会引起很多安全方面的问题和挑战。现在是时候承认大数据的安全风险，并开始计划进行适当的控制了。
1.4大数据等于大责任
除了存储相关的知识产权问题，大数据环境还包括公司可以控制但不能拥有的数据。这通常包括客户数据和业务合作伙伴数据。由于大数据是整个组织的数据集中，安全和风险管理专业人士必须努力消除现存的数据存储上的权责问题。例如，法律团队和负责数据泄漏防护（DLp）的安全小组来一起从事分散数据发现和项目分类，这样的组合可以提高效率，降低成本，提高可操作性。在应用安全控制之前（如加密，标记，和权限管理等），可以用一个统一的方法来提取和分类归档数据，便于存储和删除如此大量的数据。法律、安全团队还需要一起研究了解大数据相关的监管问题。例如，也许你的企业要发展从客户大约24000000000微博中挖掘和分析市场情报的能力，这听起来是个好主意，但它在一些个人隐私法比较严格的欧洲国家也可能触犯法律，如德国、西班牙和意大利等，你的大数据事业甚至在开始之前就突然死亡了。然而，如果安全人员参与了项目的早期建设，企业能有更好的机会来利用更多的或更有前途的替代技术，如在大数据初始化处理上使用标记技术来代替pii技术。
2安全发展的驱动
如果我们把信息安全行业作为一个整体来看，除了快速发展的的威胁形势外还有什么能推动创新？回顾过去，有两大创新驱动力：一个是内在力，即顺应发展要求。它看起来跟创新没关系，但实际上它在某些领域确实推动创新，像加密和标记等。解决这些问题涉及实际的经济利益。第二个驱动力是外在力，即环境威胁，主要是攻击，特别是高频率高质量的攻击。这两个驱动因素今天依然存在。个人设备的广泛应用，和公共云服务的快速发展也必将推动安全性的创新。但现在，还有另外一个驱动力，它很有趣，而且对于安全来说相当新鲜，那就是隐私。最近隐私问题一直出现在聚焦排行榜前列，绝对是推动建立创新解决方案的驱动。关于这方面有一个很具古义的创新app：阅后即焚，一种邮件自毁程序，即邮件或聊天内容存在一定时间后即删除。这对于安全来说就是个很新鲜的尝试。it安全的最重要的问题之一就是缺乏良好的指标。很多时候，我们不得不基于先例来处理问题，在某些情况下，甚至是基于使我们更安全或更不安全的迷信。大数据和数据分析提供了一种进行安全实衡量的可能，它或许可以给我们一套可落地的实用标准，这将不只是影响尝鲜的大企业，也会给中小型企业带来非常具可操作性的想法。
3大数据的影响
大数据改变了信息安全领域的本质。在过去的几年里，看似不可能的大量消费者和行业数据（又名大数据）的概念频频出现在新闻中，由于它引起了人们对公共，私人消费，政府信息安全和隐私问题和业务水平。发现，收集和保存敏感数据（如消费者的ip地址，企业的预算，购物习惯或信用卡信息）的做法，不仅挑战了数字时代的隐私概念，同时也为黑客、网络窃贼和网络创造了新的难以抗拒的目标。其结果是，就算是信息安全专家都需要了解如何调整自己的工作，以有效的方式来管理大数据现象。
3.1在健康医疗上的影响在健康保险方面，在过去的二十年中，医疗费用以惊人的速度增加，目前估计为GDp的17.6％。医疗专家在提高治疗过程效果的同时也在寻求如何降低费用，大数据的出现给了转变医疗卫生及保险行业一个合理的解决方案。麦肯锡全球研究院估计，如果发挥大数据战略杠杆的最大潜能，每年估计能有十亿利润增加。举例来说，利用大数据分析和基因组研究与病人实时记录，可以让医生对治疗做出更加有效的决定。此外，大数据将迫使保险公司重新评估其预测模型。随着医疗服务的成本上升和医疗保险费的上升，将有必要进行积极的医疗管理和健康管理。这种转变从被动到主动的医疗保健和保险可能导致护理质量的提高，降低医疗费用，并最终导致经济增长。在过去的十年里，在医疗it中的安全漏洞呈现稳定增长。在2013年，Kaiserpermanente的（美国最大的非营利性医疗保健机构）通知其49000例患者，他们的健康信息被泄露，因含有患者记录未加密的USB盘被盗窃。此外，对病人的隐私和数据安全的一项研究表明，医疗及保险商94％的客户在过去的两年中至少有一个安全漏洞。在大多数情况下，这些攻击是来自内部人士，而不是外部。随着不断变化的风险环境和新出现的威胁和脆弱性，安全方面的违例将层出不穷，电子病历及保单的安全性必须予以高度重视，以确保客户的安全。现在患者的信息以不同的安全级别被存储在数据中心，并且大多数的医疗数据中心有安全认证，但认证并不保证病历的安全性，更侧重于确保安全策略和程序而不是执行它们，而通过在健康医疗及保险上应用大数据将显著提高安全性和病人的隐私关注度。
3.2大数据在商务的影响数字数据和信息安全的管理几十年一直是一个热门的商业问题。自互联网在上世纪80年代成为主要通信设备开始，人们就不得不开始为保护公共和私有数据而和黑客的攻击作斗争。但是，大数据的出现，彻底改变了信息安全领域。虽然大数据的概念可能使隐私问题受到过分关注按，单从商业营销策略和产品开发的角度看它一直是一个宝库。通过分析从城市，省，国家或全球客户收集数据点，公司能够分析特定的购买趋势和区域影响力。事实上，这些数据库已经变得如此有价值，以致它们通常被认为是一个企业的资产清单的一部分。然而，大数据已成为网络威胁，它已经成为黑客或企业间谍活动的主要目标。在过去的五年里，已经出现了跨多种行业的众多的对大数据的攻击。几年前，tJX公司经历了一个信用卡信息安全漏洞事件，影响了数以百万计的全球客户。除了丢失的数据是保密的或有价值的外，另一个主要后果是消费者对企业信心和信任的丧失。这就是为什么大数据的安全性已经成为核心业务战略的一部分，精明的企业都在寻找合格的专业人才，以保护自己对敏感信息的大量投资。
3.3大数据在信息安全方面的影响企业聘请技术专家来管理网络安全和信息技术的时代已经一去不返了，因为大数据需要信息安全产业利用所有领域的专家来提供对重大漏洞的安全防护。作为其主要的业务资产之一，许多企业正在推动扩大他们的数据基础设施系统以保护大数据。一个有趣的结果是，扩大或升级技术基础设施也成为一个公司的价值增加的重要方式。安全信息基础设施，包括服务器，网络，防火墙，工作站和入侵检测系统是不可或缺的安全，因为他们支持复杂算法的快速处理，并提供对大数据威胁防御的第一道防线。在大数据世界里大家都开始变得不同了。大数据需要在许多方面都有研究的信息安全专业人士，而不是跟以前一样专注于该领域。
4结语
大数据论文篇8
尽管大数据背景下的精准广告模式在国内外已经实施多年，不过，司法实践中和消费者保护纠纷中仍对此多有争议，焦点多集中在是否侵害用户隐私权的问题上。反对者认为精准广告来源于对特定用户数据的分析，涉嫌侵害用户的隐私权。其实，这种观点是对精准广告法律适用的误读，不论从法理上，还是从比较法实践看，抑或是从现有法律规定和互联网发展趋势上分析，精准广告非但没有侵害用户隐私权，而且还符合用户个性化服务达到双赢的趋势。
首先，投放精准广告与侵害安宁权并非同一概念。用户的网络安宁权概念最初来源于欧洲，包括美国在内的很多国家都将保护用户安宁，避免被过多商业广告打扰的权利写入法律之中，德国甚至成立了专门的政府部门来监督此事。我国对安宁权的引入时间较晚，在2012年中国最大的微博社区新浪出台实施“微博社区公约”中，首次明确了用户享有安宁权，任何人不得非经允许向其发送商业性广告。随后，全国人大常委会在《关于加强网络个人信息保护的决定》中也将保护用户安宁权写入其中，在今年北京一中院的权威调查报告中，也首次将安宁权列入其中，这都反映出我国对保障用户网络安宁权的重视程度。
精准广告的发送与法律所保护的安宁权很相像，不过二者并非同一性质概念。前者是指广告内容与用户类别的对应关系，后者则是违法向用户直接发送广告的行为；前者表现方式大都为浏览页面广告的特殊化处理，用户不会被额外的广告所打扰，后者表现方式则大都为骚扰短信、骚扰电话、垃圾邮件等典型侵害用户安宁的行为；前者数据来源于大数据，即无法辨别个体身份信息的数据计算，后者数据来源则是赤裸裸的非法窃取、买卖和利用用户的身份信息，例如，电话号码、家庭住址、邮箱地址等。可见，精准广告作为一种新型商业模式，与侵害安宁权的非法广告之间并非一个概念，在用户维权上表现也不尽相同。用户如果不想要网络服务提供者的精准广告，可以通过清除Cookies等方式自行救济，而非法广告则只能通过法律维权手段要求者承担法律责任。
其次，精准广告与侵害用户数据安全也不是一回事。网络时代中的用户隐私表现方式主要以网络个人数据保护为主，各国法律都对此作出了明确且具体的规定。从比较法角度看，主要有两种保护模式，一是以欧盟为代表的严格模式，即严格控制网络服务提供者对用户数据的采集和利用；二是以美国为代表的自由模式，即用户数据利用与否更多的取决于用户与网络服务提供者之间的契约，法律仅对直接侵害用户隐私的行为作出约束。
不论两种立法理念的差异如何，在网络数据利用与隐私权之间关系问题上却保持高度一致：法律允许网络公司采集、利用那些无法被明确特定化到个人的信息。我国工信部《电信和互联网用户个人信息保护规定》第4条也对此作出了规定，“个人信息”是指“电信业务经营者和互联网信息服务提供者在提供服务的过程中收集的用户姓名、出生日期、身份证件号码、住址、电话号码、账号和密码等能够单独或者与其他信息结合识别用户的信息以及用户使用服务的时间、地点等信息”。可见，我国对个人数据保护范围的规定，也是严格遵照“不可识别”为基本原则的。
同样，精准广告依靠大数据分析的来源和使用的方向都是针对“不可识别”类型化的人，是针对一类人的数据结论发送的广告，无论是发送者本身，或者是广告主，在事先和事后都不知道接受广告者到底是谁。没有达到可识别性的数据，当然也就不存在侵害隐私的事实。最近，美国加州法院对类似案件作出的判决也说明了这一点：不可识别到特定人的信息不是法律所保护的“隐私信息”。如果将不可识别的信息也归为隐私权保护范围的话，那么，国家统计局可能就将无法进行工作，因为他们的数据统计方式和计算方式与精准广告同出一辙，不同之处在于前者将数据用作国家发展规划和预算，后者用作广告而已。
再次，网络精准广告有利于消费者本身。现代互联网商业模式是用户免费使用的模式，网络经营者的利润来源多来自广告收益。大数据环境下的精准广告更强化了这种商业模式，不论是搜索、网游、邮箱还是网购等互联网形态，都生存在“免费使用+增值服务”的环境中。近年来互联网服务和网络经济的迅猛发展再次证明这种经营模式的成功。网络经营者和用户都从中得到了实惠，达到双赢。
从合同法的角度说，用户在享受网络服务之时并未付费，这种缺乏“对价”的合同是没有执行力的，这在英美法国家合同法中显得更为突出。同时，用户又因为没有付费，就无法适用消费者权益保护法关于消费者的特殊保护，如此，网络用户既不能依照合同法，也无法适用消保法进行维权，这对用户权益保护极为不利。而在精准广告的背景下，网站通过大数据分析得到用户“非隐私信息”，对其发送针对性广告获取商业利益，从这个角度说，用户虽未实际支付网站货币，但以数据提供者和精准广告接受者的身份间接向网站支付了“对价”，所以，在精准广告的前提下，用户与网站之间的网民协议有了“对价”，也就有了执行力，在网站违约之时，即使是免费使用的用户也有权要求违约责任。同时，用户也因特殊的“对价”方式，得到了消费者权益保护法的保护，这无疑是有利于用户的。
当然，很多消费者在网络活动之时，也希望网站向其发送具有强烈针对性的广告，毕竟网络信息过于庞杂，其中大部分信息对特定用户而言并无意义，更加智能化、更加人性化的网络服务才会赢得更多的用户群。这种“人人为我，我为人人”的互联网经营模式，在精准广告使用中再次得到双赢局面。
最后，从侵权法上讲，精准广告不构成侵害隐私权。网络经营者投放精准广告的行为也没有违反现行法律规定，不存在过失或故意侵害用户隐私的行为，因为数据来源和使用的“不可识别性”，在客观上也不会造成用户隐私泄露，更谈不上隐私损害后果。
因此，大数据背景下的精准广告与用户隐私权保护之间并没有矛盾，网络服务提供者和用户之间是互惠互利的双赢关系。但网络服务提供者在精准广告时仍需注意以下几点，否则可能承担法律责任：第一，满足用户知情权。按照《关于加强网络个人信息保护的决定》规定，网站要事先明确告知用户数据采集、使用方式和范围，不得以格式条款或使用晦涩难懂的词汇剥夺用户知情权。
第二，严格区分用户的身份信息和其他信息。身份信息是用户可识别性的主要标志，网站不得以任何方式利用用户姓名、地址、联系方式等身份信息发送侵害安宁权的广告。
第三，满足用户选择权。网站在网民协议中应明确规定，用户可以使用包括清除Cookies在内的方式拒绝网站继续采集数据。一旦用户拒绝后，网站不得以其他隐秘手段继续采集利用用户数据。
第四，互联网企业之间不得以任何方式或技术优势阻碍正当的数据采集工作。在互联网免费经营模式下，破坏正当数据采集工作的性质就是企业之间的不正当竞争，这种“绑架消费者”的行为从根本上侵害的仍是广大用户的利益，违规企业应受反不正当竞争法制裁。
大数据论文篇9
近年来，随着互联网技术的发展，大数据越来越受到关注，其应用逐步渗透至多个行业，开启了全新的数据时代。数据是征信业务开展的基础资料，征信活动主要是围绕数据进行采集、整理、保存、加工，并最终向信息使用者提供。大数据不仅为征信业发展提供了极为丰富的数据信息资源，也改变了征信产品设计和生产理念，成为了未来征信业发展最重要的基石。我国征信业发展尚处于起步阶段，在大数据时代存在征信法律制度和业务规则不够完善、征信机构数据处理能力有待提高等问题。未来征信业面临的机遇和挑战并存，研究大数据时信业的发展具有重要意义。
大数据时信业面临的机遇和挑战
目前，对大数据无公认的定义，一般认为大数据是指所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为服务于经营决策的资讯。大数据的出现，使征信业发展面临的外部环境发生了巨大的变化。
(一)大数据时信业面临的机遇。
1.优化征信市场的格局。
随着征信机构市场化运营机制的确立，将会有更多信息资源优势的企业借助互联网、大数据等信息技术的创新进步，从征信业薄弱环节切入，通过服务创新或产品创新打破原有的征信市场格局。一是电商企业将组建征信机构。以阿里巴巴为例，其利用淘宝、天猫、支付宝平台上的行为数据和信用情况，建立成了涵盖数十万企业的数据库，具备了开展网络征信服务的基础和实力。二是金融机构建立征信机构。例如平安集团拟整合网贷信息、银行信贷信息、车辆违章信息等，建立金融数据挖掘中介机构。三是新型征信机构应运而生。一些大数据公司依靠技术手段，以电子商务、社交网络为平台，采集信息，提供信用信息服务，可能成为新型的征信机构。
2.推动征信业的转型升级。
大数据给征信业带来转型升级的历史机遇，未来的征信业将以智能数据分析系统为平台，利用大数据挖掘技术，支持征信业发展创新。大数据支持征信业升级和转型主要体现在二个方面。一方面大数据促成征信业建立全新的风险控制体制，向有效监管转型。大数据技术对客户信用信息进行深度挖掘，实时监控，防范潜在的信用风险。另一方面大数据支持征信机构向精细化管理转变。大数据的核心优势在于信息挖掘，精细化管理的首要条件是充分信息化，包括业务信息化和管理信息化。
3.促进征信业差异化竞争。
征信机构通过采用不同的数据来源，不同的数据处理方式，针对不同的客户，开发出不同的产品，满足不同层次客户的市场需求，实现差异化竞争。例如，金融机构对征信服务的需求将从单个借款主体的信用报告，扩展到运用信用信息拓展网络影响和金融服务渠道。p2p网络借贷、电商金融等业态需要借助信用信息共享防范风险，降低交易成本。
4.拓展征信数据来源。
大数据使征信数据来源呈现多元化、多层化和非结构化的特点，更加全面和真实地反映信息主体的信用情况。征信机构从在政府部门、金融机构等实体机构中采集信息，转向从互联网等虚拟世界中获取信息。在数据采集的广度和深度上，征信数据量将激增，采集包括证券数据、保险数据、商业信用数据、消费交易数据和公共事业缴费数据等，全面地覆盖与信息主体相关的各项因素。
(二)大数据时信业面临的挑战。
1.现有征信业务规则与大数据时代不匹配。我国有关征信业的法律法规的规制对象主要是传统金融领域，《征信业管理条例》及其配套制度初步构建了我国征信业的法律法规框架，但是《征信业管理条例》是否满足大数据时信业务的规则要求，尚未得到市场验证。目前，缺少对大数据时信活动的规范，如有关大数据采集、整理、保存、加工和处理的制度要求。因此，还需要进一步细化和完善征信业务规则，以更好促进大数据时信市场的发展。
2.征信业监管技术和水平需改进。大数据时代给征信业发展带来深刻影响，同时也对征信业监管提出了更高的要求。要适应大数据时代的征信监管需求，征信监管水平要能跟上大数据征信的发展水平，监管政策要符合大数据的基本规律，监管人员要具有适应大数据的知识和能力。在行业自律监管方面，我国行业监管尚未发育成熟，行业标准尚未统一，行业规范以及行业职业道德等内容尚未完善。
3.信息安全和隐私保护形势严峻。随着数据的进一步集中和数据量的急剧增长，对海量数据进行安全防护变得更加困难，数据的分布式处理也加大了数据泄露的风险，隐私保护和数据安全成为制约大数据发展的瓶颈。大数据时代下的征信业同时具有了大数据和征信两个特性，对隐私保护和数据安全的要求更高。
4.数据处理能力亟待提高。如何有效处理大数据，是大数据发挥作用的重要环节。益百利等大型征信机构在数据处理方面已经采取多层次数据挖掘等先进技术，利用私有云平台，对系统中海量数据进行处理和研发，减少主观判断，提高风险预测的准确性。但是目前我国征信机构发展起步较晚，缺少对数据处理的核心技术，导致数据分析结果不能够准确的识别个体或组织的行为。
5.硬件基础设施需要全面升级。过去征信机构存储征信数据主要是在本地建立数据库，大数据时代随着数据量呈几何级数的增加，征信机构硬件技术的发展已经跟不上数据容量的增长速度，数据存储面临较大压力。
大数据时信业发展的措施与建议
随着大数据时代的到来，未来征信业发展要从制度设计、技术进步、信息共享、监督管理、隐私保护等方面不断创新，促进征信业在大数据背景下的跨越式发展。
(一)建立符合大数据的征信法律制度和业务规则体系。现有的征信法律体系都是基于传统数据模式下制定的，难以满足大数据等新技术条件下征信业发展的制度需求。在征信业务开展过程中，大数据的收集使用可能涉及国家信息安全、企业商业秘密、公民隐私等，为了给大数据条件下征信业发展提供制度保障，需要从征信立法层面完善信息安全和数据管理的法律制度，明确大数据背景下数据采集、整理、加工、分析、使用的规则，确保大数据时信业发展有法可依。
(二)加强征信产品创新。随着可获得的数据量呈几何倍数的增加，征信机构通过深度挖掘和使用这些数据，就可以极大地拓展征信产品的种类，不仅能够提供信用报告查询等基础服务和产品，还可以提供其他综合性产品，满足社会各界的需求。从征信产品的满足层次高低的不同，可以分为宏观、中观和微观的征信产品。宏观层面，征信机构通过大数据分析可以对系统性、全局性的风险信息进行预测。中观层面，征信机构的海量数据包含大量时效性和政策含义都很强的信息，可以灵活多样地进行多维度组合分析。把这些信息整理和挖掘出来，建立对应的指数体系，有助于行业监管。微观层面，在信用主体(包括企业和个人)同意的前提下，征信机构可以提供每一个信用主体的信用报告、信用评分、身份验证、欺诈检测、风险预警、关联分析等多种数据服务。
(三)提高大数据技术处理能力。大数据价值的完整体现需要多种技术的协同。数据抽取与集成、数据分析以及数据解释，是大数据时信数据处理的三个重要环节，在数据处理过程中搜索引擎、云计算、数据挖掘等新技术使用必不可少。因此，征信机构要加大数据处理分析专业人才队伍的培养，同时要引进大数据处理的专业方法和工具，建立前瞻性的征信业务分析模型，更好的把握、预测市场和信息主体的行为。
(四)健全大数据信息共享机制。完善的大数据标准体系是推进数据共建共享的前提。目前，我国来自各行业、各渠道的数据标准存在差异，成为阻碍数据开放和共享的关键瓶颈。建议尽快统一标准和格式，以便进行规范化的数据融合，提升大数据的整合能力，打破资源部门间的信息孤岛，从而完善信息共享机制。
大数据论文篇10
再次，完备的公路工程档案还是管理队伍进行科学系统的管理技能学习与提升的重要教材。通过档案的组织学习也能够逐渐形成一种独独具特色的企业管理文化，并通过一代一代管理人的学习与传承使之发扬光大。
二、大数据在公路工程档案管理中的重要性及作用
首先，公路工程档案管理需要进行海量的数据收集的，但是并不是每一项数据都是切实有用的，如果不分好赖的统统进行收集那么不仅会严重影响数据收集工作的进度同时也会让数据库里的数据一片混乱，有用无用的统统被放在一起。大数据技术在数据信息的收集方面能够有效鉴别数据质量及优劣，能够根据管理的实际需要进行数据的有效甄别，在最短时间内进行数据优选，从而既提升了收集效率又加强了数据总体质量。其次，大数据时代的来临让原本具有本质差别的各种数据存储阵营进行了有效整合，让各种数据传输接收端口逐渐统一化，从而真正意义上解决了部门不相容、领域不交叉的问题，让数据能够更为有效的进行传输和收集整理，这对于公路工程的档案管理工作来说具有非常重要的现实意义，因为公路工程建设不仅周期长、产生数据量巨大、同时还以为涉及到大量的部门及环节而在许多时候无法进行数据的有效交互与沟通，所以大数据技术能够很好的解决这个问题，实现数据的无差别传递，更好的满足对于数据的实际需要。再次，大数据在公路工程档案管理工作中能够发挥较大的实用性，能够更好的实现档案数据精确化收集与管理，能够将繁杂的海量数据进行有效归类与整合。
三、大数据背景下的公路档案管理措施研究
为了在大数据背景下切实加强公路工程档案管理工作具体质量还是需要进一步分析与寻找新方法与新措施。
（一）大力建设新型数据库
大数据时代的数据存储是当前主流数据存储载体所无法承受的，因此为了更加有效的使用大数据技术以及在大数据时挥更有效的信息管理作用就必须大力建设新型数据库。新型数据库不仅是指要进一步扩展数据存储的空间，同时还要加强多样性数据的存储能力升级，不仅要能够有效存储文字、符号等数据，同时对于声音、图片、影像的存储也要加大研究与开发力度，同时还要加强数据传输端口的统一化调整，方便数据信息的交互与传递，为大数据时代的档案管理工作提供一个良性环境。
（二）加强大数据分析软件的开发应用
大数据时代的特点不仅是在于数据的收集速度及额度，同时也在于数据分析的快速高效，为了能够有效利用这一特点就必须加强在数据分析及整个方面的技术开发与利用水平，要加强与数据开发专业公司的大力合作，并针对公路工程档案数据特点进行相应的数据分析软件开发，同时还要针对新技术能够快速普及的要求切实提升档案管理人员的总体素质，发挥最大化管理作用。
（三）加强风险预警机制建设
任何管理工作都会伴随着相应的风险。在大数据时代，管理工作能够更快更高效，同时风险也会更多更密集，所以风险预警机制的建设必不可少。风险预警机制建设最重要的部分就是根据大数据信息传输及管理特点加强档案信息安全性监管，设置更为科学有效的关键控制点，主要监控内容应该放在防止信息泄密、防止信息丢失、防止信息被恶意篡改、防止隐私权被侵犯以及防止与信息相关的知识产权纠纷发生可能性等方面。同时还要重视风险应对工作小组的及时建设，这样才能够及时发现问题、分析问题以及解决问题。
四、结束语