数学建模大数据处理方法

前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇数学建模大数据处理方法范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。

数学建模大数据处理方法范文第1篇

（大连海事大学信息科学技术学院，辽宁大连116026）

摘要：随着大数据时代的到来，商业智能分析对企业的发展起到了至关重要的作用。文章指出目前智能专业设置的课程与商业智能分析之间存在的差距，详细说明商业智能分析岗位的职业需求情况，介绍智能商业分析实践课程设置的具体内容。

关键词 ：商业智能；数据分析；大数据

基金项目：国家自然科学基金面上项目“大数据环境下稀疏主题模型理论及其应用研究”( 61370070)。

第一作者简介：王春立，女，教授，研究方向为模式识别与数据挖掘，clwang@dlmu．edu．cn。

0 引 言

麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”随着云时代的来临，大数据( Big data)也吸引了越来越多的关注。大数据可以概括为4个V:数据量大(Volume)、速度快(Velocity)、类型多(Variety)、真实性(Veracity)。随着大数据时代的来临，大数据分析也应运而生。

大数据分析是指对规模巨大的数据进行分析，从数据中获取大量智能、深入、有价值的信息。大数据分析需要数据分析师。数据分析师指的是不同行业中，专门从事行业数据搜集、整理、分析工作，并依据数据作出行业研究、评估和预测的专业人员。数据分析师的教育培养已有相关研究和建设成果，如：针对专业课程实验教学与企业实际需求脱节的情况，改进专业课程实验设计；以项目式教学为基础，讨论设计思维在商务智能课程实验课程应用过程中的可行性；上海交通大学和北京大学等都开设了相关精品课程。

与传统的数据分析师相比，互联网时代的数据分析师面临的问题不是数据匮乏，而是数据过剩。因此，互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理。更为重要的是，互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破，这对该领域人才提出了新的要求，仅有商业背景和一些概率统计知识是不够的。学校须将深度学习思想引入商务智能教学，从而提高学生的计算思维能力。与经管类专业相比，智能专业的学生系统学习了模式识别、机器学习和数据挖掘等相关课程，具备较好的数据分析理论基础。

但目前智能专业中，现有课程设置与商业分析之间还有断层，学生有了理论基础和专业技术却不知如何运用，亟须设置实践课程指导学生运用相关知识解决商业分析中的问题，商业智能分析实践课程即是为此开设的。

1 智能商业分析实践课程的职场需求分析

1.1 数据分析师职位需求

大数据是一个朝阳产业，被《HR管理世界》评为七大赚钱行业之一。百度招聘数据显示，2014年3月当月的职位中，北京数据分析师职位需求占24 099个。ManpowerGroup公布的香港2015年第一季就业展望调查报告中指出，整合大数据内有用资讯并将其融入业务发展已是趋势，不同行业的雇主都在物色相关人才，大数据的应用令数据分析职位需求上升。百度已有百度商桥，阿里巴巴有淘宝数据魔方，而亚马逊、京东、当当、卓越网也都会大量招聘数据分析师。

从企业经验来看，建立大数据的数据存储本身就需要专业技术能力，数据分析需要数学能力，确定建模或者分析方向则需要业务能力。大数据时代需要的核心人才，是兼具数据分析能力和项目（业务能力）经验的复合型人才。

目前，大数据方面的工作人员主要有三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。从企业方面来说，大数据人才大致可以分为产品和市场分析、安全和风险分析以及商业智能三大领域。其中，商业智能的相关岗位包括：

1)数据抽取（Extract-Transform-Load，ETL）。

随着数据种类的不断增加，企业对数据整合专业人才的需求越来越旺盛。ETL人员需要接触不同的数据来源和平台，从不同的资源获取数据，转换、清洗并导人数据仓库。

2)大数据处理。

目前处理大数据的较流行工具是Hadoop，其核心是HDFS和MapReduce。HDFS提供海量数据的存储，MapReduce则提供对大数据的计算。随着数据集规模不断增大，由于传统BI的数据处理成本过高，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是最抢手的大数据人才。

3)信息架构。

大数据重新激发了针对主数据管理的热潮。充分开发利用企业数据并用其支持决策，这需要非常专业的技能。信息架构师必须了解定义和存档关键元素的方法，具备主数据管理、业务知识和数据建模等技能。

4)数据科学家。

数据科学家将企业的数据和技术转化为企业的商业价值。随着数据学的发展，越来越多的实际工作将会直接针对数据进行，这将使人类认识数据，从而认识自然和行为。据预测，未来将需要400万的数据科学家。

5)数据预测分析。

营销部门经常使用预测分析方法来预测用户行为或锁定目标用户，在企业历史数据的基础上，通过假设来测试阈值并预测未来的表现。

1.2 数据分析师职位要求

为进一步明确企业对数据分析师所具备技能的具体要求，笔者收集了51招聘网、智联招聘等几大求职网站上近100份数据分析相关的招聘要求，并对这些招聘要求进行归纳汇总后，整理出数据分析职位的主要职责为：客户分析、用户建模、市场分析、业务运营需求分析、网络营销和网络广告数据分析方法和模型、预测模型、数据库建设维护、数据清洗。对应聘者的要求包括：计算机、数学、商业、信息管理等相关学科本科以上；熟悉SAS、spss、Excel等软件；掌握数理统计、数据分析、数据挖掘，熟知常用算法；良好的数据敏感度，能从海量数据提炼核心结果；良好的逻辑思维与表达能力，善于用简单语言表述复杂结论。

综合起来，数据分析师需要具备的技能主要包括如下4个方面：

(1)数据分析。从事数据分析工作需要掌握数据分析基本原理与一些有效的数据分析方法，并能灵活运用到实践中。基本的分析方法包括：对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有：相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。

(2)工具使用。数据分析方法是理论，而数据分析工具就是实现数据分析方法理论的工具，面对越来越庞大的数据，必须依靠强大的数据分析工具完成数据分析工作。须掌握数据分析相关的常用工具有SAS、SPSS、Excel等软件。

(3)商业业务。从事数据分析工作的前提是须懂得商业业务，即熟悉行业知识、公司业务及流程。若脱离行业知识和公司业务背景，分析的结果就没有使用价值。

(4)可视化设计。可视化设计是指运用图表等可视化方法有效表达和展示数据分析观点和结论，使分析结果一目了然。图表的设计包括图形的选择、表的内容排列、颜色的搭配等。

2 智能商业分析实践课程设置

针对数据分析师的职位要求，结合智能科学技术专业现有课程设置，智能商务分析实践课程可包括如下内容：

(1)商务智能分析基础。主要介绍相关基本概念、术语及商业背景，介绍各种主要的分析结果展示手段，包括表格、折线图、柱状图和面积图等。

(2) SAS基础。SAS作为一种主要的数据分析工具软件已被各个行业广泛使用。本课程介绍SAS的程序结构、主要语法、数据集的操作以及重要的分析方法，争取使学生通过SAS的基础认证。

(3)商业数据差异性分析及SAS实现。结合实际案例，重点介绍采样策略、功效分析、差异性分析方法，并给出SAS的程序实现。

(4)商业数据预测性分析及SAS实现。结合实际案例，主要介绍线性回归、逻辑回归以及时间序列预测分析，并给出SAS的程序实现。

(5)客户关系管理方法。重点介绍客户关系管理部分，结合潜在客户分析的实际案例，介绍整个建模分析过程。

(6) Hadoop框架。针对大数据的处理分析，介绍Hadoop框架，使学生初步掌握大数据的处理和计算方法。

3 结语

随着大数据时代的到来，企业对数据分析人员的需求增多，技能要求也进一步提高。高校作为知识和技能人才的高等培养基地，应结合社会和职场的需求，合理进行课程设置，通过智能商业分析实践课程的建设，培养具备商业知识和数据分析能力的复合型人才。

参考文献：

[1]赵卫东，吴冉，杨柳，面向企业需求的商务智能课程实验设计[J]．计算机教育，2013(18): 106-109．

[2]赵卫东，吴冉，设计思维在商务智能实验教学中的应用[J]计算机教育，2014(24): 107-110．

数学建模大数据处理方法范文第2篇

关键词：数据挖掘；供应商画像；信用风险

0引言

在供应商信用风险管理过程中，充分利用好大数据是企业占领市场、获取利润的捷径。将供应商数据化，即构建供应商画像是企业对供应商信用进行有效管理的重要手段，其目的是供应商信用的全数据描述，根据价值细分供应商，了解供应商信用情况，制定精准的供应商管理方案，为供应商信用管理提供支持。本文基于对供应商的评价分析管理，通过对供应商信息风险管理中大数据的挖掘、分析，提出供应商画像的概念，并以此为依据实现不同供应商信用分级管理，同时提出业务和系统的改进策略，以优化供应商之间及供应商与电网企业之间的关系。在保证服务质量的前提下，降低供应链运行成本，帮助电网企业建立竞争优势，获得更多的客户满意度。

1国内外数据挖掘技术的研究现状

数据挖掘技术是一种对电力企业信用管理决策提供支持的技术，它主要是基于机器学习、人工智能、统计学等技术对大量的数据进行处理，从而做出归纳性的推理，挖掘出数据中的潜在模式，并对供应商的信用风险进行预测，从而帮助企业的决策者们及时调整市场策略以减少可能存在的风险，做出尽可能少的错误决策。从商业层面上来说，数据挖掘还可以描述为：按照企业既定的业务目标，对海量的业务数据进行探索和分析，从而揭示隐藏的、未知的或者验证已知的数据的规律性，并进一步将其模型化，用户兴趣模型也就应运而生。根据已有的数据对用户信用风险进行建模，并进行规则抽取与提炼，得到用户的画像。国内将数据挖掘的技术应用在电信领域的成果案例也不少。比如李军利用数据挖掘的算法对电信行业的客户流失模型进行建立与分析，针对不同种类的客户分别进行了不同模型的流失分析；段云峰、吴唯宁、李剑威等在数据仓库及电信领域的应用中，运用数据仓库的方法对电信行业的服务客户进行存储管理；吴爱华在数据挖掘在客户关系管理中的应用研究中，应用了数据挖掘的相关知识来研究数据挖掘算法在用户关系管理中的应用；叶松云在我国电信行业客户流失管理的建模分析及应用研究中，通过对电信行业的流失客户进行模型建构，通过管理这个流失模型来有效控制客户的流失。目前南方电网企业和供应商的信息交换处在一种繁杂的状态，电网企业可以对单个供应商信用情况进行信息的查询，反馈，但很难通过获得的信息对多个供应商信用进行有序、有效的管理。供应商的管理缺乏直观、可视化的手段和方法。通过建立供应商模型可以将纷乱的数据进行清洗和建模，提供进一步的分析决策。

2基于大数据分析的电力企业供应商信用风险管理

根据以上分析，在电力企业供应商信用风险管理过程中，需要对收集到的供应商数据进行处理，进行行为建模，以抽象出供应商的标签，这个阶段注重的是大概率事件，通过数学算法模型来排除供应商的偶然行为，故需要运用机器对供应商的行为、偏好进行猜测，根据供应商的关注点或投标意向、投标历史、中标情况等因素来判断供应商的忠诚度、履约能力、信用等级等，并对供应商行为进行建模。简单来说，供应商画像就是通过算法计算等方式，用统一的标准衡量供应商的表现，并对未来发展进行预测，这是一种把单个分析集成化，把平面分析立体化的过程。可见，在供应商信用风险管理过程中，应结合供应商属性、行为、评价标签体系，充分研究数学算法模型，并应用Python、R等工具建模推演，构建供应商评价模型，全面刻画供应商画像。

2.1画像构建与数据分析

供应商画像模型旨在帮助管理供应商、优化投标决策，因此画像构建的关键过程在于结合实际业务情况定性地选取投标决策关心的供应商评价指标，定量化评价指标，最后选取合适的评价维度给供应商贴上标签，通过不同维度的标签还原供应商的“画像”。因此，数据处理和分析建模的过程应该基于上述关键过程的指标数据特征以及业务分析逻辑。现在针对供应商画像的研究还不算特别多，我们以流行的“用户画像”分析进行对比，从而可以发现供应商画像和用户画像有何异同，从用户画像当中又能寻找到什么可行的分析思路。图1是用户画像的一般流程。可以发现供应商画像与用户画像的建模过程本质上都是数据收集-建模-画像成型的过程，区别只是在于：首先，画像构建的目的不同，用户画像的目的是进行精准营销，而精准营销的建模工作是要对用户分类后对不同类别用户的消费行为进行预测。而供应商画像的目的是为了精准管理、精准招标，建模工作是要对供应商分类后对不同类别的供应商进行评级。其次，画像的标签维度不同，标签维度的构建同样是从画像构建的目的出发，用户画像关心的是用户的购买能力、行为特征、社交网络等，供应商画像关心的是供应商的商务状况、产品质量、信用状况。（1）数据收集。通过访谈和调研搜集数据，确定供应商指标的打分逻辑和统计口径。（2）数据预处理。对收集到的数据进行清洗，目前收集到的数据量非常小，且需要进行整合、预处理，包括缺失值和异常值的处理、数据数量级的统一、后续分析所要进行的标准化处理。在构建供应商画像的现有数据中，资格评审涉及的商务与技术两大维度的数据已经根据权重进行了打分，分数的数量级为10以内，因此部分数据只需要剔除不满足资格评审的数据（表现为所有维度都为0值）以及数值超出权重的分值。履约评价的数据有物资合同签订及时率（0-100%）、一次性试验通过率（0-100%）、到货及时率（0-100%）和不良行为记录（分值范围0.1-12）。对于这部分数据需要根据权值进行标准化，由于权值需要根据评价标准进一步确定，因此目前只需要将不良行为记录的量化数值压缩到与0-100%相同的范围。（3）数据降维。目前的供应商信用风险评级指标过多，不能满足供应商画像的特征提取与分类要求，需要进行降维处理。拟采用关联性分析和主成分分析降低指标维度，同时最大化保留原有数据的信息。在资格评审中，商务基本面信息的数据涉及15个指标，技术能力更是高达10余个，这些指标反映的意义具有较强的关联性（共线性）且在有限的数据量的情况下变量过多将会大大降低模型的自由度从而影响精确度，因此为了满足后续的分类和拟合要求，必须要剔除冗余变量，对指标进行降维处理。（4）特征分类。结合业务理解初步确定分类个数（供应商不同特征维度的级别个数），利用聚类分析算法对供应商不同特征维度进行分类，后续根据分类情况和数据特征适当调整分类个数。在构建标签之前，需要对供应商进行分类，由于目前的数据是不具有分类结果标签（y值），因此这是一个无监督的分类问题，无法采用决策树、神经网络等学习类模型；又因为目前数据集的数据量非常少，需要大量训练数据的无监督深度学习模型也不适用，因此，针对无监督和小样本的特点，选用聚类分析解决分类问题。聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个“簇”。通过这样的划分，每个簇可能对应一些潜在的概念（类别），如“财务状况良好”、“技术能力强”等。不过，这些概念对于聚类算法而言事先是未知的，聚类过程仅仅能自动形成簇结构，簇对应的概念语义需要结合业务来把握和命名。常用的聚类算法有K均值算法、层次聚类算法等非常多，而针对现有的数据，K-means算法适用的情景是：簇数确定（同维度标签评级个数确定）且较少、数据量较大；而Hierarchicalclustering适用簇数不确定（可能有一定范围）、数据量相对大的情况。具体采用哪一种分类算法要根据数据情况以及业务分类要求和可视化要求而定。（5）分类结果检验。通过计算该特征维度不同类别的供应商的加权总分对分类后不同簇的供应商的总分进行统计上的显著性检验。（6）构建画像标签。结合对供应商管理评级的业务理解，从数据层面分析该特征维度下不同簇的供应商的区别，并增加语义内容。

2.2设计供应商画像

根据行业经验及领先实践，通过对南网供应商各类行为数据及外部数据进行数据采集、数据挖掘，结合公司战略、未来发展愿景还有指标构建的一般原则，将供应商的综合画像构建为六大一级指标，分别为供应商资质评价、供应商履约运行评价、企业风险信用评价、社会行为与责任、供应商生态与供应商创新。其中最重要的企业风险信用评价指标包括企业基本风险（如企业人员变更频率）、司法风险（开庭公告次数、法律诉讼次数）、经营风险（税务评级等级、股权质押比率、动产抵押比率、司法拍卖事件次数、欠税信息次数、行政处罚次数、抽检检查合格比率）。

数学建模大数据处理方法范文第3篇

关键词：实践教学；统计学；高校

中图分类号：G642.3 文献标识码：A 文章编号：1002-4107（2017）04-0036-03

“大数据”是时下全球热议的话题之一，数据无处不在，涉及各个行业领域。大数据技术研究与价值应用已成为新一轮科技竞争的战略制高点，它给科学和教育事业带来了新的生命力，同时对传统教育也提出了新的挑战。2014年中国大数据技术大会上了《中国大数据技术与产业发展白皮书（2014 年）》和《2015 年大数据十大发展趋势预测》，指出“跨学科领域交叉的数据融合分析与应用将成为今后大数据分析应用发展的重大趋势”[1]。在这种背景下，统计学专业应顺应社会发展，探索教学模式，融合计算机、数据分析、统计等相关学科，引导学生认识和掌握数据处理的新技术，推动交叉学科应用型本科人才的培养。本文探索提升本科生的智能数据分析实践能力的培养模式，以便提高其就业竞争力，满足社会需求。

一、大数据新形势对统计人才的新需求

统计学作为一个与大数据密切相关的学科专业，其需要及时调整和优化课程结构，改变教学内容与手段

等，以满足社会人才需求和适应外部变化的环境。华东师范大学副校长朱自强接受光明日报采访时指出：大数据技术会通过“学科交叉”战略，为相关学科向更高层次的发展提供历史性机遇[2]。据调查报告指出，数据科学家需要扎实的教育背景，其研究领域分布为数学与统计学（32%），其次是计算机科学（19%）以及工程学（16%）[3]。该领域中跨界融合型人才是未来的人才培养趋势，统计学专业有独特的优势。据不完全调查发现，涉猎网站上谷歌、百度和格力等部分大公司对于大数据人才岗位需求及相关技能提出各自具体要求（见表1）[4]。

从表1中可以看出：数学和统计学功底、建模能力、运用R，SAS，Python等辅助软件及掌握大数据平台是大数据岗位的基本要求。处理数据是为了应用，无论哪一个岗位都会要求分析数据，包括需求分析、特征提取、结果分析与关联分析。因此数据分析最重要的可能并不是软件、算法，而是熟悉整个流程，例如数据清洗、分析工具的选取、参数的设置及原理、结果价值分析与解释等。这要求统计专业的学生精通相关的软件与编程的同时，还要熟练掌握本专业知识。因此，学生只有经历过一套完整的程序过程，才能懂得如何从数据中发掘知识的原理及技术流程。

目前高校数学系开设的统计学专业主要是数理统计方向，重视统计推断，进行各种证明，但案例教学较少，淡化了培养学生分析社会经济现象的能力，其不利于学生应用统计知识解决实际问题。本文从分析当前的社会需求出发，借鉴“设计型学习”模式探索实践教学改革，以此来提升培养学生认识数据和理解数据的能力[5-6]。

二、新需求导向下的统计学实践教学改革

（一）重新定位人才培养目标

在网络、大数据、云计算等新技术不断发展的背景下，社会人才需求、教学资源和外部环境都在迅速发生改变，其促使各专业进行教学改革。对于统计学而言，统计数据已完全突破了传统统计学所涉及的统计数据概念内涵，统计数据从数量、结构、类型上已经完全不同于魍骋庖逑碌耐臣剖据，其更具有现代“信息”的含义[7]。相应的统计数据收集技术，整理、传输和存储管理方法、指标体系、分析方法等内容已发生根本变化。“懂数据、会分析”的复合型人才缺乏是当下国内外面临的共同困难[8]。统计学专业应具有国际视野，重新定位培养目标、教学理念与机制，结合区域经济发展为学生提供未来职业规划指导服务，在各个环节中提升学生的数据处理能力，培养具有高阶思维和高阶能力的应用型人才。

（二）优化课程设置与教学手段

统计学本科专业课程设置要体现大数据时代对统计人才培养的要求。大数据背景下数据的管理、分析与挖掘类课程需要增加，尤其是实践类课程，形成突出实践能力培养的课程群或课程模块。最主要的是针对社会需求，依托学校与数据相关的优势学科，通过学科交叉和行业、企业、实务部门开展深度合作建设实践教学基地，集聚相关资源协同创新，提升本科生数据分析能力。通过设计实践课程的模块，以产教融合、协同育人方式形成有效的课本知识与实践操作的衔接，为学生创造理论与实践相融合的社会情境。

当下，知识更新较快，需要课内和课外相互配合完成教学任务。慕课、微课、翻转课堂已成为重要的课堂教学补充资源和课外自学学习平台。丰富形象的图片和视频等教学材料，多感官的刺激不但符合现代学生的学习特点，而且能够极大地激发学生的学习动力[9]。教师应积极应对这些新变化，及时学习新知识、新技术，调整教学观念、教学内容、教学方法，更多地开展实践教学。教师也应瞄准国际前沿，采取先进的教学理念，有效利用优秀的网络资源开展课前和课后辅助教学和互动交流，引导学生逐渐实现自主发现式学习。在实践教学手段中，重视高阶思维和高阶能力的培养，借鉴国外的先进实践教学模型，改变实践层面以尝试和经验总结为主的教学手段。例如设计型学习正在国际教育界兴起，其强调学生在具体的任务或挑战情境中主动探究，具有设计性、整合性、迭代性、反思性等品质特征。在分析和解决问题的能力、合作能力及创新能力等实践上，设计型学习彰显了其独特价值。与过去那种单纯强调知识呈现与传递的教学方式不同，设计型学习蕴含着新的学习和教学设计假设，其有效地融合了自主、协作、探究等新型学习方式。因此，设计型学习可以为当前教学方式改革提供一种新思路。借助于这一先进的实践教学手段，引导学生注重“功在平时”。在课前教师帮助学生甄别选择合适的资源，如问题背景、相关知识讲解的网络资源等。在课堂上，教师掌握课堂教学和学生自主学习结合策略，针对学生遇到的问题进行讲解，小组之间进行交流、分享成果。然后让学生在课后进行反思、修改、再设计，同时注意引导和关心后进生的学习状态和方法，直到任务圆满完成，从而形成线上线下相互配合的教学手段。

（三）强化校内实验与实践环节

以专业实验室和教师科研课题为载体，依托学校相关的优势学科，对接社会需求，利用学科交叉和对外合作机会汇聚各种创新要素，践行协同创新理念，构建适合本科生的多层次的实践教学体系。针对不同年级的学生，制订不同的进实验室计划，一年级学生以认知教学为主，开拓其对理论基础课的应用性和数据分析价值的认知视野。二、三年级的学生已经开始学习统计学专业基础课和统计软件，在相关课程实践环节中以大作业形式，设计与课堂教学相关的扩展数据分析主题，引导学生对生活中的数据分析问题进行深入分析、寻找合适的选题，并依托各类相关科研课题达到对实际背景数据的理解、推理、发现和决策。例如：网上调查是一项重要的社会活动，用其得到的数据来分析和反映人们的活动规律及观点。引导学生针对分析某类现象等进行设计问卷、发放问卷、回收统计和统计分析等活动。这一完整的环节让学生了解调查过程中统计误差成因及控制手段，加深对统计过程、数据质量的理解。鼓励四年级学生利用实验室、实习基地与专业教师的各类科研项目的资源，开展毕业论文工作，并独立完成有关的实验，全面培养学生的数据处理能力。例如，可以引导学生对某门课程辅助教学App需求统计分析、智能测试系统设计、代码编写。通过实践活动，引导学生自主地基于已学的专业知识去学习新知识，自主走进数据世界、探索数据王国。

与此同时，学分设置、考核评价体系也要做出适当的调整。在实践教学方面，积极推动“大学生创新创业训练计划”和“优秀本科生走进实验室计划”等创新实践活动保障机制。在总学时不增加的前提下，施行大学生创新实践学分确认制度，对学生在各种学科竞赛、创业竞赛及学术研究中获得的成绩给予学分认定。考核注重“功在平时”，评价学生的多方面能力，尤其是应用相关理论处理实际问题的能力。具体可以采用多种考核方法相结合的方式。如：增加平时的考核力度、增加实践项目的考核、通过布置适当的项目论文，采用答辩的形式，以锻炼学生独立分析解决问题的能力[10]。

（四）注重校外实践学习

目前统计学课程的校内实践教学过程中，由于实践资源不够的限制，所涉及数据处理及统计建模等活动较多地使用统计年鉴或其他公开数据集，这种学习模式与真正的实际应用还有一段距离。为了更大程度上调动学生的学习积极性来接触科技前沿，应充分发挥学科竞赛与社会创新模式和平台优势，形成校扔胄M馐导教学协调促进的模式。

目前与统计学相关的竞赛受到大型互联网企业、学术团体及政府部门的关注，不定期举办开放型竞赛为选手提供施展才华本领的机会。例如有全国大学生统计建模大赛、全国大学生大数据挖掘竞赛和阿里巴巴大数据竞赛等。这些竞赛一方面是为高校学子提供接地气的大数据实战机会，推动高校和研究机构对大数据和算法的研究发展；另一方面也是为了加快相关领域的人才成长。这些竞赛主题及选题、难度均适合统计学专业学生参与，其可以让学生和教师接触前沿的应用方向、有机会学习和尝试解决真实的业务与社会问题。跟踪这样的竞赛有助于提高学生的学习兴趣，进而促进实践教学方法的改革、提高创新人才培养的质量。

在大众创业、万众创新的时代背景下，社会创新模式与平台有助于开阔师生的视野，并可以为校内实践学习与实践应用提供有针对性的引导。因此在统计实践过程中，嵌入创客教育的模式，与相关的创客平台合作建立实习基地，让学生接触社会决策活动，拉近学习者与生活的距离[11]。创客教育强调的创新精神和综合运用知识技能解决实际问题的能力，是将来学生在求职和就业中必不可少的能力，其可为学生创造理论与实际相结合的认知机会、促使学生形成以自身专业特长与兴趣爱好结合的主动学习模式。

针对社会对人才的新需求，通过设计不同模块的实践活动对统计学专业实践教学环节进行改革，其有利于发挥学生的特长，调动学生的学习兴趣，为学生的职业发展做好充分的准备，从而顺应大数据时代的发展，进而促进人才培养质量、促进专业办学特色、促进经济社会发展。

参考文献：

[1]2015年大数据十大发展趋势预测[J].中国教育网络，

2015，（Z1）.

[2]朱自强.高校可借大数据自我提升[N].光明网，2013-

11-12.

[3]九个成为数据科学家的必备技能[EB/OL].[2016-09-03].

http：///archives/38264.

[4]数据科学领域的职位划分以及职责技能[EB/OL].

[2016-09-03].http：///archives/37376.

[5]李美凤，孙玉杰.国外“设计型学习”研究与应用综述

[J].现代教育技术，2015，（7）.

[6]丁美荣，陈壹华.基于设计型学习的计算机网络实验教

学研究[J].计算机教育，2011，（1）.

[7]张维群.大数据时代统计学科建设与教学改革专家研讨

会纪要[J].统计与信息论坛，2015，（2）.

[8]徐宗本.用好大数据须有大智慧――准确把握、科学应

对大数据带来的机遇和挑战[N].人民日报，2016-03-15.

[9]谢小芸，李立清.项目教学法在独立学院统计学实践教

学中的应用[J].中国农业教育，2007，（4）.

[10]王丽丽，杨帆.“互联网+”时代背景下大学英语教学改

革与发展研究[J].黑龙江高教研究，2015，（8）.

[11]李小涛，高海燕，邹佳人等.“互联网+”背景下的STEAM

数学建模大数据处理方法范文第4篇

关键词：民办高职 数W 教学方法改革

中图分类号：G642.0 文献标识码：A 文章编号：1672-1578（2017）05-0022-01

高职院校是以培养高素质技能型人才为根本目标， 数学教育作为培养学生严密逻辑思维锻炼的基础课程，在高职教学中起着非常重要的奠基作用。通过数学教育培养学生综合运用数学知识，提高学生应用数学解决实际问题的意识、兴趣和能力， 全面提高学生的数学素养。

1 民办高职院校数学课堂现状

目前，学校只对部分的理工科学生开设数学课程，取消了以往经济类、商科学生的数学课程授课安排。另外，数学课程的课时比例也相应地进行了压缩：从原来的每班每周4个课时压缩到每班每周2个课时。除此之外，学校缩小了数学课程门类，变为单一的教授《经济数学》。

学生数学成绩参差不齐，一部分学生已经习惯了高中阶段的应试型学习，还不适应大学偏重自主性学习的氛围，一时间会迷失方向。

另外，在课堂中，由于既定的教学任务，加上缩减的课时，课堂经常出现满堂灌的教学模式，在讲授过程中对应用案例涉及较少，不符合高职院校培养应用型人才的要求，学生也不乐于接受，很难调动起学生学习的积极性。

2 数学课堂教学方法改革探讨

要打破目前民办高职院校数学课堂的困境，改革势在必行。在既定的条件下，可以在教学方法上做好以下的几点改革：

2.1 加强案例教学

在实际的数学教学过程中，大多数教师是在讲台上不断地向学生讲解，基本上不与学生互动，教学方法非常传统老套，使得数学基础本来就差的学生对数学课没有兴趣，进而产生乏味的感觉，造成上课时有的睡觉，有的玩手机，无法激起对学习的兴趣，出现低头族与耳塞族。要改变这个局面，就应该加大力度进行案例教学：即选择一些尽量贴近生活与联系实际的题目，与学生一起研究、探索解决这些问题的方案，在解决问题中提高学生的分析能力与应用能力，激起学生学习数学的兴趣。如：在讲述函数的极限时可引入利息公式进行讲解；最值问题可结合工厂生产的利润、成本进行讲述；国民收入分配的不平等程度问题引出定积分的概念等。我们要懂得提取生活中的案例，让枯燥的课堂活跃起来。

2.2 合理利用现代教育技术教学

在教学过程中，多媒体信息量大、内容可以丰富多彩，同时计算机处理信息能力强、可以很好地模拟数学教学，甚至可以完成教师的部分工作。利用多媒体进行教学，教师要在备课过程中，把要讲解的内容提前制作在课件上，这样就省去了教师在课堂上板书概念、定理、例题的时间，节约了课时，为同学们课堂练习、拓宽视野提供了充足的时间。另外数学中的抽象概念、定理等可以通过图表、图像、动画等多媒体生动地表现出来，便于学生理解和掌握。如：在讲述极限定义的时候，可以通过函数图象进行讲解；通过Matlab软件讲解生活中的经济问题等。另外，多媒体教学也便于教师归纳课程重点、难点，增强学生的理解和记忆，提高课堂效率。

2.3 加大数学建模授课，巩固课堂教学效果

教学中科学地、合理地运用数学建模进行授课，创建“问题情境、建立模型、解决与运用”的教学模式，通过布置与课堂上讲过的数学建模方法相关的题目，或者是再引申讨论课堂上的某个问题，进行建模教学，达到巩固和深化课堂教学的目的。数学建模不仅展示了数学在各个学科领域的应用， 使学生感受到了学习数学的意义，而且通过学生对数学建模全过程的参与与自我尝试，也使学生尝到应用数学于实际的甜头，增强数学在学生心目中的地位。

2.4 引入计算机数学实验

数学教学的一个重要目的是使学生通过运用数学知识，解决生活中的实际问题。进行计算机数学实验课程的教学能打破数学课只有习题课，没有实验课的传统模式。开设数学实验课，其目领会数学与现代高新技术的完美结合，并获得现代科技所需要的数学知识与数学素质的是培养学生的数学建模能力、科学计算的方法与手段、数据处理能力，使学生在不断的应用与探索中，通过数学计算、符号处理的数学实验，把数学应用切入理论教学中， 促进对数学规律的理解、认识，使讲授――记忆――作业的传统学习过程变为学生自主探索――思考――解决问题――应用的过程， 其意义不仅仅在于使学生掌握必要的数学知识，更重要的在于学生独立参与，从而提高学生学习数学的积极性和主动性， 提高学生对数学的应用意识。

参考文献：

[1] 王海龙，韩田君，徐爱华.高职数学教学改革的实践和思考[J].学科教育，2013（7）.

[2] 欧瑞宏.提高高职院校数学教学效果的探索[J].高教论坛，2005（2）.

数学建模大数据处理方法范文第5篇

关键词：大数据 统计专业 核心

中图分类号：G632 文献标识码：A 文章编号：1674-2117（2014）10-0008-02

1 大数据的统计涵义

通常来说，凡是数据量超过一定大小，导致常规软件无法在一个可接受的时间范围内完成对其进行抓取、管理和处理工作的数据即可称为大数据。业界通常用4个V（即Volume、Variety、Value、Velocity）来概括大数据的特征：数据体量巨大、数据类型繁多、价值密度低、处理速度快。

大数据潮流让我们获得了海量的数据，数据已经成为相关行业创造价值的重要资源。因此，许多IT企业和互联网企业都已将业务范围延伸至大数据产业，探索大数据驱动的业务模式。2012年，美国政府投资2亿美元启动的“大数据研究和发展计划”，更是将大数据的研究上升到国家战略层面。然而，大数据的真正意义不在于数据量的巨大，而在于对数据信息进行专业化的处理，核心是对数据进行分析。面对大数据，越来越多的领域都开始运用数学特别是统计学的工具，挖掘大数据中真正蕴藏的价值。正如西内启在《看穿一切数字的统计学》书中所指出的，“从数据中得出有意义的结果，关键在于控制和减少误差，得出因果关系，单纯收集数据并加以全部量化分析在很多情况下会得出谬误结果，”而科学的统计学方法是得出因果关系的最佳方法。

从统计学角度看，一方面，大数据具有类型繁多、结构复杂、体量巨大等特点，海量数据以分布式方式进行存储，特别是图片、音频、视频等非结构化数据的广泛存在，传统的统计方法和统计分析工具已无法满足大数据分析的需要，亟需统计方法的革新。另一方面，数据分析结果需要用生动、直观、容易被接受的方式展示给读者，可视化分析能够直观地呈现大数据的特点，阐释数据与数据之间的联系。因此，统计学要挺立大数据潮头，创新统计分析工具、可视化分析方法，以大数据的挖掘和应用为核心，将传统文本、图像的统计、分析向数据分析转变，以适应大数据时代的发展及其对统计学带来的挑战。

2 大数据时代统计学教育面临的挑战与应对

据互联网数据中心（Internet Data Center）预测，中国大数据技术与服务市场将会从2011年的7760万美元快速增长到2016年的6.16亿美元，而据业界专家估算，中国大数据市场的人才需求量至少为100万人，其中统计人才、技术更是捉襟见肘。传统数据收集和分析技术的知识结构已不能满足大数据时代对“数据科学家”的要求，多家企业在面对大数据发展时遭遇人才瓶颈。大数据相关人才供给不足将会成为影响大数据市场发展的一个重要因素。

当前，全世界范围内已有数百个高校开设了大数据分析专业。卡内基梅隆大学和新泽西州立大学在培养目标和课程设置上项目设置偏重于计算机方向。课程设置偏重统计学与运筹学（包括决策科学）的典型学校有田纳西大学和约克大学。2013年，北京航空航天大学与慧科教育合作开办了国内首个“大数据技术与应用”软件工程硕士项目研究生班，这是目前国内唯一一个培养大数据行业专业型人才的项目，但其培养目标、知识体系是面向计算机领域，而立足统计学基础的大数据分析人才培养项目，在国内可谓是凤毛麟角。

知者随事而制。高等院校统计学专业要通过有效利用和整合人才培养资源，承担大学人才培养的责任，驾驭大数据的浪潮，占领大数据发展人才培养的制高点，体现高等院校向社会、企业提供智力支撑，输送企业亟需的复合型、实用性大数据分析人才的载体作用，确保产业科学、持续、高速的发展。一是教育资源的整合，走在前列的首都经济贸易大学、北京大学、中国人民大学、中国科学院大学、中央财经大学五所应用统计专业硕士培养单位在北京成立了“中国大数据教育协同创新体”，在高校之间实现学科融合、优势互补、强强联合，通过共享优质资源平台、共同建立课程体系、共同建设案例资源库、联合搭建实践实训平台等多种形式，创新人才培养体制机制。二是高等院校教育资源与业界资源的整合，通过与国有超大型企业、互联网翘楚的协同培养，立足应用统计专业硕士教育，建立人才培养基地，进行协同创新，探索构建应用统计（大数据分析）专业硕士人才协同培养模式。以缓解当前大数据人才供需矛盾为目的，建立“校校协同、校企协同、院系协同”的大数据分析方向人才协同培养模式，最终实现协同培养“数据科学家”的目标。[5]

3 面向大数据分析方向的应用统计专业硕士培养模式的构建

本研究认为，可以将大数据分析及相关的案例教学模式融入应用统计专业硕士学位研究生的培养过程，进而打破统计学传统的以阐述统计理论、公式推导、数学计算为主的教学模式。以情境浸润为基础，为学生呈现统计学在大数据领域应用为核心的教学模式，可以培养学生对大数据的挖掘、整合、分析价值的能力，以期更好、更快地适应企业对数据分析师、数据科学家的需求。

3.1 科学构建课程体系，突出大数据分析特点

大数据具有强烈的行业特点，在充分借鉴国外大学成功经验的基础上，大数据分析专业硕士的课程设置，强化数据分析能力和数据挖掘能力，注重上述技术在金融等领域的应用。必修课在讲授统计基础理论（描述、多元、时序、空间、可视化等）课程的基础上，为增强学生的大规模分布式计算技能，引入主流的大数据计算平台，如Hadoop分布式平台、MapReduce并行编程算法。与此同时，为提高学生动手能力，构建数据模型思维，开设《大数据分析案例》等多门课程。选修课方面，考虑到学生二次开发的需要，设置大数据开发基础课程，如C++、Java等。为突出应用统计专业硕士侧重应用的特点，开设面向数据的编程语言，如R、SAS、Python等课程。这些课程模块的设置并非体现某一学科知识的纵深发展，而是将相关学科的知识融合，有利于突出大数据分析的特点。

3.2 创新教学培养模式，注重培用结合

以“编组”方式开展教学活动。授课教师和学生均采用团队编组模式，多名教师协同工作，共同完成一门课程的授课任务。打破原有学科思维、教材的束缚。采用导师指导与集体培养相结合的方式。教师不可照搬旧有的教学大纲、课程内容，要学习和熟悉大数据相关知识体系与技术新进展，充分结合大数据分析需求和实际案例，使课程内容紧贴实际需求，注重培养学生对模型的理解，对数据的想象力，真正实现学以致用、培用结合。

采取“订制化”培养模式，突出培养与应用相结合的特点，力争做到人、岗的高度匹配。“订制化”培养模式打破了目前应用统计专业硕士统一培养、与市场需求脱节的模式壁垒，教学实践以市场需求为导向，依照企业的岗位标准、用人要求，强调以岗位需求制定培养方案，更好地满足用人单位对大数据分析人才的需求。

3.3 开展校企协同培养，构建问题导向、项目牵引的实践教学模式

根据国务院学位委员会的规定，应用统计学专业硕士学位研究生教育的目的是培养具有良好的统计学背景，系统掌握数据采集、处理、分析和开发的知识与技能，具备熟练应用计算机处理和分析数据的能力，能够并适应行业或职业实际工作需要的应用型高层次人才。因此，要摒弃普遍存在的重理论轻实践、重知识轻技能的教学方式。

协同创新培养在实践教学中建立了以问题为导向，以项目为牵引的运作机制，强调实践教学内容的呈现方式要面向企业需求，让学生参与到企业的项目运行过程中，引导学生建立业务建模能力，培养学生的数据资源整合能力，激发学生参与项目的积极性和自觉性。学生不拘泥于学校的实验实训基地和各类实验室，在第二学年中安排一定时间走出校门，进入到企业的实际环境中，参与企业的项目组织、实施过程，在实践过程中提升自我认知能力，在实践过程应用知识和理论研究实际问题的能力，培养和锻炼数据资源整合能力、沟通协调能力、IT支撑能力、业务建模能力，真正实现面向能力培养的目的。指导教师方面，在案例教学和实习阶段引进业务素质高、项目经验丰富、对大数据发展有敏锐洞察力的企业高级数据分析人员，指导学生在实习实践中提出问题、建立模型、解决问题的能力。

4 结语

应用统计（大数据分析）专业硕士人才协同培养模式，是一项可持续发展的应用统计专业硕士人才培养的新模式，是专业硕士教学实践的创新举措，也是在全国率先建立起来的立足统计学，在大数据分析人才层面建立的校校协同、校企系统办学体。体现了面向能力培养、面向社会需求培养、面向人才价值培养的“三个面向”的培养目标，着重培养学生分析数据、处理数据、展示数据的能力，对于培养“高层次、实用性、复合型、国际化”大数据分析人才意义重大，同时也是顺应大数据技术革命的浪潮，必将对大数据等新兴技术产业的发展注入活力。

（首都经济贸易大学，北京 100070）

参考文献：

[1]刘军.Hodoop大数据处理[M].人民邮电出版社，2013.

[2]大数据的四个典型特征[N].中国电子报、电子信息产业网，2012（12）.

[3]CCF大数据专家委员会.2014年大数据发展趋势预测[J].中国计算机学会通讯，2014（1）：32-36.