随着社会的进步和信息通信技术的发展,信息系统在各行业、各领域快速拓展。这些系统采集、处理、积累的数据越来越多,数据量增速越来越快,以至用“海量、爆炸性增长”等词汇已无法形容数据的增长速度。
全球知名咨询公司麦肯锡全球研究院发布的一份题为《大数据:创新、竞争和生产力的下一个新领域》的报告中指出,数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素;而人们对于大数据的运用预示着新一波生产率增长和消费者盈余浪潮的到来。2012年3月29日,美国政府在白宫网站上发布了《大数据研究和发展倡议》,表示将投资2亿美元启动“大数据研究和发展计划”,增强从大数据中分析萃取信息的能力。
什么是大数据?
“大数据”到底有多大?根据研究机构统计,仅在2011年,全球数据增量就达到了1.8ZB(即1.8万亿GB),相当于全世界每个人产生200GB以上的数据。这种增长趋势仍在加速,据保守预计,接下来几年中,数据将始终保持每年50%的增长速度。
纵观人类历史,每一次划时代的变革都是以新工具的出现和应用为标志的。蒸汽机把人们从农业时代带入了工业时代,计算机和互联网把人们从工业时代带入了信息时代,而如今大数据时代已经到来,它源自信息时代,又是信息时代全方位的深化应用与延伸。大数据时代的生产原材料是数据,生产工具则是大数据技术,是对信息时代所产生的海量数据的挖掘和分析,从而快速地获取有价值信息的技术和应用。
概括来讲,大数据有三个特征,可总结归纳为“3V”,即量(Volume)、类(Variety)、时(Velocity)。量,数据容量大,现在数据单位已经跃升至ZB级别。类,数据种类多,主要来自业务系统,例如社交网络、电子商务和物联网应用。时,处理速度快,时效性要求高,从传统的事务性数据到实时或准实时数据。
什么是数据挖掘?
数据挖掘,又称为知识发现(KnowledgeDiscovery),是通过分析每个数据,从大量数据中寻找其规律的技术。知识发现过程通常由数据准备、规律寻找和规律表示3个阶段组成。数据准备是从数据中心存储的数据中选取所需数据并整合成用于数据挖掘的数据集;规律寻找是用某种方法将数据集所含规律找出来;规律表示则是尽可能以用户可理解的方式(如可视化)将找出的规律表示出来。
“数据海量、信息缺乏”是相当多企业在数据大集中之后面临的尴尬问题。目前,大多数事物型数据库仅实现了数据录入、查询和统计等较低层次的功能,无法发现数据中存在的有用信息,更无法进一步通过数据分析发现更高的价值。如果能够对这些数据进行分析,探寻其数据模式及特征,进而发现某个客户、群体或组织的兴趣和行为规律,专业人员就可以预测到未来可能发生的变化趋势。这样的数据挖掘过程,将极大拓展企业核心竞争力。例如,在网上购物时遇到的提示“浏览了该商品的人还浏览了如下商品”,就是在对大量的购买者“行为轨迹”数据进行记录和挖掘分析的基础上,捕捉总结购买者共性习惯行为,并针对性地利用每一次购买机会而推出的销售策略。