世界的本质就是数据,大数据将开启一次重大的时代转型。
什么是大数据时代?简单的说,就是运用大量数据改变人们的生活和思维。举个例子,2009年出现了H1N1流行病毒,传播迅速,医生都被要求及时报告病例。但美国科学家发现,很多患者在患病直到病情发展到无法控制时才去就诊,因此通报新病例总有一两周延迟。
有趣的是,谷歌在此前曾通过搜集网络上类似于“哪些是治疗咳嗽发热的药物”等大量数据,建立起特定的数学模型,及时推算出流感传播的区域。公共卫生管理部门求之不得的疫情预测被看上去毫不相干的IT部门通过分析杂乱无章的信息而得到了。
这就是大数据的作用。这是当今社会所独有的新型能力,以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务。
那么,气象部门怎样迎接大数据时代?气象业务又会发生哪些变革?存在哪些困境?
20年气象数据增长数千倍
与世界大数据时代的进程相同,气象数据量不断翻番。
上世纪90年代及之前,气象资料大部分局限于地面及高空观测。当时,2000多个地面站以小时为单位收集气象信息;120多个高空站每天观测最多不超过4次。从数据量上看不算太多,即便考虑到卫星和雷达资料,其总体日增量也局限在GB量级。
现在,地面观测站大约有4万个,每10分钟观测一次,未来还将加密至分钟级;在空间密度上,至少增加20倍,频度将增加60倍,地面及高空观测信息总量增加了1200倍。
而这些只占整个气象数据的30%,雷达、卫星以及数值预报数据占到了70%。目前,每年的气象数据已接近PB量级(1000GB=1TB,1000TB=1PB)。
这也正是大数据规律的体现,即对大数据进行相对简单的运算永远比对小数据进行复杂运算得出的结果准确。观测信息量越大,所蕴藏的真实信息越多,就更能做好预报。
国家气象信息中心副总工沈文海总结气象部门大数据特征:从某种程度上说,气象部门一直在运用大数据方法,例如,气候因子“正相关”“遥相关”以及一些统计学方法。
业界定义的“大数据”特点除了大容量、多种类型、高速增长,还有价值稀缺,即在庞大的数据中找出所需要的有价值数据如同大海捞针,需要通过相应的数学模型进行计算。反观气象行业,尽管数据量逐步变大,但每个数据都有特定的价值,因此气象行业的数据不完全符合业界所定义的“大数据”特征。
中国科学院院士倪光南分析,到目前为止,“大数据”主要运用对象是社会科学部门,例如政府、公共卫生、社会安全等部门,而运用在自然科学界的案例很少。
气象服务盘活数据
海量气象数据怎么用?这是大数据时代亟待考虑的问题。就现有情况看,数据在气象预报、气候预测诊断方面运用得比较充分;而在气象服务领域,大量实况观测数据往往被搁置。
目前的实况数据气象服务主要基于单要素单一站点的形式。这意味着,人们收到的气象服务只是周边气象站点的天气情况,并且总有延迟。