为此,科研人员正在引进国际先进的空间数据融合数值模式方法,即将周边几个站点的数据以及其他传感器所获得的数据融合进模式中,反演出整个区域的天气情况。从试验结果看,运算速度达到分钟级,小区域可达到秒级。
“这些工作都是在大数据的基础上才能够进行,无论模式如何先进,没有海量的数据进入,都不能达到很好的效果。”中国气象局公共气象服务中心高级工程师唐千红说。
让科研人员欣喜的是,在大数据时代,数据并非单纯指人们在互联网上发布的信息。全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、温度、湿度乃至空气中化学物质的变化。可以设想,这些信息都可以被气象部门所用。
大数据时代下的气象服务是什么样子?唐千红认为,在看得见的未来,融入了地理信息、社会经济数据的气象服务,能够让人们知道任意时间地点可能会发生什么,例如这阵风是否会吹翻门口的广告牌,前面一个高速路口是不是在下雨、会不会发生山洪。
云计算搭载大数据
海量数据涌入,传统的处理设备难以满足大数据处理的功能和性能要求,因此需要超大规模的计算。
但由于大数据处理的非常态性,单为处理大数据而配置大规模计算资源,那么当处理完成后,计算资源很可能被闲置,从而造成浪费。
而云计算很好地解决了这一问题。宽带资本董事长田溯宁说,大数据与云计算是一个问题的两面,一个是问题,一个是解决问题的方法。
云计算是大数据时代的基础。当浪涌式的需求出现时,向“云端”提出申请,“云端”为该需求迅速组织计算资源,而在计算结束并将结果反馈后,“云端”又可将这些临时组织起来的资源快速释放,以做他用。“这样不仅提高了资源利用率,还使得很多科研人员不需要为了复杂的运算购买昂贵的超级计算机,大大降低了使用者的准入门槛。”沈文海解释道。
反观气象行业,一些调研数据显示,很多省级气象信息中心计算机平均CPU使用率不到5%,最低者低于0.04%。此外,一些县级气象部门规划建设数据中心,而一个县级平台70%的数据都从省级平台调集而来,如果采用云计算手段,在省级气象信息中心运算后得出结果,就可避免再建设的高投入以及后期的维护成本。
云计算改变了人们的思维和工作模式。今年,IT行业出现了基于云计算的BYOD概念,即带着自己的IPAD、手机或者智能电视,接入网络进行办公。“一些省级气象信息部门做了相关尝试。今后,预报员也许可以拿着IPAD,出差在外也能做预报。”沈文海说。
靠谁打破数据壁垒
并不是仅靠硬件就能在大数据时代站稳脚跟。
“沿着气象服务社会化方向,光靠气象部门的数据很难满足各行各业及公众对气象服务的需求。” 中国气象局公共气象服务中心系统开发运行室主任惠建忠看到了大数据时代中气象部门的困境。
气象数据要和行业数据、地理信息数据结合起来才更能发挥作用。例如,预报降雨对大坝的影响,就必须了解当地地形、周边设施、上下游情况等。
然而,数据不能充分共享以及共享渠道阻塞成为大数据时代下不可忽视的难题。“气象信息、高精度的地理信息是受到法律保护的具有较高机密级别的信息。除此之外,各行各业都握有大量的行业数据,但这些数据往往局限在部门内部,很难流通。” 唐千红说。
在一些西方国家,气象观测数据在进行融合处理后会进入信息数据库,使用者可以根据自身的安全等级获得相应安全等级的数据,进行延伸使用。
“由此可见,将信息交予虚无缥缈的‘云’端,如何令有关管理部门和责任人确信这些数据是安全的,是打通数据孤岛的必要科学性问题。” 惠建忠说。在大数据时代的推动下,各部门终将走上互惠共赢、数据共享之路。