互联网行业在大数据的积累和应用以百度、腾讯和阿里巴巴最为值得关注。百度、腾讯和阿里巴巴在大数据的应用上虽然有共同的地方,但由于各自的数据来源和商业模式的不同,其大数据应用也有不同的特色。本文将分析他们拥有的数据资产和应用,以方便大家了解大型互联网企业的大数据现状和未来策略。
百度、阿里巴巴和腾讯的数据资产
从数据类型看,腾讯数据最为全面,这与其互联网业务全面相关,其最为突出的是社交数据和游戏数据,其中:社交数据最为核心的是关系链数据、用户间的互动数据、用户产生的文字、图片和视频内容;游戏数据主要包括大型网游数据、网页游戏数据和手机游戏数据,游戏数据中最为核心的是游戏的活跃行为数据和付费行为数据,腾讯的数据最大的特点是基于社交的各种用户行为和娱乐数据。阿里最为突出的是电商数据,尤其是用户在淘宝和天猫上的商品浏览、搜索、点击、收藏和购买等数据,其数据最大特点是从浏览到支付形成的用户漏斗式转化数据。百度的数据以用户搜索的关键词、爬虫抓取的网页、图片和视频数据为主,百度的数据特点是通过搜索关键词更直接反映用户兴趣和需求,百度的数据以非结构化数据更多。
百度、阿里巴巴和腾讯的数据应用场景
百度、阿里巴巴和腾讯的数据应用场景都有共同的体系,该体系一共分为七层,代表了企业不同层面的数据价值应用场景,形成了企业运营的数据价值金字塔:
(1)数据基础平台层。金字塔的最底层也是整个金字塔的基础层,如果基础层搭建不好,上面的应用层也很难在企业运营中发挥效果,这一层的技术目标是实现数据的有效存储、计算和质量管理;业务目标是把企业的所有用户(客户)数据用唯一的ID串起来,包括用户(客户)的画像(如性别、年龄等)、行为以及兴趣爱好等,以达到全面的了解用户(客户)的目的;
(2)业务运营监控层。这一层首要的是搭建业务运营的关键数据体系,在此基础上通过智能化模型开发出来的数据产品,监控关键数据的异动,通过各种分析模型等可以快速定位数据异动的原因,辅助运营决策;
(3)用户/客户体验优化层。这一层主要是通过数据来监控和优化用户/客户的体验问题。这里面既运用了结构化的数据来监控,也运用非结构化的数据(如文本)来监控体验的问题。前者更多的是应用各种用户(客户)体验监测的模型或者工具来实现,后者更多的是通过监测微博、论坛和企业内部的客户反馈系统的文本来发现负面的口碑,以及时的优化产品或服务;
(4)精细化运营和营销层。这一层主要通过数据驱动业务精细化运营和营销。主要可以分为四方面:第一,构建基于用户的数据提取和运营工具,以方便运营和营销人员通过人群定向把客户提取出来,从而对客户进行营销或运营活动;第二方面,通过数据挖掘的手段提升客户对活动的响应;第三,通过数据挖掘的手段进行客户生命周期管理;第四,主要是用个性化推荐算法基于用户不同的兴趣和需求推荐不同的商品或者产品,以实现推广资源效率和效果最大化,如淘宝商品的个性化推荐;
(5)数据对外服务和市场传播层面。数据对外服务一般为服务该互联网企业的客户或用户,如百度通过提供百度舆情、百度代言人、百度指数等服务其广告主客户;淘宝通过数据魔方、淘宝情报和在云端等产品服务其客户;腾讯通过腾讯分析和腾讯云分析等服务其开放商客户。在市场传播层面,主要通过有趣的数据信息图谱和数据可视化产品来实现(如淘宝指数、百度指数、百度春节迁徙地图)。
(6)经营分析层面。主要通过分析师对大数据进行统计,形成经验分析周报、月报和季度报告等,对用户经营情况和收入完成等情况进行分析,发现问题,优化经营策略。
(7)战略分析层面。这方面既要结合内部的大数据形成决策层的数据视图,也要结合外部数据尤其是各种竞争情报监控数据、国外趋势研究数据来辅助决策层进行战略分析。
虽然百度、阿里巴巴和腾讯在企业运营的数据价值的应用体系上有共同的特点,但由于企业的商业模式以及数据资产不同,他们在整体的大数据发展策略也有显着的不同。
百度大数据策略
百度大数据最重要的是来源是通过爬虫搜集的1多个国家的近万亿网页数据,数据量是在EB级的规模。百度的数据非常多样化,其收集的数据既有为非结构化的或者半结构化的数据,包括网页数据、视频和图片等数据,也有结构化的数据,如用户的点击行为数据,广告客户的付费行为数据等。
百度大数据主要服务三类人群:一类是互联网网民,通过大数据和自然语言处理技术让网民的搜索更加准确;第二类是广告主,通过大数据让广告主的广告和搜索关键词的匹配度更高,或者和网民正在看的网页内容匹配度更高;第三类是,也是在重点推进的百度大数据引擎,重点是服务传统行业拥有一定规模数据的企业。
百度大数据引擎代表了互联网企业数据服务能力开放和合作的趋势,百度大数据引擎由以下三方面构成:
开放云:百度的大规模分布式计算和超大规模存储云,开放云大数据开放的是基础设施和硬件能力。过去的百度云主要面向开发者,大数据引擎的开放云则是面向有大数据存储和处理需求的“大开发者”。据百度相关人员称,百度开放云还拥有CPU利用率高、弹性高、成本低等特点。百度是全球首家大规模商用ARM服务器的公司,而ARM架构的特征是能耗小和存储密度大,同时百度还是首家将GPU(图形处理器)应用在机器学习领域的公司,实现了能耗节省的目的。
数据工厂:数据工厂为百度将海量数据组织起来的软件能力,与数据库软件的作用类似,不同的是数据工厂是被用作处理TB级甚至更大的数据。百度数据工厂支持超大规模异构数据查询,支持SQL-like以及更复杂的查询语句,支持各种查询业务场景。同时百度数据工厂还将承载对于TB级别大表的并发查询和扫描,大查询、低并发时每秒可达百GB。