首页 > 方案商 > 云数“驯服”大数据

云数“驯服”大数据

2013-07-06 16:08   来源: 《商业伙伴》   作者: 张林才

基本信息

面向行业
应用领域

希望和更多的方案商合作,发展行业和项目上的合作伙伴。

 

       自从麦肯锡提出“大数据”时代已经到来的判断,大数据迅速成为了计算机行业的热门概念。

       在国内, 大数据的概念方兴未艾,但从事大数据研究的方案商却并不是很多,能拿出与国外同类产品相媲美的更是寥寥无几。不过,其中仍不乏探索者,如上海云数信息科技有限公司经过4年的潜心研发,已开发出了一套独特的解决方案

> >李晓华(左三)与几位数据骨干在海量数据实验室PK传统数据库,以361倍完胜。

一次测试带来的思考

       2000年,云数的总经理李晓华还是北京一家方案商技术部门的员工,在帮客户做实施和服务的时候,经常需要想办法去优化提升系统的性能。有一次,农行的客户要求做一次压力测试,却发现性能总是上不去。

       李晓华到后台一查就发现,关键的应用只在一个cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu/'>cpu上运行,而且只有一个核心在工作。发现问题的所在之后,他用尽了一切优化手段,性能依然上不去。这让李晓华十分恼火,决心分析一下症结的所在。在仔细查看了源代码之后,李晓华发现,这个应用的逻辑关系导致了只能是单线程运行,多路多核心的系统无法发挥应有的效能。要想彻底改变这一现状,只有将应用推倒重来,或者采用分割数据库用并行的方式充分利用其它核心的运算资源。

       “能不能开辟出一条新的路子解决这个难题呢?”在这次测试之后,这个想法一致萦绕在李晓华的脑海中。

不走开源路

       自从有了这个想法之后,李晓华开始着手付诸实践,他选择了自己最为熟悉的数据库作为研发的方向。经过深思熟虑,李晓华决定放弃开源,一切从零开始,基于微软的.NET平台进行开发,而且选择了一条别人没有走过的路子——从BI的查询层入手。

      传统的数据仓库是集中在一台大型服务器上的,李晓华则将数据分割到相互联系的一个集群上。每个服务器上有一小部分数据,整个集群的数据组合成一个完整的数据集。当系统并行运算时,整个系统的I/O、CPU、内存都远远高于单服务器的架构,从而为数据处理速度带来巨大的提升,这样的架构对于处理大数据优势明显。

       就这样,李晓华和公司的几位技术骨干一边做客户项目,一边写代码,开始了刻苦的研发之路。当第一个软件的雏形做出来之后,李晓华急忙赶回家,用2台PC做2个节点进行测试,测试的结果却是令人沮丧的——效果并没有翻倍。

      “难道这条路行不通?”在忙活了几个月之后得到这样的结果,实在是令人难以接受,在查了一遍又一遍确认无误之后,CTO的一句话提醒了李晓华:“会不会节点太少了?多连几台机器试试。”真是一语惊醒梦中人,他赶紧凑了2个笔记本和3台台式机,一共10 个核心再继续测试。这下成功了,性能大幅提升,达到了10倍。思路可行。

期待与国外同行PK

       如今,云数这款名为CloudyBI的拳头产品,在图表显示方面可以与国外同行媲美,所有操作界面都通过浏览器完成,实现“零客户端”,性能上更是超越了国外的产品,而价格仅有顶尖产品的几分之一。

      “我了解到国外有2家研发方向跟我们类似的公司已经获得了风险投资,说明在云计算时代,大数据的并行运算将是一个重要的方向。我希望我们的产品在将来能与他们同台竞技。”李晓华向记者介绍,为了保持持续的创新,云数通过与上海863软件园和上海市软件技术创新服务平台的合作,建立了海量数据实验室,投入了200多台高性能服务器,建起了一流的数据中心,可以为客户提供大数据的处理、测试、查询、统计和分析任务。

      现在对于大中型企业,云数提供了一站式的CloudyBI私有云海量数据解决方案。对于中小型企业,云数以公有云的方式提供快速、功能强大、价格便宜的云BI服务。“今年我们希望和更多的方案商合作,发展行业和项目上的合作伙伴,把我们的产品和解决方案全面推向市场。”李晓华说。

赞 0个人觉得赞
logo

北京康邦科技有限公司

规模:

网站: http://www.combanc.com.cn/

北京康邦科技有限公司提供面向智慧教育的IT整合服务, 以智慧校园整体建设和运维为目标,综合应用云计算、物联网、大数据、移动互联、虚拟仿真(VR)等新一代信息技...

粉丝0

关联信息

关于我们 | 全生命周期管理 | 服务的客户 | 版权说明 | 联系我们

公司名称:北京金誉在线伙伴文化传播有限公司    备案号:京ICP备 15026202号-1

意见
反馈
返回
顶部