提供全自动AI中台SaaS服务,深度赋智完成数千万元天使轮融资
提供全自动AI中台SaaS服务,深度赋智完成数千万元天使轮融资
心血管类医疗器械研发生产商归创通桥完成超5000万美元C轮融资
心血管类医疗器械研发生产商归创通桥完成超5000万美元C轮融资
连续5年销售收入翻倍,彩瞳TOP1品牌可啦啦累计完成完成两轮近亿元融资
连续5年销售收入翻倍,彩瞳TOP1品牌可啦啦累计完成完成两轮近亿元融资
血液净化设备研发商山外山完成数亿元战略融资,高瓴创投领投
血液净化设备研发商山外山完成数亿元战略融资,高瓴创投领投
立即打开APP
李未
私信
0
来源:猎云网

趋动科技CEO王鲲:用软件定义算力做到算力平民化,AI才可更好赋能百业

2020-10-16
活动
趋动科技已经推出OrionX计算平台,使用户应用无需修改就能透明地共享和使用数据中心内任一服务器之上的AI加速器。

【猎云网(微信:ilieyun)北京】10月16日报道(文/王非)

10月16日,FUS猎云网2020年度人工智能产业峰会在北京金茂万丽酒店隆重举行,趋动科技CEO王鲲受邀发表《软件定义算力,助推AI产业》的主题演讲,他表示:趋动科技用业界领先的技术帮助客户降低成本,做到算力平民化,使AI可以更好地赋能百业,产业能够持续发展。

趋动科技是一家AI加速器虚拟化及资源池化服务商,主要为用户提供AI加速器虚拟化和资源池化软件及解决方案。目前趋动科技已经推出OrionX计算平台,使用户应用无需修改就能透明地共享和使用数据中心内任一服务器之上的AI加速器。

趋动科技的软件就是要帮助客户在AI领域里做到软件定义,在这里面,有四个非常典型的使用场景:化整为零、化零为整、隔空取物、随需应变。

化整为零与化零为整,实质上是根据具体情况去满足用户的实际需求,从而帮助用户提升资源的利用率、提高工程师的人效。

王鲲这样介绍“隔空取物”:“在数据中心里,最主要是由服务器提供算力,但是因为GPU非常昂贵,一般来说,不会每台服务器都配备GPU。在这种情况下,我们的OrionX软件定义AI算力可以帮助用户做到,让应用跑在没有GPU的服务器上,通过网络使用其他服务器的GPU。未来网络基础设施会变得越来越好,如果网络条件足够好,我们甚至可以帮助用户在省、市的范围内来调配算力。”

随需应变是指,帮助用户根据他的需求来动态伸缩使用的资源。王鲲解释到,“比如说,他的任务刚启动时只需要半个GPU,但是随着运行的不断推进,需要的计算量越来越大,就需要10个GPU。我们的软件可以根据他的需求,动态变化伸缩他所使用资源的量。”

据介绍,趋动科技的软件能够提升3-5倍的GPU利用率,提升超过50%的算法工程师人效,同时降低超过50%的TCU整体拥有成本,并且帮用户减少超过80%的电力消耗。

王鲲表示,一个产业的发展,会有三个阶段,Make It Work、Make It Perform、Make It Cheap……以汽车产业为例,在最后一个阶段,Make It Cheap,只有当汽车的成本降低到了普罗大众都能买起的程度,整个汽车产业才能够蓬勃地发展起来。

王鲲认为,目前的AI产业也适用于上述规律。“新算法的出现,可以让我们做到很多之前做不了的事情;海量的数据和算力,可以让我们的算法跑得更多,使得人脸识别的正确率更高,语音识别准确率更高。但实际上,真正要让AI产业能够持续发展,我们认为算力平民化是很必要的,只有成本真正地降了下来,整个AI产业才能够持续的发展。”

趋动科技在做的事情,就是用技术和软件帮助客户降低成本,做到算力平民化,让AI可以赋能百业,趋动科技则是用AI算力平民化的技术赋能AI。

本次峰会由猎云网主办,猎云资本、企业管家、猎云财经、锐视角协办,近百位知名资本大咖,独角兽创始人、创业风云人物及近千位创业者共聚一堂。峰会以“AI UP!”为主题,聚焦人工智能产业的应用,通过展示多领域多维度人工智能技术和产品以及分享讨论AI在不同场景中最新落地应用,展现人工智能产业落地应用的最新成就;并围绕人工智能产业的“进击”与“破圈”,探讨AI技术如何为产业赋能。

以下为演讲全文,猎云网整理删改:

各位嘉宾朋友们大家上午好,我是王鲲,来自趋动科技,今天很高兴有这个机会给大家分享《软件定义算力,助推AI产业》。

今天峰会的主题是AI,大家对AI也都并不陌生。在过去几年,AI的发展非常迅速,各种应用也在加速落地,不管是人脸识别还是语音识别,它们的背后都是由算力引领。可以这样说,高速增长的算力,一直在推动AI产业的发展。

从2012年到现在,整个AI算力的需求增长了超30万倍,这个增长速度非常惊人。在可预见的将来,AI算力的需求仍然会保持这样高速的增长。

今天AI算力的主要提供者已经不再是传统意义上的CPU,以GPU为代表的AI加速芯片已取代传统的CPU成为AI算力的主要提供者。因为像GPU这样的AI加速芯片,它的性能可以达到传统CPU的100甚至1000倍,这是非常惊人的提升。

但与此同时,GPU的价格不菲,企业级CPU的价格大概是在千美元的量级,但是企业级GPU的价格是在万美元的量级,提升了一个数量级。相对来讲,GPU的算力比较昂贵,而这么昂贵的算力,目前大部分用户的使用情况却不是很好。

以美国公有云巨头AWS为例,他们公布出来的GPU利用率是10%-30%,这个数字和我们在国内了解到大部分用户的使用情况差不多。我们还知道有不少用户的利用率甚至不足10%,也就是说,一张1万美元GPU卡的利用率只有不到10%,这也就意味着超过9000美元以上的算力是浪费的,这是一个非常大的算力浪费。

为什么会出现如此大的算力浪费,我们来打个比方,把50座的大巴车比喻成性能强大的AI芯片,把AI的计算任务比成旅行团,不同计算量的任务大概相当于不同规模的旅行团。小的计算任务相当于三四个人的旅行团,大的计算任务相当于上百人的旅行团。大家可以想像,最简单的使用和管理方法是,来一个旅行团派一辆车。但实际上的结果是,只有十个人,甚至两三个人,依然派一辆大巴车,那一定是非常浪费的。

实际上,目前用户就是在以这样一种非常粗放的方法,来使用性能强大却也非常昂贵的AI芯片,本质上这是造成今天算力利用率低、成本高的根本原本。

那么,用户需要的是怎样的一种方式来使用算力。我们总结出了两个词,一个是随需应变,一个是动态。仍然用大巴车与旅行团的例子,随需应变的意思是,像三四个人的小旅行团,可能要派辆轿车,如果是十个人的旅行团,派辆中巴车,如果是一百人,那么可能需要派几辆大巴车,根据实际需求来决定车辆的大小。

如果想要以硬件的方法做到这点,就意味着用户一定需要准备各种规格的车,既需要准备轿车,也需要准备中巴车,也还需要准备大巴车,要决定每种规格的车的数量将会非常困难,因为每一波用户的数量是在变的。也就是说,基于这种硬件的方法想要实现随需应变、动态伸缩是非常难的。

而基于软件定义的方法,就可以帮助用户做到这一点。本质上,软件定义的方法就是帮助用户做到物理上全是50座大巴车,但是帮你虚拟成不同规格,比如说可以把一辆50座的大巴车,变成10辆5座的虚拟小车,也可以变成两辆5座的车外加两辆20座的车,通过软件定义技术可以帮用户做到随需应变、动态伸缩。

趋动科技的软件就是要帮助客户在AI领域里做到软件定义,在这里面,有几个非常典型的使用场景。第一个场景是化整为零。以GPU为例,当用户AI计算任务规模比较小的时候,一个任务不足以用满一张GPU卡。这时候,我们能做的事情就是帮助用户把一个性能强大的物理GPU,变成多个虚拟GPU给到多个用户共享,相当于在刚才大巴车的例子中,把一个大巴车变成多辆虚拟小车给到用户使用。通过这种方式化整为零,帮助用户提升资源的利用率。

第二个场景叫化零为整。对于用户来讲,他的计算任务可能非常大,像几百人的旅行团一样。当用户计算任务非常大的时候,我们可以把多个GPU给到用户的这个任务使用,给用户几张,甚至几十张GPU卡,去满足用户大计算量的需求,这是化零为整的场景。

隔空取物是第三个场景,在数据中心里,最主要是由服务器提供算力,但是因为GPU非常昂贵,一般来说,不会每台服务器都配备GPU。在这种情况下,我们的OrionX软件定义AI算力可以帮助用户做到,让应用跑在没有GPU的服务器上,通过网络使用其他服务器的GPU。相当于,你在海淀区的车队无车可用了,但是在朝阳区的车队还有车,那么就可以直接使用朝阳区的车。未来网络基础设施会变得越来越好,如果网络条件足够好,我们甚至可以帮助用户在省、市的范围内来调配算力。也就是说,北京的用户运行程序可以直接使用上海的算力。有点像今天的特高压输电线,相当于在北京使用新疆发电得来的电力,这是隔空取物的意义。

最后一个场景是随需应变,主要是帮助用户根据他的需求来动态伸缩使用的资源。比方说,他的任务刚启动时只需要半个GPU,但是随着运行的不断推进,需要的计算量越来越大,就需要10个GPU。相当于旅行团,在上午可能只有四五个人,而到了下午又来了一拨人,可能变成了一百个人。这种情况下,我们的软件可以根据他的需求,动态变化伸缩他所使用资源的量,这就是随需应变。

下面给大家介绍两个客户的实际案例,第一个是一家互联网公司的案例。这家公司的AI训练平台部门在使用我们的软件,他们的需求与痛点是什么?他们有大量的GPU服务器,每台GPU服务器都有很多张GPU卡,整个平台是一个共享平台,有多个团队在共享使用。实际上,他们计算任务的规模很不一样,有的计算任务大,有的计算任务小。所以在整个平台运行的过程中,就会出现很多碎片化的资源,比方说这台服务器八张卡有两张空闲,另一台的八张空闲三张。在这种情况下,想要跑一个四卡的训练任务,是很难跑起来的。通过我们的软件,把他所有的资源变成一个资源池,在这里面做管理和调度,就可以解决他碎片化资源的浪费情况,提高利用率,同时也提高工程师的人效。

这个是我们在高校的案例,这所高校是双一流高校下属的一个学院。学院里面有很多实验室,每个实验室都有自己的AI在运行,有AI计算的需求。大家可以想像,如果每个实验室都自己采购自己的硬件,一定会非常浪费。因为平均下来,每个实验室能够采购的算力会比较少,而且算力也不能完全充分利用,所以会非常浪费。那么,把所有实验室的资源放在一起变成一个资源池,通过我们的软件就可以很好地帮助学院里所有的实验室,都能充分地利用这些资源。而这些实验室运行的任务中,既有AI的推理,也有训练,还有教学或者科研,场景非常多。而在不同场景下,所使用的资源量也完全不一样。使用我们的软件定义方法以后,就可以帮助用户较好地适应不同大小,不同时间任务的需求,从而提高利用率,降低成本。

总结目前客户的情况,基本上,我们的软件能够做到:提升3-5倍的GPU利用率,提升超过50%的算法工程师人效,同时降低超过50%的TCU整体拥有成本,并且帮用户减少超过80%的电力消耗。对于用户来说,我们软件给到用户的价值是非常巨大的。

目前,我们也已经跟业内非常多重要的伙伴建立了合作关系,比如说戴尔、亚马逊、浪潮、AWS、科大迅飞,同时也在跟更多的伙伴建立更多的合作关系,让我们的软件、技术能够更快地服务于各行各业的客户,也取得了一些小小的成绩。

最后我想讲一点,一般来说,一个产业的发展,会有三个阶段,Make It Work、Make It Perform、Make It Cheap……怎么理解,我们来举个例子。汽车产业在刚刚诞生的时候,也就是汽车刚被发明的时候,它只是跑得比马车快,甚至还没有马车快,它只是能够跑起来,这是一个Make It Work的阶段。但是后来,随着汽车技术的改进,它可以跑得比马车快,也就是Make It Perform,但是在这个阶段,它的缺点是成本太高,价格太高,能够买得起的人非常少。在最后一个阶段,Make It Cheap,只有当汽车的成本降低到了普罗大众都能买起的程度,整个汽车产业才能够蓬勃地发展起来。

我们今天AI的产业也适用于这样的规律。新算法的出现,可以让我们做到很多之前做不了的事情;海量的数据和算力,可以让我们的算法跑得更多,使得人脸识别的正确率更高,语音识别准确率更高。但实际上,真正要让AI产业能够持续发展,我们认为算力平民化是很必要的,只有成本真正地降了下来,整个AI产业才能够持续的发展。

趋动科技在做的事情,就是用技术和软件帮助客户降低成本,做到算力平民化,让AI可以赋能百业,趋动科技则是用AI算力平民化的技术赋能AI。

谢谢大家。

猎云网APP阅读全文

体验更加

猎云网

微信扫码关注猎云网

  1. 猎云网原创文章未经授权转载必究,如需转载请联系官方微信号进行授权;
  2. 转载时须在文章头部明确注明出处、保留官方微信、作者和原文链接,如:转自猎云网(微信号: ilieyun )字样;
  3. 猎云网报道中所涉及的融资金额均由创业公司提供,仅供参考,猎云网不对真实性背书。
猜你喜欢
长按图片可以分享给好友
×