城狐社鼠网

用英特尔显卡跑AI,如何解决CUDA问题?

真有点Amazing啊。用英

这两天GPU圈子里发生了一件事,解决被网友们津津乐道地讨论——有一款显卡卖爆了。问题

火到什么程度?用英就是一进货就被抢了。

GPU供不应求其实很常见,解决但这次之所以能被热议,问题是用英因为这个产品背后的厂家。

不是解决你认为的英伟达,AMD,问题而是用英……英特尔

为什么会这样?解决

从玩家的讨论中得到答案并不难——性价比够高,2000元的问题价格可以在2K画质下玩3A游戏。

The 用英Verge也给出了非常“直给”的评价:

英特尔终于赢得了GPU。

英特尔不久前发布了这款显卡第二代Arc B580,解决售价仅249美元。问题

要知道英伟达299美元的RTX RX4060美元和AMD269美元 仅配备8GBVRAM的7600。

但是英特尔的Arc B580不仅比它们便宜,而且还配备了B580VRAM12GB显存位宽和192bit。

即使是价格更低的Arc, B570(219美元,下个月上市)还配备了10GBVRAM。

此外,还有一件更有趣的事情。

Arc虽然是游戏显卡,但毕竟是GPU,所以...也有人买了开始搞AI。而这,可能会让它未来的销售增加三分热度。

不,有人在Reddit上分享了如何在Arcdit上 B580上AI绘图Comfy UI了:

不仅个人用户品尝新鲜,我们还发现一些企业已经开始将英特尔显卡插入商用计算设备,包括工作站和服务器。具体的“食谱”是:英特尔强系列CPU Arc显卡

然而,英特尔上一代被暂时使用。A770,A770作为上一代旗舰车型,拥有16G大显存,用于人工智能推理,也算是游刃有余。

据可靠消息,这种组合最引人注目的优势也是“性价比”二字。

更值得讨论的话题之一应该是:

消费级显卡搞AI,到底行不行?

首先,我们可以看到,无论是个人还是企业,购买英特尔消费级显卡进行人工智能,基本上都是这样做的AI推理的。

事实上,推理计算能力的需求正在迅速增长,超过了训练计算能力的需求。

一方面,随着行业的热议,“Scaling预训练” Law撞墙”,像OpenAI o1/o3系列模型也开始依靠增加推理计算能力来提高模型能力。

另一方面,人工智能应用程序着陆的爆发也使推理需求显著增加,这些需求往往不强迫计算能力溢出甚至极端,即所谓的硬需求不高,但更注重实现足够的性能(包括并发性和延迟),以及易于获得、易于部署、易于使用和成本是否足够实惠。

那为什么要选择英特游戏图形卡进行人工智能推理呢??就像之前的分析一样,性价比绝对是一个很大的考虑因素。

硬件方面,即使是顶级计算卡,面对高并发等场景,单卡人工智能推理也会成为瓶颈,但升级到四卡和八卡的成本将飙升。此时,英特尔 A770,一款价格2000元的16G大显存型号,已成为性能与成本相结合的选择。

在应用方面,事实上,很多场景对每秒token的生成速度要求不高,尤其是流式传输等优化手段,只要firstt, token latency到位,生成速度满足一定要求,体验非常好。

有人可能会问,用英特尔显卡跑AI,如何解决CUDA问题?

最受欢迎的大模型推理框架之一vLLM由于开源软件的发展,它已经实现了高水平的抽象和包装,事实上,换哪种硬件,使用并不太差。

再加上英特尔自己提供的开源oneAPI,迁移成本可以很低。

赞(31)

未经允许不得转载:>城狐社鼠网 » 用英特尔显卡跑AI,如何解决CUDA问题?