发布日期:2024-04-11 03:36 点击次数:96
芯片推理速度较英伟达GPU提高10倍、成本只有其1/10;运行的大模型生成速度接近每秒500tokens,碾压ChatGPT-3.5大约40tokens/秒的速度——短短几天,一家名为Groq的初创公司在AI圈爆火。
Groq读音与马斯克的聊天机器人Grok极为接近,成立时间却远远早于后者。其成立于2016年,定位为一家人工智能解决方案公司。
在Groq的创始团队中,有8人来自仅有10人的谷歌早期TPU核心设计团队。例如,Groq创始人兼CEOJonathanRoss设计并实现了TPU原始芯片的核心元件,TPU的研发工作中有20%都由他完成,之后他又加入GoogleX快速评估团队,为谷歌母公司Alphabet设计并孵化了新Bets。
“我们(做的)不是大模型,”Groq表示,“我们的LPU推理引擎是一种新型端到端处理单元系统,可为AI大模型等计算密集型应用提供最快的推理速度。”
从这里不难看出,“速度”是Groq的产品强调的特点,而“推理”是其主打的细分领域。
Groq也的确做到了“快”,根据Anyscale的LLMPerf排行显示,在GroqLPU推理引擎上运行的Llama270B,输出tokens吞吐量快了18倍,优于其他所有云推理供应商。
据悉,Groq芯片完全抛开了英伟达GPU颇为倚仗的HBM与CoWoS封装,其采用14nm制程,搭载230MBSRAM,内存带宽达到80TB/s。算力方面,其整型(8位)运算速度为750TOPs,浮点(16位)运算速度为188TFLOPs。
值得注意的是,“快”是Groq芯片主打的优点,也是其使用的SRAM最突出的强项之一。
SRAM是目前读写最快的存储设备之一,但其价格昂贵,因此仅在要求苛刻的地方使用,譬如CPU一级缓冲、二级缓冲。
华西证券指出,可用于存算一体的成熟存储器有NorFlash、SRAM、DRAM、RRAM、MRAM等。其中,SRAM在速度方面和能效比方面具有优势,特别是在存内逻辑技术发展起来之后,具有明显的高能效和高精度特点。SRAM、RRAM有望成为云端存算一体主流介质。
(原标题:消失的长期限大额存单) “据说存款利率又双叒叕要降了。”清明节后一位银行理财经理告诉记者。经历了去年存款利率的三轮调降,降息的新闻已经不再让她感到意外。 目前存款利率已经降至较低水平。以大额存单为例,建行最新的1年期大额存单利率为1.8%,2年期大额存单利率为1.9%,三年为2.35%;江苏银行1年期为2.05%,3年期为2.7%,但在行资金600万以上的客户才能购买。 记者走访调查中注意到,以零售业务著称的招商银行已经停止提供三年期大额存单,该产品在去年的利率为2.9%。目前,招商...
(原标题:消失的长期限大额存单) “据说存款利率又双叒叕要降了。”清明节后一位银行理财经理告诉记者。经历了去年存款利率的三轮调降,降息的新闻已经不再让她感到意外。 目前存款利率已经降至较低水平。以大额...
人工智能特别是大模型技术的爆发式增长态势已席卷全球,“智能算力+行业大模型”被认为将会颠覆传统制造行业的生产运行方式。作为国民经济的重要基础产业,钢铁行业也正面临新的发展课题,如何在新的技术浪潮下实现...
上周(6月3日—6月6日),国债期货延续单边上行趋势,十年期主力合约单周涨0.56%;五年期主力合约涨0.25%,两年期主力合约涨0.15%。十年期国债活跃券180027最新成交价报3.22%,收益率...
挖贝网4月2日,皖天然气(603689)近日发布2020年度报告,报告期内公司实现营业收入4,763,596,975.18元,同比增长14.2%;归属于上市公司股东的净利润209,085,182.84...