科学家构建新型存内计算技术,将AI模型计算能效提高3倍之多

2024-10-28 热点资讯 关注公众号
科学家构建新型存内计算技术,将AI模型计算能效提高3倍之多
"双存内计算"架构是针对AI模型推理和训练面临的巨大成本进行的一种技术创新。它的出现极大地简化了硬件结构,提高了性能,并可能应用到边缘计算系统和终端设备部署中。双存内计算通过在存储器内部原位计算减少数据搬运,极大地提高了AI模型推理和训练的效率,对提升芯片算力与能效具有重要作用。此外,这种新型存内计算架构还消除了传统单存内计算架构的数据搬运问题,实现了真正的存储器内计算。
:双存内计算架构的重要性
在人工智能领域,随着深度学习技术的发展,大量复杂的模型需要进行大量的推理和训练。然而,传统的单存内计算架构对于这些模型来说显得非常昂贵,因为它需要频繁地从外部硬盘读取数据来进行计算。为了降低成本,我们提出了双存内计算架构的概念。
双存内计算是一种针对AI模型推理和训练面临的巨大成本进行的一种技术创新。它通过在存储器内部原位计算减少数据搬运,极大地提高了AI模型推理和训练的效率,对提升芯片算力与能效具有重要作用。同时,这种新型存内计算架构还消除了传统单存内计算架构的数据搬运问题,实现了真正的存储器内计算。
双存内计算的核心思想是在存储器内部原位计算,也就是说,所有的计算都发生在存储器中,而不是直接从外部设备获取数据。这种方法不仅可以减少数据搬运,还可以减少CPU的使用,从而提高处理器的工作效率。在实际的应用中,双存内计算可以用于大规模的深度学习模型训练,这对于那些需要处理海量数据的场景来说非常重要。
此外,双存内计算还能解决一些常见的问题,比如内存不足、性能瓶颈等。当内存不足时,可以通过将部分数据放在内存中,然后在需要的时候再读取数据来解决这个问题。而当性能瓶颈时,可以利用额外的处理器资源来进行超大规模的计算,从而提高整个系统的运行速度。
总的来说,双存内计算架构是一项非常重要的技术创新。它可以有效地降低AI模型的推理和训练成本,提高系统的效率,同时还能够解决一些常见的问题。在未来,我们相信这项技术将在更多的领域得到应用,帮助我们更好地实现人工智能的目标。

上一篇:石破茂就众议院选举表态:情况极其严峻
下一篇:李莉:企业数据治理需要落实三项关键措施
更多更酷的内容分享
猜你感兴趣
Nature:革新AI计算,助力提高效率四倍,未来AI计算格局改变序幕已开启

Nature:革新AI计算,助力提高效率四倍,未来AI计算格局改变序幕已开启

印度科学家研究人员在Nature期刊上发布了一项突破性的研究,研发出新型分子忆阻器,提高神经形态计算的精度和能效。这种忆阻器基于钌复合物,具有14位分辨率和73dB信噪比,能在分子级别完成计算任务,大幅提升计算效率。据研究团队透露,这种新型忆阻器有可能扩大神经形态计算的范围,推动其更广泛的应用。同时,它也面临着诸如大规模应用下的精度和性能保持、制造工艺复杂等问题。

生活常识 09.25
小米14 Ultra搭载AI大模型,将AIGC技术融入计算摄影,科技前沿,值得期待!

小米14 Ultra搭载AI大模型,将AIGC技术融入计算摄影,科技前沿,值得期待!

小米与徕卡合作,推出搭载AI大模型计算摄影平台的小米14 Ultra手机。小米影像大脑升级为Xiaomi AISP,支持AI大模型。小米14 Ultra首发金沙江电池,能量密度高,体积小,续航长。小米双向卫星通信系统成为标配,支持紧急通信和生命体征数据发送。小米在通信领域已获得大量专利授权。全新投产的小米手机智能工厂年产能达千万台,自研率高。2024年将是小米「人车家全生态」全面展开之年。

热点资讯 02.25
移动端多模态大模型成趋势,基于新型材料的内计算或未来的最强算力明星之一

移动端多模态大模型成趋势,基于新型材料的内计算或未来的最强算力明星之一

大规模人工智能模型的部署已迫在眉睫,由于在端侧应用中AI参数量远超当前讨论的端侧大模型,要求芯片性能实现突破。存内计算作为新型计算范式,正崭露头角成为解决传统冯·诺依曼架构难题的重要途径。近年来,各界对此进行了多方位探索,形成了多种基于不同存储器介质的产品方案。例如,知存科技基于Flash闪存开发存内计算,其他公司也正在尝试以SRAM、ReRAM、DRAM等介质构建更高效的存储解决方案。存内计算能够在解决内存带宽限制问题以及推动AI大模型向更高效、更稳定的方向发展等方面发挥作用。在未来,这一趋势有望持续,并将对移动通信、大数据分析等领域产生深远影响。

热点资讯 04.24
科学家创新协同算法,构建跨模态智能体的大模型高效合作系统

科学家创新协同算法,构建跨模态智能体的大模型高效合作系统

最新的研究表明,麻省理工学院与ATI特种材料公司合作,成功地开发了一种制造高强度-延展性钛合金的新方法。这种合金结合了优异的强度和延展性,可能被用作航空航天、能源基础设施和生物医学设备等多种领域的材料。这项研究揭示了如何通过对合金的化学成分和晶格结构进行精细调整,以及改变工艺技术以实现高效生产和高质量的产品。这项发现对钛合金的应用产生了深远影响,并将推动新材料产业的发展。

生活常识 07.08
《使命召唤》单人战役完美呈现,付出后收获的回报让你满意吗?

《使命召唤》单人战役完美呈现,付出后收获的回报让你满意吗?

《使命召唤:黑色行动6》的战役在近年来表现出色,获得了玩家好评,体现了其多种玩法融合的优势,并得到了业内的认可。然而,在Steam上的评分仅为63%,总体评价并不理想。考虑到该系列是由多个制作组轮流开发,“年货”系列的特点,玩家期待未来的作品能够带来更好的表现。然而,该战役整体质量依然可以接受,且多元化玩法为其增色不少。

热点资讯 10.30
普罗米修斯降临:终极女武神外传,孙悟空新挑战?!

普罗米修斯降临:终极女武神外传,孙悟空新挑战?!

《终末的女武神》漫画最新95话终于是更新了,两人对决:由《终末的女武神》漫画改编的外传漫画《众神默示录》也在更新内容,其中库丘林和“太阳神”拉的战斗结束,孙悟空和普罗米修斯也将出场。

热点资讯 10.30
海量经验累积,揭秘如何轻松过师门的小技巧

海量经验累积,揭秘如何轻松过师门的小技巧

"如何解决经验太多而无法做师门的难题?以下为您推荐几招:1. 89级以上可领取灵宝,每天最多修炼200次;2.109级以上可解锁神器插槽;3.激活炼兽丹;4.驯养坐骑;5. 可修炼一级法宝进行出售。通过合理规划经验获取途径,有效利用资源,您既能够养号又能得到游戏币。"

热点资讯 10.30
吞噬星空剧场版:延期发布,网友纷纷支持

吞噬星空剧场版:延期发布,网友纷纷支持

吞噬星空动画正式宣布要推出自己的第一部剧场版大电影,在鹅厂动漫节的时候备受关注。然而,官方最终宣布剧场版延期至12月7日正式上映。对此,网友纷纷表示无奈和不满,认为这是因为平台播放计划有变和动画自身的自我调整。而血洛大陆剧场版将延期至12月7日正式上映,这也是官方实锤的原因之一。

热点资讯 10.30
豪车的日子:超值优惠,购车困难?

豪车的日子:超值优惠,购车困难?

最近,豪车市场风向突变,许多品牌开始实行“降量保价”策略,大幅降价促销,以抢占市场份额。其中,奔驰A级由于优惠力度过大,比两年前多优惠了4万元。而沃尔沃XC60则有大幅度降价优惠,让消费者眼前一亮。其他豪车品牌如宝马、路虎、捷豹等也纷纷加入降价行列。这场竞争激烈的降价大战,不仅让豪车品牌面临巨大挑战,也让消费者有机会圆豪车梦。

热点资讯 10.30
电动自行车新规将于近期出台!谨提醒您:此类车辆将无法在本地办理车牌注册手续

电动自行车新规将于近期出台!谨提醒您:此类车辆将无法在本地办理车牌注册手续

电动自行车即将于下月实施,消费者购买时需确保其具有CCC认证标志和整车合格证,且勿购改装拼装车电池、制动性能要好、电动车应避免混用不同参数充电器并保持良好维护习惯。此外,还需注意交通安全,如佩戴安全头盔、遵守交通法规。

热点资讯 10.30
比亚迪重要财报发布之夜:空头大逃亡的背后故事

比亚迪重要财报发布之夜:空头大逃亡的背后故事

比亚迪港股空头大减、股价反弹、外资看好:比亚迪预计实现高销量创纪录,海外市场有望迎来复苏。

热点资讯 10.30
保时捷打破40万大关?网友:该割够了吗?

保时捷打破40万大关?网友:该割够了吗?

车越来越多,进口车市场份额正在下降。因此,保时捷必须采取降价措施来吸引更多的消费者,从而扭转业绩颓势。其中,Macan车型成为降价首选,被曝出最高折扣6折。此外,保时捷还面临着来自国产新势力品牌的竞争压力,如比亚迪汉和蔚来ES6等。对此,保时捷需加强自身产品创新和服务优化,以保持竞争力。同时,消费者也要理性看待保时捷的降价策略,既要看到降价带来的利益,也要警惕可能存在的质量问题。总之,保时捷降价的背后,是市场竞争的激烈与新品竞争的压力,这要求保时捷在保持高质量的同时,也要积极应对挑战,寻求新的增长点。

热点资讯 10.30
光芯片市场爆发式增长引发一轮涨幅,半导体材料ETF(562590)调整蓄势,相关行业值得关注!

光芯片市场爆发式增长引发一轮涨幅,半导体材料ETF(562590)调整蓄势,相关行业值得关注!

10月30日,半导体延续回调,至13时32分,半导体材料ETF跌1.29%,其中TCL科技领涨,涨幅超过8%,开盘曾一度涨停。 国产半导体材料厂商Marvell宣布提价,部分型号光通信芯片将在2025年1月1日起上涨。 《广东省加快推动光芯片产业创新发展行动方案(2024—2030年)》正式发布,鼓励在国内发展光芯片的关键材料和装备,将有利于国内半导体市场的复苏。

热点资讯 10.30
加拿大撤销中加航线限制,将大幅提升航班量,对中美航线有何影响?

加拿大撤销中加航线限制,将大幅提升航班量,对中美航线有何影响?

加拿大运输署宣布取消针对中国大陆航司的限制措施,这意味著在疫情结束后比中美航线恢复还要缓慢的中加航线将正式开闸。然而,这一消息并不意味着全部的中加航线都会得到恢复。虽然航班管家的统计显示,目前执飞中加航线的国内航司有6家,但在疫情前并未恢复。目前,中加航线还有航班量的限制,而且比疫情前的航班量还要少。中加航线恢复率只有9.3%,相比于中美航线的恢复率还要低。因此,尽管加方解除对中国国际航空、首都航空、东方航空、南方航空、海南航空、四川航空、厦门航空等的限制条件,但由于这些航司的航班量仍然有限制,所以中加航线的恢复进程仍将持续一段时间。此外,由于当前航班供不应求,中加航线的票价也长期居高不下,其中广州-温哥华的经济舱价格可以达到2万以上。随着加方解除限制,中加航线有望大幅增班。目前,多家航司已经获得了增班额度,正在申请增班计划。然而,虽然中国已经恢复了前往加拿大北京的航线,但还需要一段时间才能全面开放该航线。

热点资讯 10.30