科学家构建新型存内计算技术,将AI模型计算能效提高3倍之多

2024-10-28 热点资讯 关注公众号
科学家构建新型存内计算技术,将AI模型计算能效提高3倍之多
"双存内计算"架构是针对AI模型推理和训练面临的巨大成本进行的一种技术创新。它的出现极大地简化了硬件结构,提高了性能,并可能应用到边缘计算系统和终端设备部署中。双存内计算通过在存储器内部原位计算减少数据搬运,极大地提高了AI模型推理和训练的效率,对提升芯片算力与能效具有重要作用。此外,这种新型存内计算架构还消除了传统单存内计算架构的数据搬运问题,实现了真正的存储器内计算。
:双存内计算架构的重要性
在人工智能领域,随着深度学习技术的发展,大量复杂的模型需要进行大量的推理和训练。然而,传统的单存内计算架构对于这些模型来说显得非常昂贵,因为它需要频繁地从外部硬盘读取数据来进行计算。为了降低成本,我们提出了双存内计算架构的概念。
双存内计算是一种针对AI模型推理和训练面临的巨大成本进行的一种技术创新。它通过在存储器内部原位计算减少数据搬运,极大地提高了AI模型推理和训练的效率,对提升芯片算力与能效具有重要作用。同时,这种新型存内计算架构还消除了传统单存内计算架构的数据搬运问题,实现了真正的存储器内计算。
双存内计算的核心思想是在存储器内部原位计算,也就是说,所有的计算都发生在存储器中,而不是直接从外部设备获取数据。这种方法不仅可以减少数据搬运,还可以减少CPU的使用,从而提高处理器的工作效率。在实际的应用中,双存内计算可以用于大规模的深度学习模型训练,这对于那些需要处理海量数据的场景来说非常重要。
此外,双存内计算还能解决一些常见的问题,比如内存不足、性能瓶颈等。当内存不足时,可以通过将部分数据放在内存中,然后在需要的时候再读取数据来解决这个问题。而当性能瓶颈时,可以利用额外的处理器资源来进行超大规模的计算,从而提高整个系统的运行速度。
总的来说,双存内计算架构是一项非常重要的技术创新。它可以有效地降低AI模型的推理和训练成本,提高系统的效率,同时还能够解决一些常见的问题。在未来,我们相信这项技术将在更多的领域得到应用,帮助我们更好地实现人工智能的目标。

上一篇:石破茂就众议院选举表态:情况极其严峻
下一篇:李莉:企业数据治理需要落实三项关键措施
更多更酷的内容分享
猜你感兴趣
Nature:革新AI计算,助力提高效率四倍,未来AI计算格局改变序幕已开启

Nature:革新AI计算,助力提高效率四倍,未来AI计算格局改变序幕已开启

印度科学家研究人员在Nature期刊上发布了一项突破性的研究,研发出新型分子忆阻器,提高神经形态计算的精度和能效。这种忆阻器基于钌复合物,具有14位分辨率和73dB信噪比,能在分子级别完成计算任务,大幅提升计算效率。据研究团队透露,这种新型忆阻器有可能扩大神经形态计算的范围,推动其更广泛的应用。同时,它也面临着诸如大规模应用下的精度和性能保持、制造工艺复杂等问题。

生活常识 09.25
小米14 Ultra搭载AI大模型,将AIGC技术融入计算摄影,科技前沿,值得期待!

小米14 Ultra搭载AI大模型,将AIGC技术融入计算摄影,科技前沿,值得期待!

小米与徕卡合作,推出搭载AI大模型计算摄影平台的小米14 Ultra手机。小米影像大脑升级为Xiaomi AISP,支持AI大模型。小米14 Ultra首发金沙江电池,能量密度高,体积小,续航长。小米双向卫星通信系统成为标配,支持紧急通信和生命体征数据发送。小米在通信领域已获得大量专利授权。全新投产的小米手机智能工厂年产能达千万台,自研率高。2024年将是小米「人车家全生态」全面展开之年。

热点资讯 02.25
移动端多模态大模型成趋势,基于新型材料的内计算或未来的最强算力明星之一

移动端多模态大模型成趋势,基于新型材料的内计算或未来的最强算力明星之一

大规模人工智能模型的部署已迫在眉睫,由于在端侧应用中AI参数量远超当前讨论的端侧大模型,要求芯片性能实现突破。存内计算作为新型计算范式,正崭露头角成为解决传统冯·诺依曼架构难题的重要途径。近年来,各界对此进行了多方位探索,形成了多种基于不同存储器介质的产品方案。例如,知存科技基于Flash闪存开发存内计算,其他公司也正在尝试以SRAM、ReRAM、DRAM等介质构建更高效的存储解决方案。存内计算能够在解决内存带宽限制问题以及推动AI大模型向更高效、更稳定的方向发展等方面发挥作用。在未来,这一趋势有望持续,并将对移动通信、大数据分析等领域产生深远影响。

热点资讯 04.24
科学家创新协同算法,构建跨模态智能体的大模型高效合作系统

科学家创新协同算法,构建跨模态智能体的大模型高效合作系统

最新的研究表明,麻省理工学院与ATI特种材料公司合作,成功地开发了一种制造高强度-延展性钛合金的新方法。这种合金结合了优异的强度和延展性,可能被用作航空航天、能源基础设施和生物医学设备等多种领域的材料。这项研究揭示了如何通过对合金的化学成分和晶格结构进行精细调整,以及改变工艺技术以实现高效生产和高质量的产品。这项发现对钛合金的应用产生了深远影响,并将推动新材料产业的发展。

生活常识 07.08
一次罕见的俄罗斯空袭:一学校被导弹击中

一次罕见的俄罗斯空袭:一学校被导弹击中

11月19日凌晨,俄国一枚半吨重的航空滑翔弹在别尔哥罗德一处学校教学楼的屋顶被误投,炸穿了教学楼的屋顶,并卡在一间办公室里。这是138起 FAB炸弹中至少一起的事实。此外,一名教师报告说,FAB炸弹在开学前两小时内落在该校教学楼,没有人员伤亡。目前,当地的警方和领土防御代表正在调查此事。据报道,这并非首次发生在别尔哥罗德地区。对于可能发生的更多事件,官方尚未给出明确答案。

热点资讯 11.22
古烈:《街霸2》史上最赖皮角色的解读与他的BUG设定展示

古烈:《街霸2》史上最赖皮角色的解读与他的BUG设定展示

这款曾经统治游戏市场几十年的街机游戏角色《街头霸王2》古烈,在当时却因为被误译成肯而饱受争议。然而古烈凭借其独特的性格特点以及在《街头霸王2》中的精彩表现,给许多人留下了深刻的印象。

热点资讯 11.22
梦幻西游:为什么要假赛?——揭秘背后的围子因素分析

梦幻西游:为什么要假赛?——揭秘背后的围子因素分析

"服战假赛问题持续,官方封禁围子可减少;新项链受欢迎,3488万售90爪刺书上岸;新区服战队实力强劲,高清发布美图展示2025升级计划。"

热点资讯 11.22
核心装:互联网知识储备与生存之道解读

核心装:互联网知识储备与生存之道解读

话题围绕着射手角色鲁班七号的出装策略展开,指出即使射手这个职业在目前版本热度不高,但在一些情况下,出装也可以起到保护自身的作用,比如通过出装改变敌人的输出方式,或者在劣势情况下使用末世来补充攻击力等。文章最后讨论了出装的总思路,并指出虽然这套出装无法带来过高的伤害,但在实战中仍具有很高的容错率,适合那些需要频繁操作且较为弱势的角色使用。

热点资讯 11.22
微博最新:CCP宣布Xun离队,而IG全神班新增四个世界冠军! cube放弃陪玩,专注工作? IG成功夺冠,成员们集体走红!

微博最新:CCP宣布Xun离队,而IG全神班新增四个世界冠军! cube放弃陪玩,专注工作? IG成功夺冠,成员们集体走红!

转会期开启三天,BLG和IG未官方宣布,外援选手亦未透露离队动态,夏季转会期内欧洲LEC与LCK各强势落幕,春季赛失利影响了游戏热度。个人观点:BLG仍有竞争力冲击全球赛冠军,WE再迎新援可能性较高。近日流言表示IG经理为引进BLG选手泄露信息,BLG管理层决定更换主播调侃别称程咬金加盟JDG。

热点资讯 11.22
顶尖ADC-bin荣登投票榜首位,Uzi稳坐第二位,Rookie力压左手抢夺第一

顶尖ADC-bin荣登投票榜首位,Uzi稳坐第二位,Rookie力压左手抢夺第一

今年的全明星星光黯淡,年轻选手的票数可能较高,小龙、JKL等人气选手有望夺冠。至目前为止,斩获票数最多的选手是bin,总票数超过600万,第一名呼吸哥获得140万,龙珠等人气选手排名靠前。Uzi仍在发力,Rookie和左手分别在打野和中路表现优秀。同时,辅助位置的票王令人意外,Ming获得最高票数,击败Meiko,On排名第三,而Ming的职业生涯表现不佳。

热点资讯 11.22
特朗普欲提名前银行家凯文·沃什出任美国财政部长,财经媒体关注与分析

特朗普欲提名前银行家凯文·沃什出任美国财政部长,财经媒体关注与分析

美国总统特朗普提名金融家凯文·沃什为财政部长,沃什在白宫讨论可能的安排。特朗普认为沃什是"黑马候选人",有望成为下一任美联储主席。

热点资讯 11.22
华为百万级豪车尊界S800尾灯官方首图震撼曝光:璀璨如星河

华为百万级豪车尊界S800尾灯官方首图震撼曝光:璀璨如星河

华为推出华为Mate品牌盛典S800车型,其尾灯采用贯穿式设计,灵感源自繁星,璀璨夺目;车长达5米4,后排空间大。新车采用双拼色车身,并配置有照明氛围灯,仪式感十足。

热点资讯 11.22
捷达VA7颠覆性上市:新款捷达“换标”速度引擎4.7米长,配1.4T独立悬架

捷达VA7颠覆性上市:新款捷达“换标”速度引擎4.7米长,配1.4T独立悬架

捷达VA7进行了部分改变。车身尺寸方面,捷达VA7与速腾相比仅相差1毫米,轴距保持不变。 1. 一汽-大众即将推出一款“更亲民的速腾”——捷达VA7,作为速腾的“换标”车型。 2. 捷达VA7采用家族化设计元素,动力上配备1.4T发动机+7DSG变速箱,底盘采用前麦弗逊/后多连杆独立悬架。 3. 实车照片显示,捷达VA7与速腾在设计风格、尺寸和轴距上仅有毫米级差距。 4. 前脸设计似曾相识,但细节有所调整,车窗四周用熏黑饰条,轮毂样式独特。 5. 车身尺寸略有增加,轴距保持不变。 6. 后视镜样式变化,新增颜色供消费者选择。

热点资讯 11.22
华为最新10款全新车型信息汇总:打造极致驾驶体验

华为最新10款全新车型信息汇总:打造极致驾驶体验

华为鸿蒙智行明年底将销售超10款车,明年上市,有两款新车即将推出,一款定位旗舰,另一款定位于中低端市场。

热点资讯 11.22