周末翻一封订阅的英文newsletter，DwarkeshPatel请来MatX的首创东谈主ReinerPope，他想搞明晰一块AI芯片里面到底若何运转。

最贫窭的是，Reiner莫得效一句大词。他要了一块黑板，从最小的一个逻辑门运行，一层一层往上搭，直到搭出一整块芯片。

一、最底下，惟一三种零件

一块芯片最底层的零件，浅易到不可想议：与门（AND）、或门（OR）、非门（NOT）。再加上把它们连起来的金属线。仅此辛勤。上千亿个晶体管堆在通盘、连成这些门，便是今天通盘AI的物理载体。

AI芯片绝大部分期间只干一件事：矩阵乘法。而矩阵乘法拆到最小，是一个叫"乘加"（multiply-accumulate）的行为——两个数相乘，再把截至累加进一个总数。一次矩阵乘法，便是把这个行为重迭亿万次。

剥到最底，你手机里的语音助手、数据中心里的大模子，全部的智能，都开发在天文数字次的"乘一下、加一下"上头。

二、用门搭一个乘法器，和那条决定一切的普通律

Reiner在黑板上手算了一个四位数乘四位数。

先把一个数的每一位，去乘另一个数——每一次相乘，便是一个与门（两个比特都是1才输出1）。四位乘四位，要十六个与门，得回十六个中间截至。

难的是把它们加起来。这里他请出了芯片上"最大"的一种门：全加器（fulladder）。它作念的事朴素得可人——把归拢列的三个比特加起来，输出两个比特，无非是数一数这一列有几个1，再用二进制写出来——跟小学列竖式里"满二进一"是一趟事。三进两出，是以也叫3→2压缩器。

把这些全加器层层叠起来，每次吃掉一列里的三个数、吐出两个，一直压到只剩一个数，乘法就算收场。这套圭臬作念法叫Dadda乘法器。

Reiner在黑板上手推乘加：16个与门生成中间截至，再用全加器（3→2压缩器）层层乞降，这便是Dadda乘法器

算一笔账：一个p位乘q位的乘法器，要用掉p×q个与门和p×q个全加器。盯住这个p×q——它跟位数的普通成正比。而一个地谈的加法器，只消一排全加器，正比于位数p。

愣一下的场地在这里：乘法比加法贵得多，况且乘法器的面积，是随位数普通蔓延的。这条不起眼的普通律，接下来会引爆一切。

三、精度的魔法：为什么砍一半位数，能快近四倍

这几年总听到FP8、FP4这种词，说的是芯片用几位精度去示意一个数。

直观上，精度从8位砍到4位，速率该快一倍。但记取上一节那条普通律：面积随位数普通走。位数减半，乘法器面积不是减半，是减到四分之一。

乘法器面积随位数的普通蔓延：精度从FP16砍到FP8再到FP4，面积每砍一档就缩到四分之一

是以英伟达从B300这一代运行，在家具规格里改了口径：FP4的算力是FP8的三倍，而不再是畴昔的两倍。Reiner说，按普通律本该是四倍，能作念到三倍依然很接近了。

这一下点透了一件大事：神经集中之是以能用这样低的精度跑得这样好，最根底的原因便是这条普通律。低精度从来不是"免强着用"，而是把"饱和的精度"这件腾贵的阔绰主动扔掉，换回成倍的速率。够用，自己便是一种极致的高效。

四、芯片竟然的资本，不在算，在搬

到这里你好像认为，芯片的面积都花在乘法器上了。刚巧相悖。

把乘加单元装进一个旧式的处理器中枢：把握有个寄存器堆（registerfile），存着一小批数；每次从里面取三个数，算一下乘加，再把截至写且归。

问题出在"取第三号寄存器里阿谁数"这个行为。写程序的东谈主一瞥代码就经管，理所固然。可在硬件上，"从一堆里随性挑一个出来"自己便是个啰嗦电路，叫多路聘用器（mux）：你得把每一个候选都用门过一遍，再汇到通盘，才智拣出要的阿谁。一个n选一、p位宽的mux，要n×p个与门加一堆或门。

一个乘加要三个输入，就要三个这样的mux。Reiner把账一摆：寄存器堆惟一八格时，光是把三个数挑出来送进去，要二十四份门的资本；而竟然作念乘法的部分，只消四份。

左边是Dadda乘法器，右边是寄存器堆经mux喂给乘加单元（×+）。竟然算的电路很小，挑数据、搬数据的电路很大

这是全片最要害的一击：在阿谁中枢里，险些八分之七的面积和功耗，都花在把数据搬进搬出寄存器堆上，竟然用来筹办的只占八分之一荆棘。光挑数那三个mux就已是二十四比四、约七分之一，再算上寄存器自己的存储和截至写回，搬运那侧只多不少。咱们认为芯片在拚命算，其实它大部分期间在拚命搬。

这一条，是默契后头一切的钥匙。整部AI芯片进化史，本色上便是一场"少搬少许"的干戈。

五、越搬越远越贵：存储的层级，和细则的延伸

搬运的代价，随距离层层放大。

离筹办最近的是片上的寄存器和SRAM，快，但小，况且极占面积；远少许是片外的DRAM、HBM，容量大得多，却慢得多——CPU的缓存比主存快上两个数目级，莫得缓存，程序会慢一百倍。

芯片的存储层级：越往上越快、越贵、越小，越往下越慢、越低廉、越大。离筹办越远，搬运越贵

带宽（bandwidth）说到底是什么？是你能同期拉若干根线收支。而线是要占面积的。Reiner那句话很通俗：带宽就等于芯单方面积。这便是为什么内存带宽经久是瓶颈——它不是不愿给你更多，是每一根线都在和筹办单元抢土地。

这里还藏着一个分叉。CPU用缓存（cache），由硬件自动决定一个数在不在缓存里，好用，但你预先不知谈此次走访要花多久，全看把握还跑着什么程序。TPU这类芯片改用便笺存储（scratchpad）：用一种领导明确读片上，用另一种领导明确读HBM，全交给软件安排。

反直观的刚巧在这里：主动解除"贤慧的缓存"，换来的是细则的延伸。你能精准算出每个数什么时候到。这便是高频来去偏疼FPGA、TPU在中枢里也坚抓细则延伸的原因——在需要掐着纳秒作念事的场所，可揣摸比"平均更快"值钱得多。

六、脉动阵列：少搬少许的艺术

既然搬最贵，开云体育app2026世界杯官方下载最贤慧的成见便是尽量不搬。

矩阵乘法有个高明的性质——阿谁权重矩阵，不错在很长一段期间里保抓不动。于是有了脉动阵列（systolicarray）：把权重径直焊在筹办单元的原地，让输入数据像水一样从一头流进、另一头流出，一份权重反复用上成百上千次。

连权重若何加载都很进展：不走腾贵的宽总线，而是安稳"涓流"灌进去，一个时钟挪一格。归正只灌一次，不错慢，慢就能省线。

脉动阵列：权重固定在网格里不动，数据从边端淑进流出。谷歌TPU的矩阵单元便是它；英伟达的TensorCore也用了归拢个念头

省钱的奥秘一句话就能说清：阵列越大，每从寄存器堆里读一次，就颖慧越多的活，那笔固定的搬运资本就摊得越薄。老一代TPU把这个阵列作念到256×256这样大一派，是现在已知最省的矩阵乘电路。谷歌TPU里的矩阵单元，自己便是一块脉动阵列；英伟达从Volta那代引入的TensorCore，底层亦然归拢个念头——仅仅没作念成严格的脉动结构。

七、时钟、活水线，和"快不等于多"

上千亿个晶体管要协同责任，若何对皆节奏？

谜底是时钟。大致每一纳秒，全芯片通盘电路通盘停一下、跳到下一步，整皆齐截，像一支皆步走的雄师。这一拍，便是一个时钟周期。

黑板右上的时钟（CLK）：信号同步两头的寄存器，中间夹着一团逻辑云——这团逻辑必须鄙人一拍敲响之前算完

想跑得更快，比如从1GHz提到2GHz，就得保证每一段逻辑都能鄙人一拍敲响之前算完。常用技能叫活水线寄存器插入：把一长段逻辑从中间切一刀、塞个寄存器进去，每段变短，时钟就能翻倍——代价是多占了存储面积。

那能不成一直切下去？切到极致，一个门加一个寄存器成一个环，时钟能飙到五六GHz。可这时险些通盘面积都花在寄存器上了，每一拍竟然干的活少得怜悯。

这里有个许多东谈主想反的论断：时钟快，不等于干得多。你不错有很低的延伸，却惟一很低的糊涂——这和大模子推理时把batchsize调小是归拢趟事：单个用户拿到下一个词很快，但一小时处理的总词数反而更少。最辣手的是那种我方绕回我方的响应电路，你没法松驰从中间切一刀，不然就改变了筹办自己。整块芯片的时钟上限，常常就卡在这种环上。

八、FPGA与ASIC：活泼是要付费的

不异一个电路，焊死了作念成专用芯片（ASIC），照旧作念成现场可改的FPGA？

ASIC第一颗要走一整套流片（tape-out），三千万好意思元起步；可一朝量产，单元资本和能效要好上十倍傍边。FPGA第一颗只消一万好意思元，代价是又慢又费电。是以FPGA的用武之地，是那种每个月就要改一次、又条件延伸极细则的活，比如高频来去——你不想为每次改造都付一次流片的钱。

FPGA若何作念到"现场可编程"？靠两样东西：寄存器负责存，查找表（LUT）负责当门用。一个LUT有四位输入、一位输出。四位输入一共十六种组合，把每种组合对应的输出列成一张十六行的真值表存起来——你想要它当与门，就填与门那张表；想要异或门，就填异或门那张表。

精妙也谬妄都在这少许：所谓"可编程的门"，本色便是一张随时能改写的真值表。但代价惊东谈主：这样一个LUT，里面其实是个十六选一的mux，要三十二个门，欧宝app(中国)去完结一个正本三个门就能搭好的电路。活泼性的全部资本，便是把每一个门都用mux包起来——Reiner说，是"一齐mux到底"。这便是FPGA比ASIC贵十倍的来处。

FPGA的真面貌：寄存器和查找表（LUT）被一大堆mux连在通盘，橙色是现场编程出来的连线。一齐mux到底

九、一整块芯片：GPU、TPU，和MatX想作念的事

把这些零件拼成一整块芯片，GPU和TPU走了两条不同的路。

GPU是一整片铺满了险些一样的小单元（叫SM），中间夹一块分享的L2缓存，规规整整的网格。TPU则粗粒度得多：几块很大的矩阵单元，中间配一个向量单元。

上头是GPU——一格格险些疏通的小单元SM平铺，中间一块L2；底下是TPU——几块大矩阵单元（MXU）夹着一个向量单元

Reiner一句话刺破了两者的相干：GPU其实便是把许许多多个微缩版的小TPU，平铺在一整块芯片上。每个SM里的tensorcore，约等于一个申斥的矩阵单元。

接下来是全片最优雅的收束：莫得谁十足更好。TPU那种大块头，能把寄存器堆的固定资本摊得更薄，是以阵列能作念得更大、更省；但向量单元和矩阵单元之间的数据，只可挤过两条界限线。GPU单元小、到处都是向量单元，数据能走十六条线，更活泼、跨的距离也更短、更省电——前提是你别跨出单个SM。规整省资本但痴呆，细碎够活泼但搬运贵，又一次回到"算与搬"的量度。

那MatX想作念什么？Reiner公开讲过一个"可拆分的脉动阵列"：既能当一块大阵列用，也能拆成若干小阵列——想同期要TPU的大而省，和GPU的小而活。说到砍面积，有个现成的例子：CPU里有一大块非常猜"下一条领导往哪跳"的分支揣摸器，而GPU干脆把它总共扔掉，省下的面积全堆给筹办——这恰是当年GPU甩开CPU的要害之一。MatX想顺着这条路再走一步：保留GPU那种小阵列加SRAM环绕的活泼，再把为撑抓CUDA架构而设、跑AI却用不上的那些电路也一并免却。

缱绻一块芯片，到头来险些全是尺寸的弃取：阵列作念多大，寄存器堆配多大，FP4给若干、FP8给若干。莫得圭臬谜底，全看你赌哪一种负载会赢。

十、旨趣一通，半导体的几条干线也就明晰了

看懂了上头这些，再回头看这几年半导体最热的那些叙事，会有一种倏得通透的嗅觉。它们险些都在恢复归拢个问题：若何把"搬"这件事作念得更低廉。

先说存储这条线。著述里阿谁层级——寄存器、SRAM、DRAM、再到最外面的闪存——其实便是一张半导体的产业舆图。最外层的NANDFlash最慢最低廉，3DNAND这几年比的是"层数"，本色是在不异一块面积上往天上堆更多存储单元，越堆越高，单元容量越低廉。可一朝想通了"搬运比容量金贵"，你就不会再用"越大越好"去默契存储——竟然卡脖子的从来不是能存若干，是能多快地搬进搬出。

DRAM是中间那一层，快得多，但它的带宽被死死摁在一个物理上限上：你能从一块芯片引出若干根线（引脚）。三星、SK海力士、好意思光这三家的竞争，说到底便是在这条物理红线下，谁能榨出更多带宽。

于是有了HBM（高带宽内存），这一轮AI行情里最硬的一个词。它的想路浅易得惊东谈主：单片引脚不够，那就把好几片DRAM像盖楼一样叠起来，再用一种叫TSV（硅通孔）的技术，在芯片里面径直买通上基层，一次性引出极宽的总线，带宽一举晋升五到十倍。读懂了"搬运是瓶颈"，你就读懂了为什么HBM是AI时间最要害的一块拼图——它正面解决了阿谁最贵的问题。SK海力士因为最早把HBM喂进英伟达，一跃成了整条AI芯片供应链的咽喉。

再往下一层是封装。数据搬得越近越省，那索性别让GPU和HBM隔着老远——台积电的CoWoS，便是把筹办芯片和一摞HBM放到归拢块基板上牢牢挨着，把搬运的距离压到最短。chiplet（小芯片）亦然归拢个理由：与其造一整块广泛、良率堪忧的芯片，不如拆成几块小的再拼起来。先进封装这两年这样金贵，根子照旧那句话——近，便是省。

HBM把多片DRAM用TSV硅通孔垂直堆叠，再靠台积电CoWoS封装和GPU挤在归拢块基板上，把最贵的那段搬运距离压到最短

临了回到MatX那条线。ASIC的全部赌注，便是著述里反复出现的阿谁量度：当负载足够细则——比如总共宇宙都在跑Transformer——就不错像TPU那样，砍掉GPU为"支吾下一种未知算法"而预留的活泼性，把省下来的面积全部还给筹办。赌对了，截至碾压；赌错了，下一个架构一来就得推倒重练。

这些干线，莫得一条是虚拟热起来的。把芯片里面那谈物理题看表示，产业舆图上的泰半个热门，都能我方对上号。

十一、顺着归拢条旨趣，往前看

不异这套理由理由，不单能评释畴昔，也能拿斗殴前看。顺着它推，下一批瓶颈和契机落在哪，标的其实格外明晰。

第一步，让数据走垂直标的。芯片里面的搬运距离，被二维平面的布局死死按住——再相邻的两个模块，横着走亦然毫米级。可如果把逻辑层和存储层像盖楼一样垂直叠起来（3DIC），数据从上一层穿到下一层，只走微米级的距离，比横着快上几个数目级。下一步是把筹办逻辑也叠上去，让内存和逻辑濒临面（logic-on-memory）——台积电的SoIC、英特尔的Foveros都在作念这件事。竟然的拦路虎是散热：叠得越高，夹在中间那几层的热越难导出去。

第二步，干脆别搬。最透澈的省搬运，是让筹办径直发生在数据待的场地。脉动阵列依然是这个念头的雏形——权重不动，数据流过。把它推到特殊，便是存内筹办（PIM）：径直在内存阵列里作念乘加，数据一步都不挪。三星和SK海力士依然在HBM里试着塞进筹办单元。难点在于存储工艺和逻辑工艺天生疏歧，良率和精度都是坎。但标的不会错——只消"搬"照旧最贵的那件事，"不搬"就经久有引诱力。

第三步，拼起来之后，罅隙成了新瓶颈。上一节阿谁拆成小芯片再拼的作念法，会坐窝撞上归拢条铁律：芯片与芯片之间的搬运，成了新的最贵程序。于是谁界说了芯片间互连的圭臬，谁就掐住下一代的咽喉——UCIe这类怒放互连之争，抢的恰是"芯片之间那段搬运"的谈话权。

再往前一步，是改写"搬"和"算"的物理自己。上头几步都还在数字电路的框架里腾挪。再往根上走，是换掉电路的物理完结：像忆阻器（memristor）这样的新器件，能在归拢个物理点上既存数据又作念筹办，用模拟的面容一次算完一整列乘加——把"存"和"算"合二为一，连"搬"这个行为都取消掉。这还很早，工艺、噪声、可量产性一个都没解决。但它指向的是终端：当存与算不再分家，今天这套层级与搬运的全部搅扰，可能从根上磨灭。

这些标的，莫得一个是注定的赢家。但它们都朝着归拢处去——搬运的特殊。

十二、把这把尺子，量一量中国

这套旨趣最实用的场地，是给了咱们一把尺子：不再粗率说"中国芯片过时几年"，而是分维度看——到底落在"算"上，照旧"搬"上。

先说被反复念叨的制程。EUV光刻机被卡，中芯国外量产大致停在7纳米这档，再往下莫得高产量的路。制程决定不异一块面积能塞若干晶体管，径直对应"算"的密度。这一刀，落在最疼的场地。

可别忘了全片那记最重的一击：一个中枢里竟然在算的惟一八分之一，剩下八分之七都在搬。制程过时，过时的主如果那八分之一。把尺子转到"搬"这一侧，画面坐窝复杂起来。

精度是第一个回转。那条普通律——位数砍半，乘法器面积缩到四分之一——意味着一颗7纳米芯片把精度压到FP8，单元面积的糊涂能靠近一颗5纳米跑FP16的。低精度是条险些不挑制程的近路：DeepSeek径直用FP8磨练，本色是拿算法的贤慧赎制程的过时。

封装是第二个。"近便是省"这条铁律刚巧不依赖起原进的光刻。把几块进修工艺的小芯片拼起来（chiplet）、用先进封装挤到一块基板上，是绕开EUV的边门。华为把两颗缝成一颗用，走的便是这条路——这是现在追得最紧的一段。

最深的那谈沟是HBM。带宽便是面积，搬运是终极瓶颈，而HBM恰是这门技术的金冠。SK海力士靠它扼住整条供应链，中国的长鑫才刚起步，差着好几代。制程还能用封装和精度绕，HBM这谈墙却莫得边门。

临了是阿谁赌局。GPU留着活泼性支吾未知算法，ASIC把活泼性砍掉、面积全还给筹办。当制程本就过时，赌一个细则的负载——全宇宙都在跑Transformer——把省下的晶体管全堆到算力上，反而更合算。华为昇腾赌的恰是这个，代价也写在原文里：赌错一代架构，就得推倒重练。

而ASIC这条路，恰可口中国的一项所长。专用芯片的命门是两件事：赌对负载、再把电路一遍遍打磨到极致——后者是典型的东谈主海工程。中国每年涌出的芯片与AI工程师数以十万计，东谈主力资本惟一硅谷的零头，"为每一种负载非常作念一颗"这种又费东谈主又费时的活，在这里反而办得起。何况赌哪种负载，本就要海量真实场景去校准——而华文互联网的数据与哄骗密度，给的恰是这个。

收起尺子，论断既不悲不雅也不放松：中国在"算"的最前沿过时一档，但芯片的泰半山河在"搬"，而"搬"这一侧裂成了几块——封装能追，低精度能补，HBM是真沟。

从一个门，到一整块芯片

两个多小时欧宝app官方版，Reiner从一个与门讲到一整块TPU，中间莫得一句空论。这宇宙上最复杂的造物之一，底层逻辑朴素得不像话。它一辈子只在作念两件事——算，和搬。而通盘的小巧，通盘的代际之争，全在若何让"算"多少许，让"搬"少少许。