今天我们常说的人工智能(AI),主要指的都是生成式人工智能。其中一大部分,是基于大语言模型的生成式AI。而让各种AI运转起来的服务器就是电子计算机,虽然计算机中处理的只是信息,但运转却需要大量能源。
比如,仅仅是ChatGPT-4的GPU(计算机显卡的核心部件,负责执行复杂的数学和几何计算,用于渲染图像、视频和其他图形内容,也用于AI的训练和推理),训练一次就会用去2400万度电。
1961年,在IBM公司工作的物理学家拉尔夫·兰道尔提出了后来被称为“兰道尔原理”的理论。这一理论认为,计算机中存储的信息在发生不可逆的变化时,会向周围环境散发一点点热量,其散发的热量和计算机当时所处的温度有关——温度越高,散发的热量越多。
兰道尔原理连接起了“信息”和“能量”,简单地说,就是信息处理操作,会导致物理世界中熵(热力学中表征物质状态的参量之一)的增加,从而消耗能量。
这一原理自提出以来曾遭受过不少质疑。但是近年来,兰道尔原理已被实验证明。
2012年,《自然》杂志上发表了一篇文章,研究团队首次测量到了一“位”(bit,是计算机中最基本的信息单位,它可以表示二进制的0或1)数据被删除时释放的微量热量。后来又有几次独立实验,都证明了兰道尔原理。所以,处理信息是有能量成本的。现在的电子计算机在计算时实际消耗的能量,甚至是这个理论值的数亿倍。
大语言模型需要大量计算。它的工作过程大概能分为训练和推理两个阶段。无论是训练还是推理,都是一连串信息重组的过程,因此都遵循兰道尔原理。于是我们不难推知,模型的参数量越大,需要处理的数据越多,所需的计算量就越大,所消耗的能量也就越大,释放的热量也就越多。
科学家们一直在努力寻找更高效的计算方式,以减少相关成本。不过从目前的研究进展情况去看,也许只有真正的室温超导材料能大范围的应用于计算设备时,才有机会降低这种消耗。
今天的电子计算机建立在集成电路的基础上。我们一般把集成电路叫做芯片,每个芯片中,又有许多晶体管。不严格地描述,晶体管能够理解成微小的开关。这些开关串联或者并联在一起,就能轻松实现逻辑运算。
“开”和“关”是表示两种状态,也是所谓的1和0,就是计算的基本单位“位”。它是计算机二进制的基础。而计算机通过快速改变电压,来拨动这些开关;改变电压,需要电子流入或流出;电子的流入流出,就构成了电流;又因为在电路中总是有电阻,就产生了热能。这样的一个过程中产生的热量与电流的平方成正比,与导体电阻成正比,与通电时间成正比。
集成电路技术发展到今天,芯片中的晶体管已经变得极小。所以,单个晶体管所产生的热量并不会太高。但问题是,如今芯片上的晶体管实在是已经多到了常人无法想象的程度——比如,在IBM前几年发布的等效2纳米制程芯片中,每平方毫米面积上,平均有3.3亿个晶体管。
一个可能让人大跌眼镜的事实是,今天芯片单位体积的功率,比太阳核心的功率还多出好几个数量级——典型的CPU芯片功率大概是每立方厘米100瓦,即每立方米1亿瓦;而太阳核心的功率只有每立方米不到300瓦。
在OpenAI公司训练大语言模型ChatGPT-4时,完成一次训练需要约三个月时间,要使用大约25000块“英伟达A100 GPU”,每块GPU都拥有540亿个晶体管,功耗400瓦,每秒钟能够直接进行19.5万亿次单精度浮点数的运算,每次运算又涉及许多个晶体管的开关。
仅仅是这些GPU,一次训练就要用掉2400万度电。这些电能最后几乎全部转化成了热能,而这些能量可以将大约20万立方米冰水——大概是100个奥运会标准游泳池的水量——加热到沸腾。
为什么AI需要用这么多的强大GPU来训练?因为大语言模型的规模实在太大。
ChatGPT-3模型已拥有1750亿参数,而据推测,ChatGPT-4拥有1.8万亿参数,是ChatGPT-3的十倍。要训练这种规模的模型,需要大量计算。这些计算最终会表现为晶体管的开开关关,和集成电路中细细的电流——以及热量。
而能量无法创造也无法消灭,它只能从一种形式转化成另一种形式。对于电子计算机来说,它主要是在将电能转化成热能。大语言模型也是如此,它对电能和冷却水的需求,正带来越来越严重的环境问题。
早前,有微软公司的工程师曾透露,为了训练ChatGPT-6,微软和OpenAI建造了巨大的数据中心,将会使用10万块“英伟达H100 GPU”——其性能比“英伟达A100 GPU”更强,当然功耗也更大。其中一个关键信息是,这些GPU不能放在同一个州,否则会导致电网负荷过大而崩溃。
在今年的达沃斯世界经济论坛上,OpenAI的CEO山姆·阿尔特曼认为,核聚变可能是能源的发展趋势。但要开发出真正可用的核聚变技术,可能还需要一些时间。
水资源的问题是相同。过去几年,那些在AI大模型领域先行一步的大企业们,都面临水消耗大幅度增长的局面。2023年6月,微软公司发布了2022年度环境可持续发展报告,其中用水一项,有超过20%的显著增长。谷歌公司也类似。
有研究者认为,AI的发展,是这些科技巨头用水量剧增的根本原因——要冷却疯狂发热的芯片,水冷系统是最常见的选择。所以我们说,为AI提供硬件基础的数据中心,如同一个巨大的“电热水器”。
如何让这些散失的热能不至于白白浪费?最容易想到也容易实现的,是热回收技术。比方说,将数据中心回收的热量用于提供民用热水,冬季提供民用采暖。现在有一些企业已经着手在回收废热再利用了,例如中国移动哈尔滨数据中心、阿里巴巴千岛湖数据中心等。
AI产业的发展速度之快,在人类历史上没有一点产业能与之相比。平衡AI技术的发展与环境的可持续性,可能会是我们未来几年的重要议题之一。
此外,张铠还一边
2023年法国I
PCB设计之前,
气动点焊机在焊接