能源消耗和资源限制：人工智能的未来有多不确定？

https://epochai.org/blog/can-ai-scaling-continue-through-2030#what-constraint-is-the-most-limiting

非营利组织EpochAI的研究人员进行了一项分析，其中讨论了人工智能到2030年的发展前景。

他们研究了可能限制该领域进展的四个关键因素：能源消耗、芯片可用性、训练数据量和处理能力。

报告称，用于训练人工智能模型的计算能力每年翻两番。

如果这种趋势持续到本世纪末，到2030年，人工智能训练使用的资源将是当今最先进算法（例如OpenAI的GPT-4）的10,000倍。

专家指出，现代人工智能系统已经消耗了大量能源。

例如，训练Meta的最新模型所需的恒定能耗相当于23,000个美国家庭的能耗。

到2030年，即使效率有所提高，训练高级AI模型也可能需要200倍的功率。

这已经占所有现代数据中心能源消耗的30%。

为了克服这些限制，公司可以将培训过程分散到多个数据中心。

谷歌在训练GeminiUltra模型时已经使用了这种方法。

然而，它需要超快、高带宽的光纤连接。

在芯片方面，研究人员预测，到2030年，将有20至4亿个专用处理器可用于运行人工智能。

这足以创建一个使用比GPT-4多50,000倍计算资源的模型。

用于训练算法的高质量数据量也是一个问题。

一些专家预测，公开的高质量文本数据的供应最早可能在2026年耗尽。

然而，EpochAI认为，这至少要到2030年才会限制模型的增长。

当然，现代神经网络不仅可以训练文本，还可以训练图像、音频和视频。

这显著拓宽了可用材料的范围。

此外，公司正在尝试使用合成数据。

考虑到所有来源，包括文本、多媒体和合成数据集，EpochAI估计，到2030年，我们将有足够的信息来训练模型，使用的计算资源是GPT-4的80,000倍。

在比较了所有限制因素后，EpochAI专家得出的结论是，在技术上可以创建比现代系统多使用10,000倍计算资源的人工智能模型。

这种情况下的主要限制是能源消耗。

然而，实现如此大规模的增长需要巨额投资。

Anthropic首席执行官DarioAmodei估计，训练单个模型的成本可能会从现在的10亿美元上升到明年的100亿美元，并在随后的几年中达到1000亿美元。

公司投资这些金额的意愿将取决于人工智能系统的实际效益。

如果可扩展性继续带来重大改进和新功能，那么投资可能是值得的。

EpochAI估计，如果人工智能能够使大部分经济活动实现自动化，那么财务回报可能达到数万亿美元。

然而，一些批评者认为，大型语言和多模式模型可能代表技术开发中代价高昂的死胡同。

原文始发于微信公众号（网络研究观）：能源消耗和资源限制：人工智能的未来有多不确定？