人工智慧消耗多少能源?

人工智慧消耗多少能源?

答:人工智慧處理簡單的文字任務耗電量極低,但當提示訊息較長、輸出結果為多模態或系統大規模運作時,耗電量則會大幅增加。訓練通常是前期耗能最大的環節,而隨著請求的累積,日常推理的耗電量也會顯著增加。

重點總結:

背景:在給出任何能耗估算之前,請先明確任務、模型、硬體和規模。

培訓:在製定預算時,將模型培訓視為主要的預先能源投入。

推理:密切注意重複推理,因為每次請求的小額成本在規模化後會迅速累積。

基礎設施:任何合理的估算都應包括冷卻、儲存、網路和閒置容量。

效率:使用較小的模型、更短的提示、快取和批次來降低能源消耗。

人工智慧消耗多少能源?資訊圖

您可能還想閱讀以下文章:

🔗 人工智慧如何影響環境
闡述了人工智慧的碳足跡、能源消耗和永續性方面的權衡取捨。.

🔗 人工智慧對環境有害嗎?
揭示人工智慧模型和資料中心隱藏的環境成本。.

🔗 人工智慧是好是壞?優缺點分析
全面檢視人工智慧的益處、風險、倫理和實際影響。.

🔗 什麼是人工智慧?簡明指南
幾分鐘內即可學習人工智慧基礎、關鍵術語和日常範例。.

為什麼這個問題比人們想像的更重要🔍

人工智慧的能源消耗不僅僅是一個環境方面的討論主題,它還涉及一些非常現實的問題:

  • 電力成本——尤其是對於運行大量人工智慧請求的企業而言

  • 碳排放影響-取決於伺服器背後的電源

  • 硬體負載-高效能晶片消耗大量功率

  • 規模化決策-一個廉價的提示可能會演變成數百萬個昂貴的提示。

  • 產品設計-效率往往比人們意識到的更重要( Google雲端綠色人工智慧

很多人會問“人工智慧消耗多少能源?”,因為他們想要一個聳人聽聞的數字,一個能吸引眼球、引人注目的巨額數字。但更重要的問題是:我們討論的是哪種類型的人工智慧應用?因為這會徹底改變一切。 (國際能源總署

一個自動補全建議?成本很小。
在大規模集群上訓練前沿模型?成本就大得多。
一個始終在線、服務數百萬用戶的企業級人工智慧工作流程?沒錯,這筆開銷會迅速累積……就像積少成多,最後變成房租一樣。 (美國能源部Google雲端

人工智慧消耗多少能源?簡而言之⚡

以下是實用版本。.

人工智慧的耗電量差異巨大,從執行輕量級任務所需的幾分之一瓦時,到進行大規模訓練和部署所需的大量電力,不一而足。這個範圍聽起來大得驚人,因為它的確非常大。 ( Google雲Strubell等

簡而言之:

  • 簡單的推理任務-通常每次使用量都相對較小。

  • 長時間對話、大量輸出、影像生成、視訊生成——這些都明顯更加耗能。

  • 訓練大型模型-耗電量之王

  • 全天大規模運行人工智慧——「每次請求成本低」變成了「總成本高」( Google雲美國能源部

一個好的經驗法則是:

所以,當有人問「人工智慧消耗多少能源?」,直接的回答是:「並非一個固定的數值——但消耗量之大,足以影響效率,也足以改變規模。」(國際能源總署《綠色人工智慧》)

我知道這話不夠朗朗上口,但這是事實。.

好的AI能源估算應該具備哪些條件? 🧠

好的估算並非只是在圖表上隨意羅列一個驚人的數字。一個切實可行的估算需要考慮具體情況。否則,就好比用體重計稱量霧氣一樣。結果聽起來很厲害,但遠遠不足以令人信服。 (國際能源總署Google雲端

一個合理的AI能耗估算應該包括:

  • 任務類型-文字、圖像、音訊、視訊、訓練、微調

  • 模型大小-更大的模型通常需要更多的計算能力。

  • 所使用的硬體-並非所有晶片的效率都相同。

  • 會話時長-簡短提示和冗長的多步驟工作流程截然不同。

  • 使用率-閒置系統仍會消耗電力

  • 冷卻和基礎設施-伺服器並非全部費用

  • 地理位置和能源結構-電力並非在所有地方都同樣清潔( Google雲國際

這就是為什麼兩個人可以就人工智慧的用電量爭論不休,而且在談論完全不同的事情時,兩人都能顯得信心滿滿。一個人指的是聊天機器人的一次回复,另一個人指的是大規模的訓練運行。兩人都提到“人工智慧”,然後對話突然跑偏了😅

對比表 - 估算人工智慧能耗的最佳方法📊

對於任何想要回答這個問題而不把它變成行為藝術的人來說,這裡有一個實用的表格。.

工具或方法 最佳觀眾 價格 為什麼有效
簡單的經驗法則估算 好奇的讀者們,同學們 自由的 快速、簡便,雖然有點模糊——但足以進行粗略的比較。
設備側功率計 獨立建造者、業餘愛好者 低的 測量實際的機器牽引力,這令人耳目一新地體現了混凝土的特性。
GPU遙測儀錶板 工程師、機器學習團隊 中等的 雖然它能更詳細地描述運算密集型任務,但可能會忽略較大的設施開銷。
雲端計費 + 使用狀況日誌 新創公司、營運團隊 中等至高 將人工智慧的使用與實際消費聯繫起來——雖然並不完美,但仍然很有價值。
數據中心能源報告 企業團隊 高的 提供更全面的營運可視性,冷卻和基礎設施開始在此顯現。
全生命週期評估 永續發展團隊,大型組織 感覺有點高,有時會很痛 它最適合進行深度分析,因為它超越了晶片本身……但它的速度很慢,而且相當笨重。

沒有完美的方法。這多少有點令人沮喪。但價值是有層次的。通常來說,實用性勝過完美。 ( Google雲端

最大的因素不是魔法,而是計算和硬體🖥️🔥

人們在想像人工智慧的能耗時,往往會把模型本身想像成耗電的源頭。但實際上,模型是運行在硬體上的軟體邏輯。真正消耗電費的是硬體。 ( Strubell等人Google雲

最大的變數通常包括:

高度優化的系統能以更少的能耗完成更多的工作。而粗製濫造的系統卻能肆無忌憚地浪費電力。你也知道,有些系統堪比賽車,有些系統卻像用膠帶黏上火箭的購物車🚀🛒

沒錯,模型規模確實很重要。更大的模型往往需要更多的記憶體和計算資源,尤其是在產生較長的輸出或處理複雜推理時。但一些效率優化技巧可以改變這種狀況:(綠色人工智慧量化、批次和LLM能源使用中的服務策略

所以問題不僅在於“模型有多大?”,還在於“它的運行有多聰明?”

訓練與推理-這兩者截然不同🐘🐇

這種分歧幾乎讓所有人都感到困惑。.

訓練

訓練是指模型從海量資料集中學習模式的過程。這可能需要許多晶片長時間運行,處理海量數據。這個階段非常耗能,有時甚至極度耗能。 ( Strubell等

訓練能量取決於:

  • 型號尺寸

  • 資料集大小

  • 訓練次數

  • 失敗的實驗

  • 微調過程

  • 硬體效率

  • 冷卻開銷( Strubell 等人Google研究

人們常常忽略這一點——大眾通常認為開發過程就是大型訓練運行,完成一次就萬事大吉了。但實際上,開發可能涉及多次運行、調優、重新訓練、評估,以及圍繞主要目標進行的所有繁瑣但成本高昂的迭代。 ( Strubell 等人《綠色人工智慧》)

推理

推理是指模型回應實際使用者請求的過程。單一請求看似微不足道,但推理過程會反覆發生,次數高達數百萬次,有時甚至數十億次。 ( Google研究院美國能源部

推理能量會隨著以下因素成長:

所以,訓練比喻成地震,推論比喻為潮汐。一個是劇烈的,一個是持續的,兩者都能在一定程度上改變海岸線。這或許是個不尋常的比喻,但大體上說得通。.

人們常忽略的隱性能源成本😬

如果僅以晶片來估算人工智慧的功耗,通常會低估實際功耗。雖然未必會造成災難性後果,但足以產生影響。 ( Google雲國際

以下是隱藏的線索:

降溫❄️

伺服器會產生熱量。強大的AI硬體會產生大量熱量。散熱不可。計算消耗的每一瓦功率都會導致需要消耗更多能源來維持合理的溫度。 (國際能源總署Google雲端

數據流動🌐

在儲存設備、記憶體和網路之間傳輸資料也需要消耗能量。人工智慧不僅僅是“思考”,它還在不斷地處理資訊。 (國際能源總署

閒置產能💤

為高峰需求而設計的系統並非始終以高峰需求運作。閒置或未充分利用的基礎設施仍會消耗電力。 ( Google雲端

冗餘性和可靠性🧱

備份、故障轉移系統、冗餘區域、安全層——所有這些都非常重要,都是更宏大的能源藍圖的一部分。 (國際能源總署

儲存📦

訓練資料、嵌入向量、日誌、檢查點、產生的輸出——這些資料都儲存在某個地方。儲存當然比運算便宜,但從能源角度來看,儲存並非免費。 (國際能源總署

這就是為什麼「人工智慧消耗多少能源?」這個問題無法僅透過單一的基準測試圖表來解答。整個技術棧至關重要。 ( Google雲國際

為什麼一個人工智慧提示可能很小,而下一個可能很大📝➡️🎬

並非所有提示都相同。要求改寫句子與要求冗長的分析、多步驟編碼或產生高解析度影像截然不同。 ( Google雲端

以下因素往往會增加每次互動的能量消耗:

輕量級的文字回應可能相對便宜。但龐大的多模態工作流程,嗯,就不便宜了。這有點像是點咖啡和承辦婚禮餐飲。從技術上講,兩者都屬於「餐飲服務」。但它們之間卻截然不同☕🎉

這一點對產品團隊尤其重要。一項在低使用率下看似無害的功能,如果每次使用者會話時間延長、內容更豐富、計算量更大,那麼隨著使用者規模的擴大,其成本也會變得非常高昂。 (美國能源部Google雲端

消費級人工智慧和企業級人工智慧並非同一概念🏢📱

一般使用者如果只是偶爾使用人工智慧,可能會認為偶爾出現的提示才是最大的問題。但通常情況下,真正的問題並不在於此。 ( Google雲端

企業應用改變了計算方式:

  • 數千名員工

  • 始終在線的副駕駛

  • 自動化文件處理

  • 通話摘要

  • 影像分析

  • 程式碼審查工具

  • 後台代理持續運行

這就是能源總消耗量開始變得至關重要的原因。並非因為每一次消耗都會造成災難性後果,而是因為重複會產生倍增效應。 (美國能源部國際能源總署

在我自己的測試和工作流程審查中,人們常常會在這裡感到驚訝。他們關注的是型號名稱或酷炫的演示,而忽略了實際使用量。而實際使用量往往才是真正的驅動因素——或者說是救命稻草,這取決於你是向客戶收費還是支付水電費😅

對消費者而言,這種影響可能感覺很抽象。但對企業而言,它很快就會變得具體起來:

  • 更大的基礎建設費用

  • 更大的最佳化壓力

  • 盡可能更需要小型模型

  • 內部永續發展報告

  • 更加關注快取和路由( Google 雲端Green AI

如何在不放棄人工智慧的前提下降低人工智慧的能源消耗🌱

這一點很重要,因為我們的目標並非「停止使用人工智慧」。通常來說,這既不現實,也沒有必要。更有效地利用人工智慧才是更明智的做法。.

以下是幾個最重要的槓桿:

1. 使用能完成任務的最小型號

並非所有任務都需要重量級模型。使用更輕量級的分類或摘要模型可以快速減少浪費。 ( Green AIGoogle Cloud

2. 縮短提示和輸出

輸入冗長,輸出也冗長。額外的令牌意味著額外的計算。有時,精簡提示訊息是最簡單有效的辦法。 ( 《LLM 能源使用中的量化、批次和服務策略》Google Cloud

3. 快取重複結果

如果同一個查詢反覆出現,就不要每次都重新產生。這一點幾乎顯而易見,但卻常常被忽略。 ( Google雲端

4. 盡可能批量處理作業

批量執行任務可以提高資源利用率並減少浪費。 ( LLM 能源利用中的量化、批量處理和服務策略

5. 智能地安排任務

僅當置信度下降或任務複雜度增加時才使用大型模型。 ( Green AIGoogle雲端

6. 優化基礎設施

更優化的調度、更先進的硬體、更有效率的散熱策略——這些看似平凡的措施,卻能帶來巨大的回報。 ( Google雲端美國能源部

7. 先測量後假設

很多團隊自以為知道電力消耗在哪裡。但經過測量後才發現,真正耗電的部分其實在別的地方。 ( Google雲端

提高效率的工作並不光鮮亮麗,也很少獲得掌聲。但它是讓人工智慧更經濟實惠、更容易大規模應用的最佳途徑之一👍

關於人工智慧用電的常見誤解🚫

讓我們澄清一些誤解,因為這個主題很容易變得複雜。.

迷思一:每一次人工智慧查詢都是巨大的浪費。

不一定。有些規模較小。規模和任務類型非常重要。 ( Google雲端

迷思二:訓練是唯一重要的事

不。當使用量龐大時,推理可能會隨著時間的推移而佔據主導地位。 ( Google研究美國能源部

迷思三:更大的模型總是意味著更好的結果

有時可以,有時則完全不行。很多任務用小型系統也能很好地完成。 (綠色人工智慧

迷思四:能源消耗必然等於碳排放。

不完全是這樣。碳排放量也取決於能源來源。 (國際能源總署Strubell等

迷思五:你可以得到一個適用於人工智慧能源消耗的通用數值。

你做不到,至少做不到能保持其意義的形式。或者你可以做到,但結果會被過度平均化,以至於失去價值。 (國際能源總署

這就是為什麼問「人工智慧消耗多少能源?」是明智的——但前提是你要準備好接受一個多層次的答案,而不是一個口號。

所以……人工智慧到底會消耗多少能源呢? 🤔

以下是經過深思熟慮的結論。.

人工智慧的應用:

  • 一點點,用於一些簡單的任務

  • 對於重型多模態生成而言,還有更多

  • 非常大的數量,用於大規模模型訓練

  • 隨著時間的推移,數百萬個請求會累積起來,總數非常龐大 Google雲美國能源部)。

它的形狀就是這樣。.

關鍵在於不要把整個問題簡化成一個嚇人的數字或一句輕描淡寫的聳肩。人工智慧的能源消耗是真實存在的,它很重要,而且可以改進。討論這個問題最好的方式是結合實際情況,而不是譁眾取寵。 (國際能源總署《綠色人工智慧》)

公眾討論往往走向極端——一邊是“人工智慧基本上是免費的”,另一邊是“人工智慧將引發電力災難”。而現實情況則更為平凡,也因此更具啟發性。這是一個系統性問題,涉及硬體、軟體、使用情況、規模、散熱以及設計選擇等諸多面向。聽起來平淡無奇?確實如此。但至關重要?非常重要。 (國際能源總署Google雲端

重點摘要⚡🧾

如果你來這裡是想問「人工智慧消耗多少能源?」 ,那麼答案就在這裡:

  • 沒有一個通用的數字。

  • 訓練通常會在前期消耗最多的能量。

  • 規模化推理成為關鍵因素。

  • 模型尺寸、硬體、工作負載和散熱都至關重要。

  • 小小的優化就能帶來意想不到的巨大改變。

  • 最明智的問題不僅是“多少”,還包括“用於什麼任務、在什麼系統上、以多大的規模?”( IEAGoogle雲端

所以,沒錯,人工智慧確實會消耗能源。其消耗量之大,足以引起重視,也足以促使我們改進工程技術。但這並非是卡通式的、用數字來衡量的。.

常問問題

人工智慧處理一次提示需要消耗多少能量?

對於單一提示,沒有一個通用的能耗數字,因為能耗取決於模型、硬體、提示長度、輸出長度以及任何涉及的額外工具。簡短的文字回應能耗相對較低,而冗長的多模態任務則可能消耗更多能量。最有意義的答案並非單一的指標數字,而是任務的脈絡。.

為什麼對人工智慧能耗的估算結果差異如此之大?

由於人們常常將截然不同的事物歸入「人工智慧」這個範疇,因此估算結果也各不相同。一種估算可能描述的是輕量級的聊天機器人回复,而另一種估算則可能涵蓋影像生成、視訊製作或大規模模型訓練。為了使估算結果有意義,需要考慮任務類型、模型規模、硬體配置、使用率、散熱情況和地理位置等背景資訊。.

訓練人工智慧和日常運行人工智慧,哪一個能耗更高?

訓練通常是前期耗能最大的環節,因為它可能需要許多晶片長時間運行,處理大量資料集。推理則是使用者每次發送請求時都會產生的持續性開銷,規模越大,開銷也越大。實際上,兩者都很重要,儘管它們的重要性體現在不同的方面。.

為什麼有些人工智慧請求比其他請求消耗更多能源?

更長的上下文視窗、更長的輸出、重複的推理過程、工具呼叫、檢索步驟以及多模態生成都會增加每次互動的能耗。延遲目標同樣重要,因為更快的反應速度可能會降低效率。一個小型重寫請求與一個冗長的編碼或圖像工作流程根本無法相提並論。.

人們在詢問人工智慧消耗多少能源時,忽略了哪些隱性能源成本?

許多人只關注晶片本身,卻忽略了散熱、資料傳輸、儲存、空閒容量以及諸如備份或故障轉移區域等可靠性系統。這些支撐層會顯著影響整體能耗。因此,僅憑基準測試很難全面反映能耗情況。.

更大的人工智慧模型總是消耗更多能源嗎?

更大的模型通常需要更多的計算能力和內存,尤其是在處理冗長或複雜的輸出時,因此它們往往消耗更多能源。但更大並不意味著在所有任務上都更好,優化可以顯著改變這種狀況。更小的專用模型、量化、批次、快取和更智慧的路由都可以提高效率。.

消費級人工智慧的使用是主要的能源問題,還是企業級人工智慧才是更大的問題?

一般消費者的日常使用也會消耗大量能源,但更大規模的能源消耗往往反映在企業部署上。始終在線的輔助駕駛、文件處理、通話摘要、程式碼審查和後台代理等應用,都會在龐大的用戶群中產生重複的能源需求。問題通常不在於某一次劇烈的能源消耗,而是長期持續的能源消耗。.

如果將資料中心和冷卻系統也考慮在內,人工智慧需要消耗多少能源?

一旦將整個系統納入考慮,答案就變得更加實際,而且通常比僅考慮晶片的估算結果要大。資料中心不僅需要電力用於計算,還需要電力用於冷卻、網路、儲存和維持備用容量。因此,基礎設施設計和設施效率幾乎與模型設計同等重要。.

在實際工作流程中,衡量人工智慧能耗最實用的方法是什麼?

最佳方法取決於測量者是誰以及測量目的。粗略的經驗法則可以幫助快速比較,而功率計、GPU 遙測資料、雲端計費日誌和資料中心報告則能提供更深入的營運洞察。對於嚴肅的永續發展工作,更全面的生命週期視角更為有效,儘管這種方法耗時更長、要求更高。.

團隊如何在不放棄人工智慧實用功能的情況下降低人工智慧的能耗?

通常情況下,最大的收益來自於使用能夠完成任務的最小模型、縮短提示和輸出、快取重複結果、批次處理任務,以及僅將更複雜的任務路由到更大的模型。基礎設施優化也至關重要,尤其是調度和硬體效率。在許多流程中,先進行測量有助於防止團隊優化錯誤的內容。.

參考

  1. 國際能源總署 (IEA) -人工智慧帶來的能源需求- iea.org

  2. 美國能源部 (DOE) - DOE 發布新報告,評估資料中心不斷增長的電力需求- energy.gov

  3. 歌雲端衡量人工智慧推理對環境的影響-cloud.google.com

  4. Google 研究機器學習訓練碳足跡的好消息-research.google

  5. Google研究機器學習訓練的碳足跡將趨於穩定並最終下降—research.google

  6. arXiv -綠色人工智慧- arxiv.org

  7. arXiv - Strubell 等。 - arxiv.org

  8. arXiv - LLM 能源使用中的量化、批次和服務策略- arxiv.org

在官方人工智慧助理商店尋找最新人工智慧產品

關於我們

返回博客