智通財經APP獲悉，國信證券發(fā)布研究報告稱，當前處在以ChatGPT為主線的新一輪人工智能創(chuàng)新周期，ChatGPT為人工智能產業(yè)注入新活力，有望帶動AIGC類應用快速爆發(fā)，人工智能技術作為驅動數(shù)據(jù)經濟的技術底層，有望迎來新的發(fā)展機遇。數(shù)據(jù)、算力與算法是人工智能時代的三大基石，三者相互促進帶動AI+應用快速落地，ChatGPT為首的自然語言處理類技術及應用，有望迎來全面爆發(fā)，建議重點關注人工智能相關賽道。

事件：2022年11月30日人工智能實驗室OpenAI發(fā)布全新聊天機器人模型ChatGPT，其是一款人工智能技術驅動的自然語言處理工具。自從ChatGPT推出以來，受到市場廣泛關注，當前每日用戶超過1000萬人。

國信證券主要觀點如下：

Chatgpt成本主要可以拆分成訓練和推理兩個階段。

人工智能主要分為計算機視覺和自然語言處理兩大基礎方向，當前自然語言處理類任務基于大型語言模型(LLM，LargeLanguageModel)演進出了最主流的兩個主要方向，BERT(基于Transformer的雙向編碼器表示技術)和GPT(基于Transformer生成預訓練技術)，Google屬于BERT技術方向，微軟投資的OpenAI屬于GPT技術方向。從計算過程上，人工智能計算主要可以分為模型訓練與推理兩個階段，針對大語言模型LLM更是如此，隨著參數(shù)與數(shù)據(jù)規(guī)模的不斷增大，將帶動拉動算力需求的快速增長。

“token”是當前語言類模型的數(shù)據(jù)單位。

當前的自回歸語言模型是根據(jù)token來作為單位進行數(shù)據(jù)處理和計算，分詞(tokenization)就是將句子、段落、文章這類型的長文本分解為以token為單位的數(shù)據(jù)結構，把文本分詞后每個詞表示成向量進行模型計算。例如在英文語境下，“happy”可能被分解為“hap”、“-py”兩個token，中文語境下，“我很開心”可以分成“我”，“很”，“開心”三個token。

以英偉達DGXA1OO服務器作為計算資源：

(1)單臺服務器售價20萬美元;(2)采用云服務單天成本約為460美元。根據(jù)英偉達官網數(shù)據(jù)，英偉達超算GPU系列從舊到新包括P100、V100、A100、H100等，其中，DGXA100系列服務器為2020年發(fā)布，是當前主流使用的超算服務器，單機有8個A100系列GPU，AI算力性能為5PetaFLOP/s，單機最大功率6.5kw，售價19.9萬美元;如果租用云服務，根據(jù)亞馬遜數(shù)據(jù)顯示，在亞馬遜AWS預定一年的A100系列GPU，有8個A100的AWSP4實例的平均成本約19.22美元，一天的平均成本約為461.28美元。

ChatGPT上一個30字的問題需要消耗計算資源0.12PetaFLOP/S。

最常見的Transformer類語言模型在推理過程中每個token的計算成本(以FLOPs為指標)約為2N，其中N為模型參數(shù)數(shù)量(20年發(fā)布的GPT-3擁有1750億參數(shù)，22年谷歌發(fā)布的PaLM擁有5400億參數(shù)，由于并未公布當前GPT3.5的參數(shù)數(shù)量，當前假定參數(shù)數(shù)量為3000億)，假設模型的FLOPS利用率約為20%，粗略估計ChatGPT一個30字(假設約40個token，注：在英文語境下，一般1000個token=750個單詞)問題需要的算力資源為2*40*3000億/20%=0.12PetaFLOP/S。

推理成本：為滿足當前用戶訪問產生的推理成本，自建IDC初始投入約在4億美元，租用云服務每日成本約28萬美元。

根據(jù)Similarweb的數(shù)據(jù)，23年1月份當前ChatGPT日活約1300萬人，每人平均1000字左右的問題，因此合計產生約130億字(173.3億個token)，假設24小時平均分配任務，需要的A100GPU數(shù)量為173.3億*2*3000億/(20%*24小時*3600秒)=601.75PetaFLOP/S，由于訪問流量存在峰值，假定訪問峰值是一天均值的5倍，因此共需要602臺DGXA100服務器能夠滿足當前的訪問量。

1)自建IDC：服務器成本約占數(shù)據(jù)中心成本30%左右，為滿足當前日常訪問需求，前期一次性成本投入約為602*19.9/30%=3.99億美元;

2)云服務：假設每天租用亞馬遜AWS云服務，每天成本為461.28*602=27.77萬美元。

訓練成本：訓練階段每個Token的訓練成本約為6N(推理成本為2N)，由于每年訓練成本都在快速下降，此處引用OneFlow的測算結果，在公有云中訓練OPENAI的GPT-3模型需花費訓練成本約140萬美元，Google的PaLM模型需花費訓練成本約1120萬美元。

預計在ChatGPT結合Bing搜索功能后，其對算力資源的消耗將成數(shù)倍增長。

當前ChatGPT模型可以理解為在一個在龐大訓練數(shù)據(jù)集上訓練的LLM，它會將訓練期間的知識存儲到模型參數(shù)中。在推理過程中(使用模型生成輸出)，LLM無法訪問外部知識，僅依靠模型參數(shù)進行計算;如果將ChatGPT與搜索功能結合，如Bing等搜索引擎，其計算過程將通過搜索引擎返回多個查詢結果，并通過GPT計算生成多個響應，在返回最高分的響應給用戶，其對算力資源的消耗將成數(shù)倍增長，增長倍數(shù)取決于搜索和響應的個數(shù)。

風險提示：模型假設不合理對測算結果造成偏差，ChatGPT商業(yè)化落地不及預期。

本文源自：智通財經網