3分鐘帶你看懂大語言模型基礎知識

今年以來，隨著chatGPT持續火爆，“大語言模型”這個名詞頻頻出現在大家的視野。

話說回來，什么是大語言模型？它包含哪些方面？和自然語言處理有何區別？經常和大語言模型一起出現的“AIGC”又指什么？

作為這個賽道的一員，下面我將結合司普科技這些年的積累和經驗，來為大家簡單介紹下。

什么是大語言模型？

其實我們常說的大語言模型，翻譯自專業名詞：Large Language Model，簡稱：LLM。因為目前大家用到的大語言模型遠不止一個，所以我們經常還會看到它的復數形式——LLMs。

之所以被稱為大語言模型，其實很大程度上源于：它是建立在無標注文本數據上訓練的語言模型，而且參與訓練的數據集往往非常龐大。

舉個例子，此前一鳴驚人的GPT-3就訓練了1750億個參數大型語言模型。而到了GPT-4，訓練的模型參數更是達到約1.8萬億，訓練數據多達13萬億。

而大語言模型的工作原理也很簡單：主要借助深度學習機制，把海量訓練數據中的各種語言邏輯、語言組織規律有效提取出來，再借助AI算法，在實際用戶需求中，理解或生成自然語言文本。

為了保證更好的輸出質量和精度，同時避免生成內容帶有“負面色彩”，除了“預訓練語言模型”（(Pretrained Language Models），往往還會用到“訓練打分模型”（Reward Model），對其進行強化學習和打分規則的微調，打分越高的，輸出效度和精度越高，也越能滿足人們的期待和偏好。

當這整套工作完成，也就有了投喂大量訓練數據后，能像人一樣，進行高水平對話或創作的人工智能應用。

布局大語言模型要做好哪些？

目前，布局大語言模型賽道的廠商不少，而且聚焦的業務面也越來越廣，但進行大語言模型的開發并不簡單。

如上面所說，大語言模型底層的運作，離不開預訓練和打分模型。其中，預訓練語言模型作為核心技術基座，要想模型擁有更強的性能，模型結構和規模、樣本數據、算力等都是關鍵性要素。

以參數規模為例，因為參與訓練的數據量，直接影響預訓練模型在下游任務中的效果，所以效果較好的大語言模型，參數規模基本超過千億級（100B）。

比如OpenAI的GPT 4參數規模約為180B，Google旗下LaMDA的參數規模約為137B，PaLM的規模約為540B，DeepMind旗下的Gogher參數規模為280B等。

而完成如此大的數據量訓練，對算力和資金的需求極大，所以目前大語言模型底層技術的開發多集中在巨頭企業之間，而大型LLM廠商單次的訓練成本可能就高達百萬甚至千萬美元。

為了推動行業發展和生態合作，很多基礎性大語言模型實行了開源，加上LangChain等LLM集成工具的出現，依然為大眾開發者在大語言模型底層之上進行各類應用的開發創造了便利。

目前，利用通用大模型搭配行業小模型，并根據不同業務場景給到相應的解決方案，是很多應用層布局者的常見做法，由此也衍生出了多模態的大語言模型應用。

大語言模型和自然語言處理有何區別？

作為人工智能技術的重要分支，自然語言處理（NLP）任務早年就火出了圈。

從表面看，大語言模型和自然語言處理都高度聚焦于“語言文本”的處理，都離不開深度學習和神經網絡的支持，兩者甚至都涉及語音識別、語音合成、語義理解、機器翻譯等方面的應用。

但大語言模型在這些領域的應用更廣，而且在上下文理解、連續對話、邏輯推理等方面比單純的自然語言處理，顯得更智能、更有優勢。

從應用看，自然語言處理主要集中于“從文本到文本的輸入輸出”，基本是一問一答式。

而大語言模型已經能實現文字、圖片、音視頻等多模態數據的輸出，對話成文、文生圖、文生視頻等都能輕松實現，人機交互面積更大，通用性也更強。

就此來說，自然語言處理很多還停留于簡單理解語言含義后進行“基礎對話”，而大語言模型已經能在掌握語言規律的基礎上“自由對話”。

所以在談論兩者時，很多人都將大語言模型稱為自然語言處理的“奇點”或“拐點”。

什么是AIGC？和大語言模型有何關系？

AIGC翻譯自專業名詞：Artificial Intelligence Generated Content，簡單來說就是“利用人工智能技術來生產內容”。目前，比較有代表性的AI生成內容，就包括文本、圖像、音頻、視頻等。

從表面來看，AIGC其實可以算是大語言模型當下最熱門的一大方向。而大語言模型的發展，正是AIGC各項應用得以高速發展的基礎和關鍵。

從技術上看，AIGC的成功，主要得益于GAN、Transformer、Diffusion、CLIP、LLM等基礎生成算法模型的不斷發展，而它的成功也在極大地推進著內容生產的自動化和智能化進程。

備注：以上首發sipu-tech，僅做分享。