大模型廠商競相突破長文本能力，40萬token只是開始

大模型正以驚人的速度不斷延長其處理文本的能力。從最初的4000 token到如今的40萬token，長文本處理能力似乎已成爲大模型廠商展示實力的新標準。

目前，國內外已有OpenAI、Anthropic、Meta、月之暗面等多家頂級大模型技術公司將拓展上下文長度作爲重點升級方向。這些公司無一例外都是資本市場的寵兒。OpenAI獲得近120億美元投資，Anthropic估值可能達到300億美元，月之暗面成立半年即完成多輪融資。

大模型公司如此重視長文本技術，其意義何在？表面上看，這意味着模型可以處理更長的輸入文本，閱讀能力更強。從GPT-3.5的2000字到Kimi Chat的20萬字，模型的閱讀量從一篇短文擴展到一部長篇巨著。

更深層次來看，長文本技術正在推動大模型在金融、司法、科研等專業領域的應用。這些領域需要對長文檔進行摘要、理解和問答，是亟待智能化升級的場景。

然而，文本長度並非越長越好。研究表明，模型支持更長上下文輸入與效果提升並不能直接畫等號。關鍵在於模型如何有效利用上下文內容。目前，長文本技術探索還遠未達到極限，40萬token可能只是一個開始。

長文本技術的突破有助於解決大模型早期存在的一些問題，如虛擬角色遺忘重要信息、專業領域分析不足等。它也是推動產業應用落地的關鍵技術之一，標志着大模型進入了從LLM到Long LLM的新階段。

通過長文本技術，對話機器人正朝着專業化、個性化、深度化方向發展。這可能成爲撬動產業應用和超級APP落地的重要抓手。不過，目前的長文本對話場景仍有很大優化空間，如數據更新、對話控制、準確性等方面都需要進一步改進。

在追求長文本能力的過程中，大模型廠商面臨着文本長度、注意力和算力的"不可能三角"困境。文本越長，越難聚焦關鍵信息；注意力有限制，短文本又難以完整解讀復雜信息；處理長文本需要大量算力，提高了成本。

這一困境的根源在於大多數模型基於Transformer結構。其中的自注意力機制使計算量隨上下文長度呈平方級增長。目前主要有三種解決方案：借助外部工具輔助處理、優化自注意力機制計算、利用模型優化方法。

雖然長文本的"不可能三角"暫時無解，但這也明確了大模型廠商的探索方向：在文本長度、注意力和算力三者間尋求最佳平衡點，以處理足夠信息的同時兼顧注意力計算和算力成本限制。