SemiAnalysis 是人工智慧研究人員和行業專業人士中備受尊敬的來源，它發布了一份深入分析，挑戰了人們對人工智慧擴展速度放緩的普遍擔憂。的報告揭示如何OpenAI 和 Google 等人工智慧實驗室正在利用更智慧的技術突破局限性，包括推理模型、合成數據和創新訓練方法。 SemiAnalysis 表示，這突顯了舊的人工智慧成長策略的轉變，這些策略僅基於更大的訓練集，證明縮放法則仍然強大且具有變革性。 ，人工智慧縮放法則仍然充滿活力。 https://winbuzzer.com/wp-content/uploads/2024/12/artificial-intelligence-ai-scaling.jpg”>
規模化法則:誤解與現實
該報告旨在應對不斷增長的問題由於對基準性能趨於穩定、數據稀缺和硬體限制的擔憂，人們對人工智能擴展法則提出了懷疑。語言模型(LLM) 的回報正在遞減，該行業的資源正在耗盡有效地訓練和優化它們的方法。應對這些挑戰，例如基於推理的訓練方法、創新的訓練後最佳化和推理。報告稱，這些進步正在推動 AI 能力遠遠超出先前的極限。
推理模型:拓展前沿
他們的研究結果的中心焦點是推理模型的興起，例如OpenAI 的o1 Pro 模式以及相關的新ChatGPT Pro 計劃，售價200 美元/
o1 Pro 模式基於「草莓」框架，採用鍊式推理技術，讓人工智慧能夠逐步解決問題。推理任務中的多步驟挑戰。 ，與GPT-4o 的13% 相比，解決了83% 的問題。部分部分的唯一焦點-時間預言家。 OpenAI 的o1 版本證明了推理模型的實用性和潛力，為擴展開闢了一個新的未探索的維度，」SemiAnaanalysis 指出。「從有缺陷的基準轉向更具挑戰性的基準將能夠更好地衡量進展。
相關:氣象學領域的AI 突破:Google 模型在97 年擊敗了當前系統場景百分比
合成資料:資料牆的解決方案
SemiAnaanalysis 指出，合成資料在克服人工智慧最大障礙之一方面發揮著越來越重要的作用:所謂的「資料牆」。 。種突破。拒絕採樣等技術可確保僅使用最相關、最準確的合成輸出，從而減少噪音並提高訓練效率。
透過內部建立這些資料集，OpenAI 和 Google 等實驗室可以繞過現實世界資料的限制，同時增強利基領域的模型效能。 SemiAnalysis 對這種方法表示讚賞:
「合成數據開啟了一個新的維度，可以使用受控的、超出可擴展的方法來產生高品質的數據，從而對任何有意願的主題事項的模型進行微調。例如，OpenAI 先於其他人擁有 GPT-4，並且可以使用它來產生比其他模型提供者更好的合成資料集-直到其他提供者有匹配的模型。開源和中國實驗室的許多模型如此快速地趕上的主要原因之一是它們接受了來自GPT-4 的合成資料的訓練。發布用於人工智慧訓練的綜合數據顯示了跨基準的性能提升
訓練後優化:更聰明的模型，更快
該報告也強調了訓練後的重要性日益增加-訓練優化，模型在初始訓練後針對特定任務進行微調，例如監督微調。 org/abs/2309.00267″>帶有AI 回饋的強化學習(RLAIF) 使實驗室能夠更緊密地調整模型與預期結果，例如改進的推理和準確性。
特別是RLAIF 正在越來越多地用人工智慧產生的評估取代傳統的人工標記回饋，從而顯著降低成本和時間。這種迭代方法創建了一個回饋循環，模型不斷改進自己的訓練過程。
推理時間擴展:即時思考的人工智慧
該報告也指出推理時間擴展是另一項變革性發展。這種方法在解決問題期間動態分配計算資源，允許模型重新訪問早期步驟、探索替代解決方案並即時優化其輸出。技術-moghadam.medium.com/monte-carlo-tree-search-improving-the-rollouts-using-the-rapid-action-value-estimation-rave-be2a23c1b72b”>蒙特卡羅推出和自我一致性搜尋使模型能夠同時測試多個推理路徑，從而提高準確性和適應性。雖然這種方法需要強大的運算基礎設施，但它代表了人工智慧系統在變得更加智慧和響應能力方面的重大飛躍。並沒有放緩，而是正在發生轉變。 OpenAI 和 Google 等實驗室透過優先考慮更聰明的訓練方法、合成資料生成和進階推理框架來引領這一發展。這些創新正在突破傳統限制，為人工智慧發展的新時代奠定了基礎。
