Google通過其最新的AI版本擁抱了“較少的IS”哲學,推出了高效的Gemma 3 270m Open模型。 僅使用2.7億個參數,該緊湊型模型是為開發人員設計的,可以創建可以直接在智能手機甚至網絡瀏覽器中直接運行的專業,微調的應用程序。
。
該目標是通過為“正確的工作”提供“正確的工具”,以啟用新的快速,私人和低成本的AI解決方案。 Gemma 3 270m不再依靠大規模的基於雲的系統,而是針對明確定義的任務的極端功率效率,使高級AI更容易在設備和邊緣計算中訪問。
Gemma 3 270m的發布是Google’s 擴展開放模型的“ gemmaverse” 。這是3月的Gemma 3系列的最初首次亮相,4月份的消費者GPU的QAT版本以及6月的移動優先Gemma 3N發行。
“>
該策略與更廣泛的行業向小語言模型(SLM)一致。像Microsoft這樣的公司具有PHI系列,Miss Mistral AI的3型型號,以及帶有Smolvlm型號的擁抱面孔都在高效的AI上進行了大量投資。
該發射代表了AI軍備競賽中的戰略性樞紐,將手術精度優先於蠻力優先。它強調了一種不斷增長的行業趨勢,在該行業趨勢中,較小的專業模型正在成為實用,現實世界部署的重要工具。
在戰略遠離該行業對原始力量的痴迷中,“工作的正確工具”
href=”https://developers.googleblog.com/en/introducing-gemma-3-270m” target=”_blank”>Google is positioning Gemma 3 270M not as a rival to massive, general-purpose models, but as a high-quality foundation for what it calls a “fleet of lean, expert systems.”該公司的官方公告援引了經典的工程原則:您不會使用大錘懸掛圖片框架。該模型體現了這種“適用於工作的哲學” 的“正確的工具” ,其真正的潛力是通過快速,任務精細的精細方式來實現的。速度和成本效益至關重要的功能。 Google確定了理想的用例,例如情感分析,實體提取,查詢路由,創意寫作,合規性檢查以及將非結構化文本轉換為結構化數據。目的是使開發人員能夠構建和部署多種自定義模型,每個自定義模型都經過了不同的任務培訓,而沒有與較大系統相關的高昂成本。
現實世界中已經證明了這種專業方法的力量。 Google強調了自適應ML與SK Telecom的工作,在該電信中,一個微調的Gemma模型的任務是細微的,多語言的內容審核。結果很鮮明:專業模型不僅滿足,而且在其特定任務上的表現優於更大的專有系統。這個成功的故事是開發人員如何利用Gemma 3 270m的效率的實用藍圖。
通過以緊湊而有能力的基礎開始,開發人員可以構建生產系統,這些生產系統可以更快,更便宜地運行。該策略直接針對對具有成本效益的AI的日益增長的需求,該策略可以大規模部署而不會產生大量推理成本。該模型的尺寸很小,可以快速迭代,從而可以在數小時而不是幾天內完成微調實驗。對於某些高度專業的角色,例如重玩遊戲NPC或自定義日誌機器人,該模型可以通過過度擬合來“忘記”通用知識的能力成為一項功能,確保其在指定功能上保持激光為重點。
緊湊型緊湊型體系結構,有能力的性能
緊湊型緊湊型體系結構,有能力的性能
“故意建築權衡的結果。該模型的2.7億個參數在非常規分佈上:1.7億個專用於其嵌入層,僅佔核心變壓器塊的1億美元。這種設計選擇可以直接實現模型的出色功能:一個巨大的256,000個詞彙。
這個大型詞彙是其專業實力的關鍵。它允許該模型以高保真處理稀有,具體和技術令牌,從而使其成為法律,醫學或金融等利基領域進行微調的異常強大的基礎。從一開始就了解特定於行業的行話,它需要更少的培訓數據才能成為專家。這是由可觀的32K令牌上下文窗口補充的,使其可以處理大量的提示和文檔。
為了確保立即可用性,Google正在發布預訓練和指導調節檢查點。該公司清楚地表明,Gemma 3 270m不是為複雜的開放式對話用例(例如聊天機器人)而設計的。取而代之的是,使用指令調整的版本設計為遵循結構化的提示和命令有效地開箱即用,為進一步的自定義提供了可靠的基礎。
這種強大的設計通過其在行業基准上的性能來驗證。在IFEVAL測試中,測量了模型遵循可驗證說明的能力,Gemma 3 2700M的得分為51.2%。該分數比其他具有更多參數的輕型模型高,顯示其重量遠高於其重量。雖然它可以預見的是數十億參數模型,但其性能對於其分數尺寸而言非常有競爭力。
極端效率AI
Gemma 3 270M的關鍵優勢是其低功耗。 Pixel 9 Pro上的內部測試顯示,INT4定量模型僅在25次對話中使用了該設備電池的0.75%,這使得它迄今為止是Google最有效的Gemma模型。
這種極端效率對於電池壽命和熱性能是最重要的電池效率至關重要。它還可以確保用戶隱私,因為可以在本地處理敏感信息而無需發送到雲。
為了促進這一點,Google提供了可以進行生產的量化量化培訓(QAT)檢查點。這使開發人員可以以最小的性能退化以INT4精度運行模型,這是在資源受限的硬件上部署的關鍵功能。
對於開發人員而言,Gemma 3 270m IS 現在通過流行平台可用,例如擁抱face ,ollama and kaggle and kaggle and kaggle instemation google google,這種廣泛的可訪問性,受到西蒙·威利森(Simon Willison)等開發人員的稱讚,他們將一個先前的Gemma版本稱為“我見過的任何型號的最全面的一天的發布”,這是圍繞這些較小,更實用的AI工具來培養充滿活力的生態系統的關鍵。