本報(bào)記者 梁傲男
8月11日晚間,北京智譜華章科技股份有限公司(以下簡(jiǎn)稱“智譜”)推出全球100B級(jí)效果最佳的開源視覺推理模型GLM-4.5V(總參數(shù)106B,激活參數(shù)12B),并同步在魔搭社區(qū)與HuggingFace開源。
這是智譜在通向通用人工智能(AGI)道路上的又一探索性成果。
GLM-4.5V基于智譜新一代旗艦文本基座模型GLM-4.5-Air,延續(xù)GLM-4.1V-Thinking技術(shù)路線,在41個(gè)公開視覺多模態(tài)榜單中綜合效果達(dá)到同級(jí)別開源模型SOTA性能,涵蓋圖像、視頻、文檔理解以及GUIAgent等常見任務(wù)。
智譜供圖
在多模態(tài)榜單之外,智譜更重視模型在真實(shí)場(chǎng)景下的表現(xiàn)與可用性。GLM-4.5V通過高效混合訓(xùn)練,具備覆蓋不同種視覺內(nèi)容的處理能力,實(shí)現(xiàn)全場(chǎng)景視覺推理,包括:圖像推理(場(chǎng)景理解、復(fù)雜多圖分析、位置識(shí)別)、視頻理解(長(zhǎng)視頻分鏡分析、事件識(shí)別)、GUI任務(wù)(屏幕讀取、圖標(biāo)識(shí)別、桌面操作輔助)、復(fù)雜圖表與長(zhǎng)文檔解析(研報(bào)分析、信息提?。?、Grounding能力(精準(zhǔn)定位視覺元素)
同時(shí),模型新增“思考模式”開關(guān),用戶可靈活選擇快速響應(yīng)或深度推理,平衡效率與效果。
在保持高精度的同時(shí),GLM-4.5V兼顧推理速度與部署成本,為企業(yè)與開發(fā)者提供高性價(jià)比的多模態(tài)AI解決方案。API調(diào)用價(jià)格低至輸入2元/Mtokens,輸出6元/Mtokens。
在技術(shù)細(xì)節(jié)方面,GLM-4.5V由視覺編碼器、MLP適配器和語(yǔ)言解碼器三部分組成,支持64K多模態(tài)長(zhǎng)上下文,支持圖像與視頻輸入,并通過三維卷積提升視頻處理效率。模型采用雙三次插值機(jī)制,有效增強(qiáng)了模型對(duì)高分辨率及極端寬高比圖像的處理能力與穩(wěn)健性;同時(shí),引入三維旋轉(zhuǎn)位置編碼(3D-RoPE),顯著強(qiáng)化了模型對(duì)多模態(tài)信息的三維空間關(guān)系的感知與推理能力。
此外,GLM-4.5V采用三階段策略:預(yù)訓(xùn)練、監(jiān)督微調(diào)(SFT)和強(qiáng)化學(xué)習(xí)(RL)。其中,在預(yù)訓(xùn)練階段,智譜結(jié)合大規(guī)模圖文交錯(cuò)多模態(tài)語(yǔ)料和長(zhǎng)上下文內(nèi)容,強(qiáng)化了模型對(duì)復(fù)雜圖文及視頻的處理能力;在SFT階段,智譜引入了顯式“思維鏈”格式訓(xùn)練樣本,增強(qiáng)了GLM-4.5V的因果推理與多模態(tài)理解能力;最后,RL階段,智譜引入全領(lǐng)域多模態(tài)課程強(qiáng)化學(xué)習(xí),通過構(gòu)建多領(lǐng)域獎(jiǎng)勵(lì)系統(tǒng)(RewardSystem),結(jié)合可驗(yàn)證獎(jiǎng)勵(lì)強(qiáng)化學(xué)習(xí)(RLVR)與基于人類反饋的強(qiáng)化學(xué)習(xí)(RLHF),GLM-4.5V在STEM問題、多模態(tài)定位、Agent任務(wù)等方面獲得全面優(yōu)化。
多模態(tài)推理被視為通向通用人工智能的關(guān)鍵能力之一,讓AI能夠像人類一樣綜合感知、理解與決策。其中,視覺-語(yǔ)言模型(Vision-LanguageModel,VLM)是實(shí)現(xiàn)多模態(tài)推理的核心基礎(chǔ)。
今年7月份,智譜發(fā)布并開源了全球10B級(jí)效果的VLM——GLM-4.1V-9B-Thinking。該模型以小博大,展現(xiàn)了小體積模型的極限性能潛力,上線后迅速登上HuggingFaceTrending榜首,并累計(jì)獲得超過13萬(wàn)次下載。
(編輯 張明富)
衛(wèi)星通信萬(wàn)億賽道起飛,手機(jī)直連時(shí)代開啟
衛(wèi)星通信管理制度及政策法規(guī)進(jìn)一步完善……[詳情]
21:58 | 2025年美國(guó)心臟協(xié)會(huì)科學(xué)年會(huì)前瞻:... |
21:57 | 格力博:選舉職工代表董事 |
21:57 | 新瀚新材:選舉職工代表董事 |
21:57 | 華瑞股份:選舉職工代表董事 |
21:57 | 華鵬飛:聘任內(nèi)部審計(jì)負(fù)責(zé)人 |
21:57 | 健盛集團(tuán):公司完成了本次回購(gòu) |
21:57 | 中銀證券:公司董事辭任 |
21:57 | 泰永長(zhǎng)征:選舉第四屆董事會(huì)職工代... |
21:57 | 泰達(dá)股份:公司無(wú)逾期債務(wù)對(duì)應(yīng)的擔(dān)... |
21:57 | 邁普醫(yī)學(xué):關(guān)于醫(yī)療器械進(jìn)入臨床試... |
21:56 | 杭州高新:股票交易異常波動(dòng)公告 |
21:56 | 姚振華及寶能集團(tuán)等被恢復(fù)執(zhí)行33.2... |
版權(quán)所有《證券日?qǐng)?bào)》社有限責(zé)任公司
互聯(lián)網(wǎng)新聞信息服務(wù)許可證 10120240020增值電信業(yè)務(wù)經(jīng)營(yíng)許可證 京B2-20250455
京公網(wǎng)安備 11010602201377號(hào)京ICP備19002521號(hào)
證券日?qǐng)?bào)網(wǎng)所載文章、數(shù)據(jù)僅供參考,使用前務(wù)請(qǐng)仔細(xì)閱讀法律申明,風(fēng)險(xiǎn)自負(fù)。
證券日?qǐng)?bào)社電話:010-83251700網(wǎng)站電話:010-83251800 網(wǎng)站傳真:010-83251801電子郵件:xmtzx@zqrb.net
安卓
IOS
掃一掃,加關(guān)注
掃一掃,加關(guān)注