清華大學(xué)合作推出看圖答題小能手CogAgent

IT之家 12 月 27 日消息，清華 KEG 實(shí)驗(yàn)室近日和智譜 AI 合作，聯(lián)合推出了新一代圖像理解大模型 CogAgent。

該模型基于此前推出的 CogVLM，通過視覺 GUI Agent，使用視覺模態(tài)（而非文本）對 GUI 界面進(jìn)行更全面直接的感知，從而作出規(guī)劃和決策。

CogAgent 可以接受 1120×1120 的高分辨率圖像輸入，具備視覺問答、視覺定位（Grounding）、GUI Agent 等多種能力，在 9 個(gè)經(jīng)典的圖像理解榜單上（含 VQAv2，STVQA, DocVQA，TextVQA，MM-VET，POPE 等）取得了通用能力第一的成績。

例如，用戶輸入一張關(guān)于 CogVLM 項(xiàng)目的 GitHub 的圖片，然后詢問如何給這個(gè)項(xiàng)目點(diǎn)“Star”，然后 CogAgent 就會反饋出結(jié)果。

圖源：中國網(wǎng)科學(xué)

例如用戶輸入一張?jiān)裼螒虻慕貓D，可以詢問“當(dāng)前任務(wù)中的隊(duì)友是誰？”，CogAgent 會給出相關(guān)的回答。

IT之家附上相關(guān)信息地址如下：

• 論文：https://arxiv.org/abs/2312.08914

• Demo：Streamlit

• 代碼：https://github.com/THUDM/CogVLM