12月23日午間消息，近日，智源研究院發布國內外100余個開/閉源語言、視覺語言、文生圖、文生視頻大模型綜合及專項評測結果。評測發現，2024年下半年，大模型發展更聚焦綜合能力提升與實際應用。多項評測結果中，字節跳動多項AI能力領先，阿里巴巴、百度等大廠派AI均取得優異表現。
據評測結果，針對一般中文場景的開放式問答或生成任務，語言模型能力已趨于飽和穩定，但是復雜場景任務的表現，國內頭部語言模型仍然與國際一流水平存在顯著差距。在中文能力理解上，字節跳動Doubao-pro-32k-preview、百度ERNIE 4.0 Turbo位居第一、第二，OpenAI o1-preview-2024-09-12、Anthropic Claude-3-5-sonnet-20241022位列第三、第四，阿里巴巴Qwen-Max-0919排名第五。
在視覺語言多模態模型能力評測結果中，一些較好的開源模型在圖文理解任務上正在縮小與頭部閉源模型的能力差距，而長尾視覺知識與文字識別以及復雜圖文數據分析能力仍有提升空間。評測顯示，OpenAI GPT-4o-2024-11-20與字節跳動Doubao-Pro-Vision-32k-241028先后領先于Anthropic Claude-3-5-sonnet-20241022，阿里巴巴Qwen2-VL-72B-Instruct和Google Gemini-1.5-Pro緊隨其后。
此外，文生圖多模態模型今年上半年參評模型普遍無法生成正確的中文文字，但此次參評的頭部模型已經具備中文文字生成能力，但整體普遍存在復雜場景人物變形的情況，針對常識或知識性推理任務，小于3的數量關系任務表現有所提升，大于3的數量關系依然無法處理。評測結果顯示，騰訊Hunyuan Image位列第一，字節跳動Doubao image v2.1、Ideogram 2.0分居第二、第三，OpenAI DALL·E 3、快手可圖次之。
在文生視頻多模態模型，畫質進一步提升，動態性更強，鏡頭語言更豐富，專場更流暢，但普遍存在大幅度動作變形，無法理解物理規律，物體消失、閃現、穿模的情況。評測結果顯示，快手可靈1.5（高品質）、字節跳動即夢P2.0 pro、愛詩科技PixVerse V3、MiniMax海螺AI、Pika 1.5位列前五。
據介紹，本次評測依托智源研究院自2023年6月上線的大模型評測平臺FlagEval，經過數次迭代，目前已覆蓋全球800多個開閉源模型，包含20多種任務，90多個評測數據集，超200萬條評測題目。（文猛）
