苹果推出300亿参数多模态AI大模子MM1.5，可识别UI界面推理应然讲话
该版块模子提供10 亿-300亿多种参数规模，领有图像识别和当然讲话推理才气。点击收听本新闻听新闻
IT之家 10 月 13 日讯息，苹果公司现已为旗下多模态大模子 MM 推出 1.5 版块，该版块模子基于前代 MM1 的架构，链接接续数据运转的历练原则，要点相干在不同历练周期中羼杂不同类型数据对模子性能的影响。
现在关系模子文档已发布于 Hugging Face 上，IT之家附论文地址如下（点此走访）。
该版块模子提供 10 亿-300 亿多种参数规模，领有图像识别和当然讲话推理才气。苹果公司研发东说念主员在新版块中改造了数据混统共策，显耀升迁了模子在多文本图像领路、视觉援用与定位（Grounding）以及多图像推理方面的才气。
参考论文，团队在 MM1.5 的捏续预历练阶段引入了高质地的 OCR 数据和合成图像描摹，显耀升迁了模子对包含大宗文本的图像的领路才气。
此外，相干东说念主员在监督式微调阶段分析了不同数据类型对模子弘扬的影响，优化了视觉领导微调数据的羼杂形状，p2p网贷从而为模子齐全了更高的效果，团队暗示，即等于小规模的模子（10、30 亿参数版块）也能弘扬出色。
值得关怀的是，苹果公司本次还推出了稀奇用于视频领路的 MM1.5-Video 模子和稀奇解决迁徙树立用户界面（UI）领路的 MM1.5-UI 模子，其中 MM1.5-UI 模子改日有望行动 iOS 幕后的“苹果牌”AI，其大略解决各式视觉援用与定位任务、追思屏幕上的功能，或者通过与用户的对话进行交互。
尽管 MM1.5 模子在多项基准测试中获得了优秀弘扬，苹果团队仍操办通过进一步会通文本、图像和用户交互数据，筹备更复杂的架构，来升迁模子对迁徙树立 UI 的领路才气，加强“苹果牌”AI 的实力。
