感谢IT之家网友的线索投递！
4 月 10 日消息，苹果公司近日发布研究论文， 展示了 Ferret-UI AI 系统，可以理解应用程序屏幕上的内容。
以 ChatGPT 为代表的 AI 大语言模型（LLMs），其训练材料通常是文本内容。为了能够让 AI 模型能够理解图像、视频和音频等非文本内容，多模态大语言模型（MLLMs）因此孕育而生。
只是现阶段 MLLMs 还无法有效理解移动应用程序，这主要有以下几个原因：
1. 手机屏幕的宽高比，和大多数训练图像使用的屏幕宽高比不同。
2. MLLMs 需要识别出图标和按钮，但它们相对来说都比较小。
因此苹果构想了名为 Ferret-UI 的 MLLM 系统解决了这些问题：
苹果在论文中表示相比较现有的 GPT-4V，以及其它 MLLMs 模型，Ferret-UI AI 模型更为优秀。