智东西7月30日报道,当地时间7月29日,苹果发布iOS18.1开发者测试版,上线AppleIntelligence的首个版本,同时47页的苹果自研大模型技术报告重磅发布。
AppleIntelligence首个版本上线了以下AI功能:
1、Siri升级。Siri唤醒后具备屏幕边缘发光特效,能理解用户表述不通顺的指令,且能回答关于苹果产品故障解决的相关问题。
2、写作工具升级。新版iOS提供苹果的文本生成服务;同时支持AI生成邮件、信息,语音转录摘要等功能。
3、视图工具升级。该版本提供更智能的图片搜索及电影回忆制作功能。仍有不少苹果在6月发布的AI功能未出现在iOS18.1开发者测试版(《苹果AI一夜颠覆所有!Siri史诗级进化,内挂ChatGPT-4o,奥特曼来了,马斯克怒了》),苹果称计划在明年推出,包括:
1、Siri的其他改进,包括个人信息分析,联动外部应用执行任务等。
2、图像视觉生成功能,包括表情符号的生成,以及自动清理照片等视图相关能力等。
3、OpenAI旗下ChatGPT的集成等。
iPadOS18.1、macOSSequoia15.1也植入了相关AppleIntelligence新功能,不过它们目前都仅向每年支付99美元的注册苹果开发者开放。
在今天发布的论文中,苹果透露了其两款苹果基础模型(AppleFoundationModel,简称“AFM”)。
论文链接:https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf
一个是30亿参数的端侧模型AFM-on-device,经优化可在iPhone和其他设备上高效运行;另一个是云端模型AFM-server,尚未公布模型参数。
报告首次对AFM的模型架构、训练数据、训练过程、推理优化及评估结果进行了解读,并提到背后模型的训练采用的是累计10240颗谷歌TPU,而未提及英伟达GPU。
根据论文描述,苹果自研大模型在指令遵循、文本总结方面测试超GPT-4。
一、苹果AI上机首秀:Siri“变身换脑”,写作一键润色
本次,苹果iOS18.1开发者测试版上线的AppleIntelligence功能,主要覆盖Siri、写作工具、邮件提要、照片自然语言搜索等方面。
1、整个屏幕闪起光环,Siri变身
Siri的变化首先是新外观,此前屏幕上出现的圆形光斑,被环绕屏幕的发光灯取代,以表示助手处于活动状态。
当开发者不想大声对Siri说话时,开发者可以从语音命令切换到键入:双击iPhone或iPad屏幕底部即可调出键盘,用于输入Siri查询和命令。
Siri已经能够理解多个指令上下文。例如,开发者可以要求Siri创建日程,然后要求创建提醒,而无需重复前面说的话。
2、写作工具上线,润色语句、邮件提要
写作工具是AppleIntelligence的一大卖点,支持开发者就语气和措辞提出建议,校对文本并总结要点。
录音转录功能也已经可以体验,在iOS18.1开发者测试版,语音备忘录应用程序以及Notes应用已经内置了录音转录功能。
写作功能既适用于苹果设备的内置应用程序,也可用于使用标准输入文本系统的第三方应用程序。
邮件应用现在会智能识别优先邮件,并将在收件箱顶部出现提醒浮窗,以提醒开发者特定的截止日期,或避免忘记一些重要行动事项。
此外,新版本还支持专注模式,称为“减少干扰(ReduceInterruptions)”,该模式将使用AI识别过滤重要的通知。
3、自然语言交互搜索照片,AI生成短片
开发者已经能够使用自然语言查找视频和照片。比如查询“我女儿吃芝士汉堡的照片”,苹果将提供对应的搜索结果。它应该可以更轻松地在视频中找到特定图像或确切时刻,而无需使用更通用的关键字。
新的电影回忆(Moviememories)功能可让开发者输入特定提示,使用照片应用中存储的照片和视频制作电影。
开发者可以输入自己的提示或使用AppleIntelligence建议的提示词,获得智能生成的电影,影片具有明确的章节和主题。
AppleIntelligence这些已上线的功能仍有一些使用限制。
目前,AppleIntelligence仅向每年支付99美元的注册苹果开发者开放,包括面向iOS、iPad和Mac的三个版本。开发者需要将设备区域设置为美国,语言设置为美国英语。
此外,此前6月报道曾提到,AppleIntelligence要求设备达到iPhone15Pro、iPhone15ProMax或配备M1的iPad和Mac及以上配置。
二、47页论文解读苹果大模型,文本总结等测试超GPT-4
相比于当下各家的AI手机,苹果自研模型的一大特点,是推出在设备上运行的端侧模型。
根据苹果今日最新发布的论文,该端侧模型名为AFM-on-device,包含约30亿参数,远小于OpenAI和Meta等公司模型的千亿参数级别。
为了执行更复杂的任务,苹果也开发了云端模型AFM-server。虽然具体大小尚未透露,但它旨在使用名为“私有云计算(PrivateCloudCompute)”的系统在苹果的云基础设施中运行,以保护用户数据。
如下图所示,AFM-on-device在人类测试中超越了Phi-3-mini、Mistral-7B、Gemma-2B等开源模型,接近Llama-3-8B的水平。
AFM-server在人类测试中超越Llama-3-70B、Mixtral-8x22B、GPT-3.5等闭源模型,接近GPT-4的能力。
同时,在指令遵循方面,AFM-server测试超GPT-4,AFM-on-device则超越了Llama-3-8B、Phi-3-mini等开源模型。
在文本总结方面,AFM两个版本也实现领先。
在架构方面,这两个基础模型包括一个基于AFM语言模型的编码模型,用于将智能融入Xcode,以及一个扩散模型,以帮助用户生成一些视觉内容。
其中,AFM基础模型是仅解码器的密集模型,它们建立在Transformer架构之上,并做了一些设计优化,包括分组查询注意力(GQA)、SwiGLU激活函数等。
研究人员在论文中解释道,AppleIntelligence由多个高性能生成模型组成,这些模型快速、高效、专门用于用户的日常任务,并且可以根据用户操作进行动态调整。
苹果展示了其模型开发的流程,强调从数据收集到模型部署的每个阶段,其都遵循负责任的AI原则。
在模型训练方面,苹果云端大模型采用了8192颗TPUv4芯片,端侧采用了2048颗TPUv5p芯片,并未用到英伟达GPU。
模型训练后工作包括一系列数据收集和生成、指令调优和对齐创新,涉及监督微调(SFT)和基于人类反馈的强化学习(RLHF)两个阶段,提高模型遵循指令、推理和写作方面的能力。
据称,这些模型是在多样化的数据集上进行训练的,包括网页、来自出版商的授权内容、代码存储库以及专门的数学和科学数据。苹果称其未使用私人数据训练模型。
结语:苹果AI首登iPhone,秀自研模型“肌肉”
时隔一个月,苹果终于上线了首批AppleIntelligence能力,在Siri、写作工具、视图检索等方面首先更新;与此同时,苹果两款自研模型曝出,让我们对AppleIntelligence的核心模型有了深入了解,并不是有媒体传的“ChatGPT套壳”,展现出有别于其他手机玩家的差异化打法。
不过,当下AppleIntelligence能力仅部分开发者可以用到。据外媒报道,苹果仍在修复许多新功能的漏洞,因此用户将不得不等待才能测试这些功能。苹果将会带来什么样的AI手机体验?我们拭目以待。
来源:苹果、X平台、CNBC、TechCrunch
未经允许不得转载:头条资讯网_今日热点_娱乐才是你关心的时事 » 一块GPU都没用,苹果自研大模型干翻GPT-4?