Core AI 入门

Core AI 是专门针对 Apple 芯片打造的一套综合技术。完全在设备端加载并运行 AI 模型,可保障数据隐私,保持 App 响应迅速,并且不产生任何费用。

    概览

    Core AI 框架提供了一个内存安全的现代 Swift API,完全在设备端加载和运行 AI 模型,不依赖服务器,也不产生词元费用。模型会根据运行的硬件自动进行专业化,并支持预编译,实现瞬间加载。对推理内存、零拷贝数据路径和有状态执行的精细化控制可实现按规模提供相应性能,供你在 iPhone、iPad、Mac 和 Apple Vision Pro 上运行从紧凑型视觉模型到大型生成式 AI 的各类任务。

    Core AI 模型

    从来自研究社区的模型入手,它们已针对 Core AI 进行转换和优化。浏览可用模型或下载 Swift 软件包,并直接集成到你的项目中。此外,还包括生成式 AI 技能,帮助你快速上手并轻松浏览特定工作流程。

    Core AI PyTorch 扩展

    Core AI PyTorch 扩展可将你的 PyTorch 模型转换为针对 Apple 芯片优化的 Core AI 资产。将一个或多个推理函数导出为单一模型工件,对于注意力和归一化等常见模式利用内置的硬件优化操作,或使用你自己的定制 Metal 4 内核以获得最佳性能。对于高级用例,可以采用目标感知的模式和布局重新编写你的模型,以充分发挥底层设备系列的能效。

    Core AI Optimization

    Core Al Optimization 通过量化和堆积等技术减小模型规模并提升推断性能,同时将精度损失降至最低。自定义程度很高的配置让你能够精确控制要压缩的层、为每一层选择不同的技术,并微调粒度,以在模型质量、大小和速度之间找到最佳平衡。借助 Core AI Optimization,你可以灵活地将压缩策略与部署目标进行匹配。

    Core AI Debugger 和 Xcode

    适用于 Core AI 的新 Xcode 集成让你能够在部署前检查 Core AI 图、分析模型性能,并验证工件。Core AI Debugger 是一款专用的 macOS 应用程序,可让你深入了解整个管道中的模型行为和性能,并将数据直接追溯到原始的 Python 源代码。

    进一步了解 Core AI Debugger