温馨提示：本站仅提供公开网络链接索引服务，不存储、不篡改任何第三方内容，所有内容版权归原作者所有
AI智能索引来源：http://www.jianshu.com/p/bb3e80729b41
点击访问原文链接

WWDC 2018：更快更强的 Core ML 2.0 - 简书

进入原网站 导航首页
WWDC 2018：更快更强的 Core ML 2.0 - 简书登录注册写文章首页下载APP会员IT技术WWDC 2018：更快更强的 Core ML 2.0故胤道长关注赞赏支持WWDC 2018：更快更强的 Core ML 2.0 本文是 WWDC 2018 Session 708 和 Session 709 的读后感，其视频及配套 PDF 文稿链接如下：
What is New in Core ML, Part 1
What is New in Core ML, Part 2
本文会首先回顾 Core ML 的基本背景知识，其后着重介绍 Core ML 在应用上和工具上的更新。

Core ML 回顾 Core ML 是苹果在2017年推出的机器学习框架。主要支持图像分类和文本信息处理两大功能。其基本流程是获取模型、导入并生成接口、使用接口编程3个步骤。我们来详细分析每一步：

获取模型。2017年时主要有两种方式：从官网下载和转化第三方框架生成的模型为 Core ML 模型。为了方便转化，苹果推出了 Python 编写的 Core ML Tools。2018年又推出了原生的 Create ML 框架来直接从数据生成 Core ML 模型。Core ML Tools 的优点在于其语法简单直接，缺点在于支持的第三方框架少、生成的模型尺寸过大且不能定制化。

导入并生成接口。这里直接拖拽模型进入 Xcode，Xcode 会自动生成相应的机器学习模型接口。无需任何手动或其他操作，十分方便友好。美中不足的是生成的接口是固定的、无法增加定制化接口。

使用编程接口。根据生成的 API 进行编程。2017年 Core ML 模型只支持对单一对象进行预测，无法批量预测，运行效率比较低下。

可以说2017年推出的 Core ML 框架十分易用，但其功能也十分简陋。开发者们只能在一开始模型生成上做定制化操作，且很有可能要依赖第三方框架。之后只能使用 Core ML 生成的固定模型进行编程，十分局限：无法优化预测效率、无法精简尺寸、无法增加新的层级、无法自定义模型。

针对这些缺陷，苹果在今年的 Core ML 2.0 上做出了如下改进——更小。更快。高度定制化。

新功能 Core ML 这次的新功能主要在于模型的接口生成新增了一个可以批量预测的 API。下面代码展示了原来的 API 和 新的 API：

// 预测单一输入 public func prediction(from: MLFeatureProvider, options: MLPredictionOptions) throws -> MLFeatureProvider // 预测多个输入 public func predictions(from: MLBatchProvider, options: MLPredictionOptions) throws -> MLBatchProvider 以前需要用 for 循环完成的操作现在可以用一个方法完成。不进如此，新的批量预测方法相对于 for 循环嵌套单一预测的实现，还用了 batch 进行优化。

原来的 for 循环单一预测方法需要完整地读入每一个数据，将其预处理后发送给 GPU，GPU 计算完毕后再把结果从 GPU 中取出并在程序中输出结果。新的批量预测方法则是消除了预处理和取出的操作，将所有数据一次性发给 GPU，利用 GPU Pipeline 将其逐个计算的同时依次取出结果。另外因为 GPU 一直在运算状态，GPU 可以对计算进行统一优化，使得相似数据的处理越来越快。这样整体的性能就要快上不少，具体逻辑如下图所示：

苹果当场展示了两种方法之间的效率之差：处理40张图片，新的批量预测方法比 for 循环的单一预测方法比要快将近5秒钟，效率上几乎提高了一倍。

除此之外，Core ML Tools 增加了第三方机器学习框架数量，从原来的6个增加到了11个，包括了最知名的 TensorFlow、IBM Watson、MXNet，数量和质量都有大幅提升。

性能优化 性能优化是 Core ML 的重头戏，苹果宣称 Core ML 2 的速度提高了30%。我们来看看苹果做了哪些工作：

量化权重。Core ML 的模型可以根据需求对权重进行量化。权重越低，模型尺寸越小，运转速度越快，占用内存资源也就越少，但是处理效果也就越差。

多尺寸支持。针对图片处理，Core ML 现在只需一个模型，就能处理不同分辨率的图片。相对于之前单一分辨率图片的模型，该模型更加灵活，且因为在底层大量共享代码，使得模型的体积也远远小于原来多个单独模型体积之和。

我们来重点看下量化权重。2017年时 Core ML 的所有模型权重都是32位，也就是说每个模型可以识别 2^32 个不同的特征值。这虽然带来了非常之高的准确度，但同时也使得 Core ML 模型非常之大（20+M）。对于 App 开发来说，尺寸大小是非常值得注意的因素。借鉴 App Thinning 的思路，苹果针对 Core ML 的模型大小进行了优化。现在开发者可以使用 Core ML Tools 对原来32位权重的模型进行量化，根据需要，苹果支持16位、8位、4位等权重。权重越低。模型尺寸越小，运转速度越快，但是处理效果也就越差。所以还是要根据实际需求进行选择，下图中我们可以看到不同模型尺寸和处理效果的对比。

在权重量化上我们可以针对需求做出最小体积的模型；同时针对多尺寸图片我们可以合并多个类似功能的模型；同时 Core ML Tools 又提供了自由定制权重的 API。在多重措施的优化之下，Core ML 的模型可以最大限度的缩小尺寸，从而带来更合适的加载和运算效率。

定制化 苹果在定制化方面推出了两种方案：定制化神经网络层和定制化模型。我们先来看定制化神经网络层。

很多 Core ML 模型的内部实现是多层神经网络，每一层接受上一层的输入，然后做出相应处理再将结果输出给下一层。例如，识别照片中动物是马的过程如下图所示：

这个神经网络每一层都是固定的、由 Core ML 框架自动生成并优化，我们不能做任何操作。这使得模型的功能大大受到局限：试想我们如果要基于上述模型生成一个新模型，使得该模型不仅能识别马，还能识别鸟、鱼、猫、狗等各种动物，最简单的做法就是将上述模型中判别动物是马的层级给替换掉。Core ML 2 现在提供了这种功能，具体操作步骤是：

获取生成含有特定的层级的模型。一般获取方法是依靠第三方神经网络库，比如 Keras。 用 Core ML Tools 将含有特定层级的模型转化成对应的 Core ML 模型。这其中我们要自定义特殊层转化方法。具体代码如下： # 用 keras 神经网络库生成模型，其中特殊层为 GridSampler model = keras.model.load_model('spatial_transformer_MNIST.h5', custom_object: {'GridSampler': GridSampler}) # 自定义 Core ML 模型中对应特殊层 GridSampler 的转化方法 def convert_grid_sampler(keras_layer): params = NerualNetwork_pb2.customLayerParams() # 定义名称和描述 params.className = 'AAPLGridSampler' params.description = 'Custom grid sampler layer for the spatial transformer network' # 定义层级参数，这里我们只要处理图片的长和宽 params.parameters["output_height"].intValue = keras_layer.output_size[0] params.parameters["output_width"].intValue = keras_layer.output_size[1] return params # 用 Core ML Tools 将 Keras 模型转化，其中特定层 GridSampler 的转化方法定义为 convert_grid_sampler coreml_model = coremltools.converters.keras.convert(model, custom_conversion_functions = {'GridSampler': convert_grid_sampler}) 将 Core ML 模型导入 Xcode 中，自定义特殊层的接口。其对应类务必实现 MLCustomLayer 协议，它是自定义神经网络层的行为协议，每个方法的具体解释可以参照苹果的官方文档：MLCustomLayer。 public protocol MLCustomLayer { public init(parameters: [String : Any]) throws public func setWeightData(_ weights: [Data]) throws public func outputShapes(forInputShapes: [[NSNumber]]) throws -> [[NSNumber]] public func evaluate(inputs: [MLMultiArray], outputs: [MLMultiArray]) throws } 同时，上文中提到的GridSampler的具体实现如下图：

当然并不是所有模型的实现都是神经网络。所以苹果还推出了定制化模型。实现一个定制化模型的方法十分简单，就是实现 MLCustomModel协议：

public protocol MLCustomModel { public init(modelDescription: MLModelDescription, parameters: [String : Any]) throws public func prediction(from: MLFeatureProvider, options: MLPredictionOptions) throws -> MLFeatureProvider optional public func predictions(from: MLBatchProvider, options: MLPredictionOptions) throws -> MLBatchProvider } 其具体说明亦可以参考苹果官方文档 。

总结 Core ML 2 在2017年的基础上增加了新功能，同时对模型大小和运转效率进行了相应优化。其配套工具 Core ML Tools 也增加了可支持的机器学习框架，同时开发者可以借助工具自定义神经网络层和 Core ML 模型。除此之外，苹果推出的 Create ML 也极大地解决了模型获取方面的局限。目前 Core ML 已经深度应用于 Siri、Photos、QuickType 等原生应用上，采用 Core ML 的第三方应用也多达182个，相信在不久的将来，Core ML 会成为所有主流 App 的标配。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。 相关阅读更多精彩内容Core ML 2有什么新功能Core ML是Apple的机器学习框架。仅在一年前发布，Core ML为开发人员提供了一种方法，只需几行代码即可...iOSDevLog阅读 11,731评论 3赞 9Core ML框架详细解析（十七） —— Core ML 和 Vision简单示例（一）版本记录 前言 目前世界上科技界的所有大佬一致认为人工智能是下一代科技革命，苹果作为科技界的巨头，当然也会紧跟新的...刀客传奇阅读 2,612评论 0赞 5WWDC 2017：深入浅出 Core ML本文是 WWDC 2017 Session 703 和 710 的读后感，其视频及配套 PDF 文稿链接如下：In...故胤道长阅读 4,311评论 6赞 37Core ML框架详细解析（十四） —— 使用Keras和Core ML开始机器学习（二）版本记录 前言 目前世界上科技界的所有大佬一致认为人工智能是下一代科技革命，苹果作为科技界的巨头，当然也会紧跟新的...刀客传奇阅读 2,505评论 0赞 0Core ML框架详细解析（十三） —— 使用Keras和Core ML开始机器学习（一）版本记录 前言 目前世界上科技界的所有大佬一致认为人工智能是下一代科技革命，苹果作为科技界的巨头，当然也会紧跟新的...刀客传奇阅读 2,058评论 0赞 3友情链接更多精彩内容美国西雅图攻略投资一家宠物酒店需要多少钱？石林峡风景区适合带宠物一起游玩吗？利川腾龙洞风景区带子真的有那么好吃吗？上海生日免费的景点你家宠物能帮忙驱蚊吗？这些驱蚊小技巧让毛孩子变身驱蚊小卫士！哈密旅游景点大全广州去武汉攻略高铁可以托运狗狗吗？狗半岁不吃狗粮怎么办国产狗粮怎么选？豆柴适合你家狗狗吗？如何正确使用宠物体温计为爱宠测量体温？热饮的品种和做法欧洲买表攻略电饭煲做板栗的做法泸州有什么特产狗狗可以每天吃肉吗？宠物饮食的必知小贴士昆明到版纳自驾游狗狗被猫咬了该怎么办？猫咪怀孕周期计算虎皮豆腐做法英伟达市场份额：高端芯片从 95% 到 0%，太惨烈佳木斯风景区适合带宠物一起游玩吗？观山湖公园有什么秘密狗狗总是不吃饭怎么办狗粮中的钙含量充足吗？高百丈风景区好玩吗狗狗的年龄怎么计算才准确？庐山自驾旅游攻略推荐阅读猫咪流红色眼泪怎么办俄尔则俄自驾游攻略，沿途有哪些必打卡景点？幼犬更换狗粮需要多久中午猫咪的瞳孔像什么日本有哪些旅游景点腊肉怎么蒸好吃又简单为什么说勇敢的狗狗从来不怕困难？11月张家口有什么好玩的衢州市景点免费有哪些猫咪什么时候可以驱虫江苏连云港有什么好玩的地方天姥山徒步路线有哪些值得推荐的？评论1赞5252赞53赞赞赏手机看全文

智能索引记录