苹果拍照算法有多厉害(苹果相机算法是什么意思)

在 iPhone 11 系列的发布会上,苹果高级副总裁菲利普・席勒(Philip W. Schiller)在介绍 iPhone 11 Pro 系列的影像系统时,第一次将计算摄影的概念引入,这个概念也第一次被大众所熟知。

其实,计算摄影这个概念并不新鲜,最早出现在 94 年就的一篇公开论文中,且认定机内合成 HDR、全景照片以及模拟散景都属于计算摄影范畴。但当时照片的主流载体还是胶片,数码相机才刚刚起步,手机上还没有摄像头。

▲ iPhone 11 Pro 发布会上介绍计算摄影的菲利普・席勒(Philip W. Schiller). 图片来自:Apple

几十年后,影像记录的载体从胶片换成数字,手机拥有了摄像头,计算摄影也从理论中走出,渐渐成为一大潮流。

不过这这潮流跟相机关系不大,相机厂商依然按部就班的提高像素、连拍速度和视频能力,似乎对计算摄影两耳不闻,拍出来的照片(直出)依旧很平庸,渐渐被智能手机「超越」。

与之相反的是, 智能手机芯片的算力越来越强,AI、算法、机器学习介入的范围也更广,图像的演绎方法越来越多,最终经过一系列「算法」处理过的照片也愈发好看。

现在,很多人出门更愿意用手机记录、分享,而相机越来越少见,这也反应在二者的市场表现上,智能手机市场增速强劲,相机市场则连年萎缩,甚至 DC(卡片相机)都渐渐消失。

这时,就有人会问了,既然智能手机随手一拍所得照片的观感这么好,为何传统的相机厂商不去跟随计算摄影的潮流,考虑提高照片直出的观感呢?

是相机算力不够,算不过来?

这个问题我们先从「核心」谈起。

手机的核心是 SoC,它集成了 CPU、GPU、ISP、NPU 以及基带等,可以让你打电话、拍照、看视频、玩游戏、上网等操作,也直接决定了手机的性能。

而相机的核心部件是图像传感器(CMOS),除了元件面积外,跟手机差不多,作成像与感光。另外,控制整套相机系统的中央处理芯片叫做图像处理器(Image Processor)。

以索尼的 BIONZ X 图像处理器为例(α7 系列御用),它包括 SoC 和 ISP 芯片,并没有将 ISP 集成在 SoC 内,优点是索尼可以自行根据 CMOS 的性能需求,而自行增加 ISP 芯片的数量(α7RIII 的 BIONZ X 就配备了双 ISP),缺点就是集成化程度没有手机那么高。

BIONZ X 中 SoC 的作用跟手机的类似,控制操控界面与相机功能,性能要求并不高。对图像传感器采集的「数据」进行拜尔转型、解马赛克、降噪、锐化等操作,多是依靠 ISP,最终把 CMOS 采集的数据转换成相机的实时取景。在这个过程中,相机的 ISP 不涉及计算过程,只是把照片当做流水线上的产品,进行统一的处理。

▲ 索尼 BIONZ X 图像处理器。图片来自:SONY

随着现在相机的像素数、连拍速度以及视频性能不断提升,相机的图像处理器对图片处理的速度和吞吐量需求很高,单一的数据量很庞大,在不涉及「计算」的前提下,相机图像处理器的处理能力远超过现在智能手机 ISP 的处理能力。

但说到计算摄影,或者说 AI 能力,就有些不太一样了。智能手机的成像过程有些类似相机,不过在呈现最终画面之前,还需要 ISP、DSP 的计算,实时调整、优化,尤其是在多摄系统成为主流后,手机的计算数据量成倍增长。

在 iPhone 11 Pro 系列推出多摄系统后,多摄系统能够平滑、无缝切换的背后是 A13 Bionic 中新增的两个机器学习加速器庞大的数据处理能力,达到了每秒一万亿次,如此高频高效的数据处理能力才算是吃下了三个摄像头所产生的庞大数据量。

相机的图像处理器多是对原始数据进行预处理,几乎没有计算的过程,而手机 SoC 则包括数据采集预处理以及后续的计算过程,二者着重的方向不同。

面向群体不同,市场细分的结果

手机计算摄影发展很快,根源还是因手机的图像传感器(CMOS)尺寸太小,以现在的技术,想要在物理上超过或者接近相机只能通过算法优化,拼直出观感,比如说,自动 HDR、超级夜景、模拟大光圈、魔法换天等功能。

▲ 拍摄一张照片,iPhone 所做的「计算」过程。图片来自:Apple

但这些算法的演绎,做到可以「个性化」干预还是很难,比如说滤镜加到什么程度,HDR 高光暗部保留到什么程度等。不过,对于面向大众人群的手机而言,尽可能让大多数人拍出不错的照片,更加符合手机的市场定位和人群定位。

自相机发明以来,相机就有着绝对的「工具」属性,为了高效,外观、操控、功能等等均会向效率妥协。面向更小众的职业人群,自然也会更符合他们的需求,相机们会尽可能的记录色深、色彩、光线等信息,以便使用者进行更大范围的后期调整,直出好不好看,并不在他们的需求里。

▲ RAW 文件内记录了更多的信息,可以进行更大范围的调整。图片来自:Ben Sandofsky

对于大多数没有摄影基础的人来说,随手获得一张观感不错的照片,远比得到一张信息丰富的照片更加重要。而对于面向专业领域的相机厂商们,提升 RAW 记录的色深要比提升 JPG 直出效果更符合市场定位。

不过,事情并非那么绝对,相机们也在尝试改变。富士就一直致力于相机的直出效果,引入了「胶片模拟」,透过不同的算法,让拍出的照片更有味道,观感也更为好看。但这过程并没有经过场景计算,而是需使用者自行选择,这与手机的一些胶片模拟 App 有些类似,涉及不到所谓的「计算摄影」。

AI 后期,才是相机的大方向?

摄影领域中,后期处理是必不可少的步骤,一方面,后期软件可以充分利用 RAW 格式中所记录的丰富信息,另一方面也可借助 PC 的高性能和算力来对照片快速处理。

与相机厂商不同,几乎主流的专业后期软件都已开始在 AI 上发力,强调 AI 的处理能力。

▲ 后期软件 Luminar 4 支持 AI 自动换天。图片来自:Luminar

Adobe 公司的 Photoshop 在近几个版本的更新中,在抠图、修复、磨皮等操作中加入了自动识别功能,使得操作越来越无脑,效果越来越精确。而 Mac 平台上的 Pixelmator Pro 修图软件,早在 2018 年就开始借助苹果的 Core ML 机器学习进行识别图像,从而进行色彩调整、抠图、选取,甚至在压缩输出时,都运用了 ML 机器学习引擎。

▲ Pixelmator Pro 2.0 的图像编辑支持机器学习引擎助力。图片来自:Pixelmator

前文所提,现在相机厂商由于芯片 AI 算力限制,和面对小众市场问题,几乎没有在计算摄影上发力。但后期软件在 AI 上的爆发,也算是在侧面弥补了相机们在计算摄影上的短板。

即使算上后期软件的 AI,相机们依然没有摆脱传统的流程,相机们记录,软件们处理,这个过程对于大众们来说,依然繁琐。对于专业的摄影玩家,后期软件 AI 的介入,的确能够减少工作量,让原本繁复的抠图等操作变得轻松不少,但依然无法扭转传统摄影行业的照片处理(创作)流程,与手机截然不同。

▲ 2020 年 9 月全球数码相机出货量,远不及 2018 年。图片来自:CIPA

根据 CIPA 的数据,相机市场正逐步萎缩,与之相反的是,手机市场不断的增长。智能手机上成为潮流的「计算摄影」,并不会改变相机日趋专业的方向,也不会扭转相机市场逐步萎缩的局面。

换句话说,即使现在相机们有着与智能手机接近的「计算摄影」能力,就能挽救「江河日下」的相机市场吗?答案当然是否定的,举个极端的例子,拼直出可行的话,那富士相机会有着第一的市场份额。事实上,现在无反相机第一的宝座,反而被直出并不好看的索尼占据着。

▲ 索尼微单已成为不少工作室的工作用机。图片来自:SmallRig

面对来势汹汹的手机们,相机们只能向着更专业的方向发展,不断的向上细分市场,近些年全画幅的 4000 万、6000 万高像素,中画幅的过亿像素,以及微单视频能力不断接近专业摄录一体机,都是相机细分市场的产物。

相机专业化越来越强,也就意味着需要性能更佳的图像传感器(CMOS),但「计算摄影」倚重单独的机器学习模块,众所周知,芯片的研发成本高、风险大,相机厂商们难以兼顾二者。计算摄影和发展专业化是两条不同的道路,同时,对于专业用户用处不大的「计算摄影」、「AI 干预」等特性,相机厂商大概率因平衡研发费用,暂时被战略性放弃。

在现阶段或者可见的未来内,想要相机厂商去拥抱「计算摄影」风险高、投资大,成效慢,是难上加难,更别说现在还有一众专业后期软件用 AI 修图来托底了。

(0)

相关推荐

  • 苹果拍照九宫格怎么设置(苹果的拍照九宫格在哪设置)

    许多热爱拍照的小伙伴在拍照时会习惯用九宫格来辅助拍摄,这样拍摄的照片才更有水准.比如对角线取景.三分之一取景.黄金分割取景等基本都可以利用九宫格来得到更快的拍摄效果.那么如何在苹果手机中调出九宫格呢? ...

  • 苹果拍照反色差怎么调

    今天小编要和大家分享的是苹果拍照反色差怎么调(目前苹果手机相机没有此功能,只能够通过编辑照片实现该功能),希望能够帮助到大家. 操作方法 01 首先在我们的手机桌面上找到照片并点击它,如下图所示. 0 ...

  • 苹果笔记本电脑怎么用小度Wifi 苹果电脑wifi共享教程

    之前我们看到的很多小度Wifi都是针对大多数普通Windows电脑用户的使用,那么苹果Mac电脑,百度小度Wifi又该如何使用呢?由于苹果电脑采用自家的Mac系统,而百度小度Wifi只有针对Win7/ ...

  • 苹果MAC有哪些秘密功能?苹果电脑中隐藏的10个秘密功能介绍

    让我们面对现实吧:其实你并不像你自己想象的那样了解你的苹果电脑,但是进一步了解它希望还是有的! 从隐藏计算器的使用到向你完整介绍电脑中那些微小但是有用的图标,以下内容展现的这些苹果电脑使用小窍门能够大 ...

  • 苹果Macbook如何强制退出程序?苹果Macbook强制退出程序的方法

    苹果Macbook如何强制退出程序?苹果MacBook是使用的MAC OS系统,如果您经常使用Windows系统,可能会习惯性的按下ctrl+alt+del打开任务管理器来关闭程序,但是苹果Mac下强 ...

  • 怎么用快用苹果助手导入视频?快用苹果助手导入视频到iphone手机的方法

    快用苹果助手是IOS用户最受欢迎的应用下载平台,可以帮助用户清理垃圾.不越狱装软件,也有很多用户喜欢用快用苹果助手把电脑上的视频导入到苹果手机上.那么,应该怎么使用快用苹果助手导入视频呢?下面我们就一 ...

  • 苹果iPone6如何截屏,苹果6怎么截图

    截屏是手机内置的小功能,方便保存信息.安卓类的手机截屏一般都有文字提示,而苹果6却没有,那么苹果6是如何截屏.截图的呢?下面我来给大家操作下! 操作方法 01 首先我们来看看苹果6的机型外观:找到我们 ...

  • 苹果iPhone连接电脑没反应苹果6连不上iTunes

    生活中有着各种各样的烦恼吗,下面就由小编教你怎么处理苹果iPhone连接电脑没反应苹果6连不上iTunes的问题,希望你的生活多姿多彩! 操作方法 01 电脑上安装一个同步助手,看看同步助手能不能识别 ...

  • 苹果6不能下载应用,苹果iPhone6无法下载软件

    苹果6不能下载应用,苹果iPhone6无法下载软件怎么办?相信不少朋友在iPhone6手机下载软件时,可能会遇到在App Store上面应用软件无法下载下来问题,那么iPhone6不能下载应用软件该如 ...

  • 南京苹果售后乘车路线,南京苹果售后地址汇总

    南京苹果售后乘车路线,南京苹果售后地址汇总 南京玄武区苹果售后:新世界店 01 新世界店玄武区 南京市玄武区珠江路88号新世界中心A座9楼903室 营业时间:09:00-19:00 地铁路线:方案①: ...