banner
您的当前位置: 上钢信息门户网 > 科技 > 谷歌手机上的这颗芯片或将改变手机摄影行业

谷歌手机上的这颗芯片或将改变手机摄影行业

上钢信息门户网 2019-10-28 18:05:01
字号:T|T

资料来源:来自“安德罗中心”的内容,谢谢。

谷歌上一代手机pixel 3被誉为最好的照相手机是有原因的。因为谷歌在HDR+软件包中使用软件算法来处理像素,当这些算法结合一点机器学习,一些非常壮观的照片可能来自具有标准配置硬件的手机。

为了帮助处理这些算法,谷歌使用了一种叫做像素视觉核心的特殊处理器,这是我们2017年在像素2上看到的第一个芯片。今年,谷歌似乎已经用一种叫做像素神经核心的东西取代了像素视觉核心。

智虎用户陈杰·罗表示,像素1的hdr+运行在高通公司的hvx加速器上,速度很慢,因为hvx不是为图像处理而设计的。为了在连续拍摄中获得快速的用户体验,谷歌相机制作了一个图像缓存,将相机传感器的每一帧存储在内存中,并对hdr进行排队。这一代像素用户不会注意到hdr处理时间。然而,这种方法带来了一个问题:像instagram这样的第三方照片共享应用需要获取他们拍摄的内容,用户不能在共享照片之前等待几秒钟hdr完成。因此,hdr+是一代人以来谷歌相机应用的一个独特功能,不能用于第三方应用。由于这个原因和老板的热情,像素视觉核心(pixel visual core)诞生了,在硬件上加速hdr+的速度,这样第三方应用程序就可以立即完成hdr+计算,并获得经过处理的照片。测量结果令人惊叹,尤其是在高光对比度下,正面和背面的场景非常清晰,不会有太暗的脸的照片。这款芯片最大的优点是它的8个ipu内核是可编程的,不完全是asic,所以还有很多其他的应用场景。当时,设计这个芯片的初衷是为了成为一个全方位的图像处理芯片。hdr+是第一个展示。

最初的像素视觉核心旨在加速谷歌的HDR+图像处理算法,这使得像素2和像素3拍摄的照片看起来很棒。它使用一些机器学习程序和所谓的计算摄影来智能地填充不完美的照片部分。事实上,效果真的很好。它允许带有现成相机传感器的手机拍摄更高质量的照片。

如果我们相信像素神经核心,像素4将再次争夺智能手机摄影的榜首。

谷歌似乎在2019年使用一种基于神经网络技术的芯片来提高其像素手图像处理能力。神经网络是你可能听到一两次以上的东西,但是这个概念并不经常被解释。相反,它看起来像一些类似魔法的谷歌级计算机。事实并非如此,神经网络背后的想法实际上很容易让你迷惑。

神经网络是模拟人脑的一组算法。它“模仿”的不是大脑的外观,甚至是工作原理,而是大脑处理信息的方式。神经网络通过所谓的机器感知(由机器传感器等外部传感器收集和传输的数据)获取感觉数据并加以识别。

这些数据是称为向量的数字。来自“真实”世界的所有外部数据(包括图像、声音和文本)都被转换成向量,并被分类和归类成数据集。我们可以把神经网络想象成存储在计算机或电话上的某样东西上的一个额外的层,它包含关于它的含义的数据——它的外观、它听起来像什么、它说什么以及它什么时候出现。目录建立后,可以对新数据进行分类和比较。

一个真实的例子可以让这一切变得更清楚。Nvidia的处理器非常擅长运行神经网络。该公司花了大量时间扫描猫的照片并将其复制到网络中。一旦完成,通过神经网络的计算机集群可以识别任何包含猫的照片中的猫。小猫,大猫,白猫,印花布猫,甚至山狮或老虎都是猫,主要是因为神经网络有大量关于猫是什么的数据。

考虑到这个例子,不难理解谷歌为什么在手机中使用这个功能。这些可以与大量数据联系在一起的神经核心将能够识别相机镜头看到的东西,然后决定做什么。也许关于他们所看到和期望的数据可以传递给图像处理算法。或者,同样的数据可以输入助手识别毛衣或苹果。或者你可以比谷歌现在翻译书面文本更快更准确。

很容易想到谷歌可以设计一个小芯片,可以与神经网络和电话中的图像处理器接口,也很容易理解为什么它应该这样做。我们不确定像素神经核心到底是什么,或者它可能被用于什么,但是一旦它被“正式”发布,一旦我们看到手机和它的实际细节,我们肯定会知道更多。

*免责声明:这篇文章最初是作者写的。这篇文章的内容是作者的个人观点。重印半导体行业观察只是为了传达不同的观点。这并不意味着半导体行业观察同意或支持这一观点。如果您有任何异议,请联系半导体行业观察。

今天是半导体工业观察为您分享的2089年内容。请注意。

半导体工业观察

“半导体第一垂直介质”

实时专业原始深度

人工智能|射频|华为|中国核心|晶圆|复合|存储|阿里巴巴

回复文章并阅读“如何成为“半导体工业观察”的成员”

回复搜索,你可以很容易地找到你感兴趣的其他文章!