智能影像，从“芯”开始 ：紫光展锐“硬件+算法”打造超凡视听体验

11月10日消息（林想）本周，以“象由芯生·科技服务人民”为主题的2020紫光展锐市场峰会重磅开启，广大生态合作伙伴共聚一堂，共话数字世界新未来。

在今天举办的“多媒体技术研讨会”上，来自紫光展锐产业链的合作伙伴将分享有关多媒体发展趋势、图像优化，手机拍照、AI与多媒体技术融合方面的最新技术及应用。

智能影像，从“芯”开始

亚里士多德将人体的感官分为5种，即触觉、嗅觉、味觉、听觉和视觉。人类感知世界人类感知世界80%以上来自视觉。随着技术的不断发展，相机可以还原人眼，记录更多的场景。

随着手机终端的不断演进，在影响功能变得日渐强大，手机拍照已经成为人们记录生活的最佳方式之一。在手机拍照方面，ISP（图像信号处理器）是拍照颜值担当、CPU、GPU是性能担当、NPU是智慧担当，Modem则是外交担当。

“ISP性能会直接影响到手机拍照、摄像水准。”紫光展锐先进多媒体实验室主任赵磊表示，移动端设备从本世纪初开始逐渐兴起，其拍照功能也是愈发完善。 在 2010 年后，手机拍照迎来了技术发展的一次爆发。在这一过程中，智能手机强大的硬件为手机中内置的ISP系统提供了巨大支持。

但ISP并不是万能的，AI技术的迅猛发展给相机带来了新的机遇，于是人工智能被广泛应用到智能影像。从目前来看，AI引入到智能影响可以分为三个阶段：

阶段一，图像理解->高层视觉（high level vision），对图像分析得到场景的语义表示，具有人眼和人脑的能力；阶段二，图像分析->中层视觉（middle level vision），对图像的内容进行分析，提取有意义的特征，便于后续更高层的处理；阶段三：图像处理->低层视觉（low level vision），对输入的图像做某种变换，输出仍然是图像，基本不涉及或者很少涉及图像内容的分析。

现在图像处理技术已经全面AI化了。那么手机上又将如何用AI呢？

对此，赵磊指出，借助CPU/NPU/DSP/GPU的计算能力，ISP芯片告别裸奔走向组合模式。据悉，紫光展锐推出的UNISOC T7520芯片组，在降低功耗的同时实现了优化的5G体验，而且通过大幅增强的AI计算和多媒体成像处理能力，大幅提升用户的手机拍照体验。

硬件+强大算法成就超凡影像

数据显示，2014-2019年全球平均每部手机摄像头数量逐年增长，2019年的手机机型里面高摄头大部分都已经大于3。多摄给手机用户提供了很多酷炫的拍照功能，比如说景深虚化以及前摄的自拍，同时还有超广角、超微距、这都是手机厂商重点宣传的功能。

“Bokeh可以实现单反大光圈效果，非焦点部分产生模糊的美学质量。”紫光展锐游瑞荣表示，手机实现Bokeh有单摄、多摄、 相机三种解决方案。目前的Bokeh解决方案在 计算和虚化算法存在难点。为此，紫光展锐加入硬件特性和AI来提升整个算法效果。

游瑞荣指出，与竞品相比，紫光展锐虎贲T618在Bokeh算法方面，AI加速性能更优，功耗也更低。未来的发展一定是AI芯片算力能力越来越强，同时结合硬件的性能，让整个系统发挥更大的作用，更好地提升拍照质量。

“暗光对手机成像带来极大挑战，增大传感器尺寸，延长曝光时间、外加光源和更换color filter并不能完全解决这一痛点。”紫光展锐王微指出，在去噪算法方面，传统与AI方式各有利弊。AI去噪几乎不需要调参，能较好的兼顾噪声去除与细节保留，覆盖场景广，能较好的应对复杂场景，但对手机性能要求高，效果不可控。

王微强调，要想真正提升暗光拍照的成像质量，需要不错的硬件加上强大的算法，以AI ISP软硬协同设计，AI端侧计算能力支持为基础，才能成就世界领先的拍照成像质量。

为了承载不断增长的手机摄像技术和生态产品发展需求，多媒体开发平台必须具备高像素拍照能力、高帧率视频能力，单帧处理能力、降噪和融合这些基础能力。作为数据的提供方，多媒体开发平台还需要有数据提供能力，以便于后续的算法包括AI的AR、VR等等算法在这个平台上进行二次开发。

据紫光展锐孙长斗介绍，目前，紫光展锐平台在靠性、可扩展性，接口标准化方面多下功夫，以实现多产品、多生态支持能力，目前已实现8种人像光效、10倍变焦、360度环视和手势控制，并已应用到在各个场景中。

多种视频解码和显示，打造极致视觉体现

除了打造高质量影像之外，如何提升用户视觉体验，紫光展锐引入了多种视频解码和显示技术，HDR技术就是其中之一，它可以极大的提升动态范围和色域，带来极其震撼的主观体验。

通过摄像头来采集真实世界的画面，再经过后期的处理，最后还要经过视频的编码，通过网络的传输或者存储器的携带，放到我们终端显示器上面去，通过终端显示的解码再成像出来。罗小伟指出，这里面的采集以及编码都会带来信息的损失。

紫光展锐罗小伟指出，评价一个视频或者图像的好坏其实有很多的维度，比如分辨率、帧率、动态范围、颜色范围等，HDR 视频就是从这几个维度提高视频质量，所以HDR视频必须要遵循一些规范。

SMPTE提出了三个标准，分别对EOTF曲线和静态元数据、动态元数据进行了定义；ITU-T对于UNDTV系统以及HDR的技术中使用的色域进行了定义，对HDR对HDR电视分发系统的性能做出了规定；CTA对 HDR 显示设备的最低标准做了限制：包含至少一个HDR信号接口，能够接受并处理 HDR 静态元数据，在显示图像之前能够使用合适的EOTF曲线对媒体文件进行处理。

罗小伟指出，紫光展锐开发的显示增强技术，通过运用色域转换、色调映射和动态对比度增强技术，将高动态、高位深和广色域的HDR视频转换成适合在SDR屏幕上播放的画面。在SDR屏幕上充分还原HDR视频精美的画面质量和绚丽的色彩表现。

据悉，紫光展锐支持多种视频的解码和显示，展锐新一代SoC虎贲T7520支持目前应用广泛的HLG和HDR10/10+等格式，给用户带来HDR视频的极致视觉体验。

智能音频无限未来，展锐之声与你共鸣

除了视觉之外，智能音频的需求也日趋高涨。

紫光展锐叶顺舟指出，目前，ANC主动降噪普及度远远没有达到业界预期，为了让ANC飞入寻常百姓家，紫光展锐在芯片集成前馈A（z）、反馈C（z）系数自适应算法，稳定性高，拥有核心专利；产线校准开启自适应模式，得到单体最优系数，提高一致性容忍度，良率提升，成本降低，下游客户与消费者获利。

紫光展锐的ANC自适应校准流程，整个过程与设备仪表配合，一键完成，无需人为参与；滤波器收敛可靠时间15~30s，步骤2、3实验可简化，过程更高效；针对不同场景的降噪需求，可在测试环境中播放不同的场景噪声，得到各场景下的最优系数并存储。

在ANC行业缺陷改进探索方面，紫光展锐三方发力：风噪爆破音前馈通道引入，通过耳内/外麦克信号统计特性进行风噪检测，控制前馈增益；咀嚼爆破音反馈通道引入，通过耳内/外麦克信号强度进行自体振动检测，控制反馈增益；底噪增大ADC通道主要贡献，提高ADC量化精度，提高SNR（伴随功耗提升），增加安静模式检测，控制ADC增益。

ANC解决自己听的问题，ENC则解决对方听的问题。据叶顺舟介绍，紫光展锐ENC技术自适应beamforming定向拾音技术，三级降噪设计，对不同噪声分类处理，解决mic数量、尺寸限制下的指向性问题。在指向性可针对应用需求在+/-30度范围内调整；支持1.5-3cm麦克间距设计；并单独针对风噪统计特性，设计了基于双麦的风噪抑制算法。

此外，叶顺舟强调，目前ENC融合新技术呈现四大发展趋势值得关注：Beamforming存在mic间距要求，适用于杆式耳机，豆式结构难以应用，其次强风噪，极低SNR下性能有限；AI降噪在单麦产品有广泛的应用前景，对如风噪的特定噪声处理效果理想，但NN模型的小资源需求（100KB以内）与其泛化性能存在矛盾；耳内三麦与ANC系统完全复用麦克，解决强风噪与配戴角度问题，但信号融合带来的不自然感丞待解决，且依赖入耳式设计；骨传导与耳内三麦原理类似，信号更稳定，可应用于半入耳式设计，缺点是成本过高，且同样面临信号整合问题。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。