基于AI和NPU的Codec变革——VPU与NPU的协同创新( 三 ) _视频

文章插图
第二方面，如何有效提升数据计算的有效性，同样存在三点问题。第一是对于NPU和AI来说，这是一个致命的问题。对于AI的幻灭，其中一个重要原因是虽然提升了计算容量，但是实际交付给用户时，用户发现容量很大，比如有，但实际上每秒只能用到5TOPS，甚至只有2TOPS，这个问题在第一代NPU中非常普遍，那么如何充分调整计算维度呢？第二是数据类型。在进行AI算法时，很多计算类型是通过渐次的数据传输或数据近似来完成的，这本来就是一个近似过程，那么是否可以考虑引入一些与AI加速相关的计算维度，而不是仅仅做LP32或LP64这样的计算维度。这样的计算维度可以提高整个计算性能，特别是在进行数据复用时。例如，可以将一个64bit乘法器简单地折成两个32bit乘法器，这样的技术增加可以带来可观的算力膨胀。
第三点问题，是关于数据中心的能力激进。图片展示的是2023年ISSCC公布的“未来十年计算效率的改革”，可以看到数据量在不断上升。这样的上升意味着什么呢？如果回顾前面的内容会发现，首先，随着单位算力成本的下降，计算中心或者所谓的算力焦虑会比预期的来得更早。再次，随着计算中心的算力增加和计算效率提高，可以获得更显著的效益。过去，训练大网络模型可能最昂贵的不是采购GPU卡的问题，而是长时间的耗电费用。如果能使计算变得更高效，即使节省1％或10％的能源消耗，对于进行大模型训练或数据中心来说都将带来质的收益。此外，这种效益对于模型部署后的运维非常重要，因为它带来的是长期的收益。
开发一个模型可能是阶段性的，训练模型时更注重精度，而在模型运营阶段时，更注重运营成本。因此在运营模型时，可以调整计算需求，以降低运营成本。
这一部分，就是需要考虑拓展业务的多个维度。首先，随着通道扩展和参数增加，可以为用户提供更多的数据维度，这些用户不仅可以是人，还可以是机器或传感器等级联设备，把任务点打开。尽管最终的目标是为人服务，比如在港口或矿山等地方，面积极大，如果一直依赖人力，那么在布设视频流等方面将面临巨大的挑战。因此，如何实现智能控制和交互成为关键，视频信息中可能有效信息只有1％左右，对于最终进行判断来说并不都是有用的。这也是为什么VCM可以超过VVC50％以上收益的核心原因之一。
其次，在进行控制算法时，数据控制并不需要人的主观体验。这种主观体验的需求往往是人的先入为主，但在设计系统方案时可以合理优化。
第三，需要考虑特征传递的方案。对于人来说，可能对特征有精度的需求。但是对于机器来说，在数据变化或损失时，例如在后端恢复或机器判断方面，可以接受一定程度的数据变化。因此，在进行VCM和人类视觉方面会有显著的差异。随着智能水平的提高，更多的视频数据或类似的数据表达应该是为机器判断而设计的，而人更关注结果。
对于用户体验的提升，无论是与机器相关的技术还是人类的感知，都在发生变化。以下是对于人类感知方面一些直观的例子：
首先是8K大屏。在去年的世界杯中，进行了一项调查，发现那些已经体验过8K的人很难再回到4K的观赛体验，因为8K带来的沉浸感和与之匹配的声音设计给用户带来了不可逆转的体验。因此，应该尝试拓宽用户的需求，而不是被迫做出调整，要主动去关注这些变化。
第二个例子是元宇宙。这是一个大家都在讨论的概念。在元宇宙中，需要考虑的是交互体验是什么，以及如何将这种交互体验传递给与之交互的人。我认为这是未来对于Codec和AI生成技术的一个重要挑战和关注点。