超越 RGB：一种新型图像文件格式可高效存储不可见光数据

新的光谱 JPEG XL 压缩技术减少了文件大小，使光谱成像更加实用。

想象一下使用特殊相机捕捉你眼睛无法看到的光线——导致晒伤的紫外线或揭示隐藏文字的红外热信号。或者使用足够灵敏的专用相机，在特定照明下区分油漆中细微的色彩变化。科学家和工程师每天都在做这件事——而由此产生的数据文件非常庞大，令人应接不暇。

一种名为光谱 JPEG XL 的新压缩格式可能终于解决了科学可视化和计算机图形领域日益严重的问题。英特尔公司的研究员 Alban Fichet 和 Christoph Peters 在最近发表在《计算机图形技术杂志》（JCGT）上的一篇论文中详细介绍了这一格式。它解决了处理这些专用图像的行业面临的严重瓶颈。这些光谱文件每个像素可以包含 30、100 或更多数据点，导致文件大小膨胀到多吉字节的范围，使其难以存储和分析。

当我们想到数字图像时，通常会想象只存储三种颜色的文件：红色、绿色和蓝色（RGB）。这对于日常照片来说效果很好，但捕捉光的真实颜色和行为需要更多的细节。光谱图像通过记录光的强度，不仅在广泛的 RGB 类别中，而是在数十甚至数百个狭窄、特定的波长波段中，实现了更高的保真度。这些详细信息主要跨越可见光谱，通常延伸到近红外和近紫外区域，这对于准确模拟材料与光的相互作用至关重要。

图1：论文中的图1，显示光谱图像的相对压缩评分。

与拥有三个通道的标准 RGB 图像不同，这些文件在众多通道中存储信息，每个通道代表特定、狭窄波长范围内的光强度。论文中讨论了包含 31 个不同通道的光谱图像，甚至展示了包含多达 81 个光谱波段的示例。

这些通道通常需要捕捉比典型照片更广泛的亮度值范围。为此，光谱图像经常使用高精度格式，如每个通道的 16 位或 32 位浮点数，实现高动态范围（HDR）数据捕捉。这与标准的 8 位图像相去甚远，是准确表示光源强烈亮度与较暗场景元素的关键。

探索超越 RGB 的世界

为什么有人需要图像中这种级别的波长细节？原因有很多。汽车制造商希望准确预测不同照明下油漆的外观。科学家使用光谱成像通过独特的光信号识别材料。渲染专家需要它来准确模拟现实世界中的光学效果，如色散（例如，通过棱镜产生的彩虹）和荧光。

例如，过去《科技内幕》的报道强调了天文学家如何分析伽玛射线爆发的光谱发射线以识别爆炸中的化学物质，物理学家如何重建开创性的 19 世纪照片中的原始颜色，以及多光谱成像如何揭示像《沃伊尼奇手稿》等中世纪手稿上的隐藏、已有几个世纪的文本和注释，有时甚至通过微弱的表面蚀刻揭示过去读者或抄写员的身份。

中世纪学者 Lisa Fagin Davis 检查了《沃伊尼奇手稿》10 页的多光谱图像。

当前存储此类数据的标准格式 OpenEXR 并未考虑到这些巨大的光谱需求。即使使用内置的无损压缩方法如 ZIP，这些文件对于实际工作来说仍然笨重，因为这些方法难以处理大量的光谱通道。

光谱 JPEG XL 利用了一种在人类可见图像中使用的技术——一种称为离散余弦变换（DCT）的数学技巧，使这些庞大的文件变得更小。它不再存储每个波长的确切光强度（这会生成巨大的文件），而是将这些信息转化为另一种形式。

可以这样理解：当你看到彩虹的颜色过渡时，你不需要记录每一个可能的波长就能理解你所看到的。DCT 的工作原理是将这些平滑的波长模式转换为一组类似波浪的模式（频率系数），这些模式相加后重新创建原始的光谱信息。

借用音乐的一个类比，这大致类似于 MP3 压缩对音频的工作方式——它有选择地保留人类最容易感知的频率，舍弃大多数听众不会注意到的细微细节。同样，光谱 JPEG XL 保留定义光与材料相互作用的关键模式，舍弃较不重要的细节。

重要的是，它然后应用了加权步骤，将较高频率的光谱系数除以整体亮度（直流成分），允许对不太重要的数据进行更积极的压缩。然后将其输入编解码器，而不是发明一种全新的文件类型，该方法使用标准化的 JPEG XL 图像格式的压缩引擎和功能来存储专门准备的光谱数据。

让光谱图像更易于使用

根据研究人员的说法，光谱图像的巨大文件大小被认为是阻碍那些本可以从其准确性中受益的行业采用的实际障碍。较小的文件意味着更快的传输时间，降低的存储成本，以及在无需专用硬件的情况下更互动地处理这些图像的能力。

研究人员报告的结果似乎令人印象深刻——通过他们的技术，光谱图像文件相比标准的 OpenEXR 无损压缩缩小了 10 到 60 倍，使其大小与普通高质量照片相当。它们还保留了 OpenEXR 的关键功能，如元数据和高动态范围支持。

虽然在压缩过程中会牺牲一些信息——使其成为一种“有损”格式——研究人员设计它是为了首先丢弃最不显眼的细节，集中压缩工件在较不重要的高频光谱细节上，以保留重要的视觉信息。

当然，也有一些限制。将这些研究成果转化为广泛的实际应用取决于处理 JPEG XL 编码和解码的软件工具的持续开发和完善。像许多前沿格式一样，初始的软件实现可能需要进一步开发，以充分释放每个功能。这仍在进行中。

虽然光谱 JPEG XL 大大减少了文件大小，但其有损方法可能对某些科学应用构成缺点。一些使用光谱数据的研究人员可能会为了较小的文件和更快的处理时间而很容易接受这种权衡。处理特别敏感测量数据的研究人员可能需要寻找替代的存储方法。

目前，这项新技术主要引起科学可视化和高端渲染等专用领域的兴趣。然而，随着从汽车设计到医学成像等行业继续生成更大的光谱数据集，像这样的压缩技术可能有助于使这些庞大的文件更实用。

关注【黑客联盟】带你走进神秘的黑客世界

原文始发于微信公众号（黑客联盟l）：超越 RGB：一种新型图像文件格式可高效存储不可见光数据