片上 Remosaic 技术详解：传感器内部的马赛克重采样

片上 Remosaic 是传感器技术向“智能化”演进的关键一步，通过硬件级优化解决了高分辨率与高感光的矛盾。未来随着制程升级和 3D 集成技术的成熟，片上 Remosaic 将进一步推动手机摄影、自动驾驶（车载摄像头）和医疗成像等领域的发展。完成马赛克模式转换或优化的硬件级算法，而非依赖后期 ISP（图像信号处理器）。其核心目标是通过传感器本身的硬件设计，提升高分辨率输出的效率与质量，同时降低对

agito_cheung

1454人浏览 · 2025-03-10 14:01:03

agito_cheung · 2025-03-10 14:01:03 发布

在这里插入图片描述

片上 Remosaic（On-Sensor Remosaic）是指直接在 图像传感器（Sensor）芯片内部 完成马赛克模式转换或优化的硬件级算法，而非依赖后期 ISP（图像信号处理器）。其核心目标是通过传感器本身的硬件设计，提升高分辨率输出的效率与质量，同时降低对 ISP 的依赖。以下是其技术原理、优势及厂商实践分析：

1. 片上 Remosaic 的核心原理

（1）传感器架构的革新

片上 Remosaic 的实现依赖于传感器内部集成的 专用硬件单元（如逻辑电路或微型 DSP），而非传统 ISP 的软件算法。典型技术路径包括：

像素级重采样电路：在传感器读出电路（Readout Circuit）中嵌入 Remosaic 逻辑，直接对光电信号进行模式转换。
并行处理通道：通过多路 ADC（模数转换器）同步处理不同颜色通道的原始数据，加速 Remosaic 流程。

（2）典型工作流程

以 Quad Bayer（四合一像素阵列）→ 传统 Bayer 阵列 转换为例：

原始光电信号捕获：
每个 2x2 的 Quad Bayer 单元包含 4 个子像素（如 R/G/G/B），默认输出为低分辨率（如 1200 万像素）。
片上 Remosaic 处理：
通过传感器内部电路，将 4 个子像素重新映射为独立的传统 Bayer 单元（如 RGGB 排列），生成高分辨率 RAW 数据（如 4800 万像素）。
直接输出至 ISP：
转换后的 Bayer 数据无需外部插值，可直接进入 ISP 进行后续处理（如去马赛克、降噪）。

2. 片上 Remosaic 的技术优势

（1）速度与效率

硬件加速：传感器内部电路直接处理原始光电信号，延迟低于传统 ISP 的软件算法。例如索尼 IMX586 支持 4800 万像素全分辨率 30fps 输出，而传统插值方案（如三星 GM1）仅能实现 10fps。
降低 ISP 负载：RAW 数据在传感器端完成格式转换，减少 ISP 的计算压力，为多摄协同或 AI 算法释放资源。

（2）画质提升

减少插值伪影：传统 ISP 的软件 Remosaic 依赖插值算法，易引入锯齿或伪色；片上硬件级处理通过物理像素映射保留更多真实细节。
高信噪比（SNR）：Quad Bayer 传感器在低光下合并子像素（如 4→1）提升感光能力，而片上 Remosaic 可在亮光下还原高分辨率，兼顾动态范围。

（3）功耗优化

短路径处理：信号在传感器内部完成转换，避免数据在 Sensor→ISP 之间的传输功耗。例如豪威 OV48B 通过片上 Remosaic 降低 22% 的功耗。

3. 片上 Remosaic 的厂商实践

（1）索尼（Sony）

代表传感器：IMX586（4800 万像素）、IMX989（1 英寸大底）
技术亮点：
- 硬件直出（Native Remosaic）：IMX586 通过片上电路直接输出 4800 万像素 Bayer RAW，解析力显著优于插值方案。
- DOL-HDR 同步：片上 Remosaic 与多曝光 HDR 数据流结合，提升高动态范围场景的细节保留。

（2）三星（Samsung）

代表传感器：HP2（2 亿像素）、GN2（1/1.12 英寸）
技术亮点：
- AI 辅助 Remosaic：HP2 集成微型 NPU，通过轻量化模型优化高分辨率输出的色彩过渡与边缘锐度。
- 多模式切换：支持 2 亿像素全输出、5000 万像素四合一、1250 万像素十六合一，动态适配不同光照条件。

（3）豪威科技（OmniVision）

代表传感器：OV48C（4800 万像素）、OV64B（6400 万像素）
技术亮点：
- 低功耗设计：采用台积电 40nm 制程，片上 Remosaic 功耗比传统方案降低 34%。
- D-VTG 技术：双垂直传输门减少电荷损失，提升 Remosaic 后的色彩准确性。