McCarthy Platform Pro
一、产品概述
当前智能制造、机器人具身智能技术正从单一二维视觉检测，迈向多模态空间感知新阶段。单一相机无法同时获取灰度细节、色彩语义与三维几何信息，难以满足复杂工业缺陷检测、无序抓取、场景语义理解、机器人环境交互等高阶需求。
本平台集成工业 2D 黑白相机、2D 彩色相机、双目结构光 3D 相机三类异构视觉传感器，搭载统一时序同步、联合标定、多源数据融合框架，打造开放型机器视觉科研实验载体。平台面向高校测控、自动化、人工智能、机器人工程实验室，以及智能制造企业 AI 视觉预研中心，支持从传统机器视觉到多模态大模型、具身感知算法的全栈开发与验证，可快速复现工业质检、三维重建、目标定位、语义分割、机器人视觉引导等智能制造典型场景。
平台以视觉感知为核心、多模态融合为引擎、具身智能为目标，兼顾基础教学、算法科研、工程原型验证三重价值，是对接工业 4.0 前沿技术的一体化实验基础设施。
二、核心硬件架构｜多源异构视觉感知单元
整套平台搭载三类工业级成像传感器，支持独立采集、同步触发、像素级配准，实现多维度信息互补：
2D 黑白工业相机（灰度成像单元）
高动态灰度成像，信噪比优异，适合边缘提取、亚像素测量、纹理缺陷检测、低光场景识别。突出灰度梯度细节，是传统精密尺寸测量、划痕、毛刺、对比度缺陷检测的核心传感器，可输出高保真灰度图像，为传统机器视觉算子与深度学习提供高质量单通道数据源。
2D 彩色工业相机（色彩语义单元）
获取 RGB 彩色图像，承载颜色、材质、标识、OCR、多类别目标语义信息。用于颜色分拣、外观色差检测、标签识别、多目标分类，为多模态模型提供色彩语义维度，实现对物体类别、材质属性的感知理解。
双目结构光相机（三维空间感知单元）
主动结构光 + 双目立体匹配，同步输出深度点云、三维坐标、法线信息，实现物体三维轮廓、体积、位姿测量。可完成无序工件三维重建、空间定位、高度测量、曲面缺陷检测，为具身智能提供空间几何认知能力，支撑机器人手眼引导、避障、三维场景理解。
硬件核心优势
✅ 统一时序同步：三路相机支持软件 / 硬件触发同步采集，消除时间错位，保障多模态数据时间对齐
✅ 联合标定体系：提供内外参标定、手眼标定工具，实现 2D 图像与 3D 点云像素级映射配准
✅ 模块化可扩展：相机支架、光源系统可灵活调整工作距离、视场，适配不同尺寸工件与实验场景
✅ 工业级接口：GigE/USB 标准工业接口，兼容主流视觉算法库，可对接边缘 AI 算力单元
三、核心技术亮点（贴合 AI、具身智能、多模态融合、智能制造）
1. 多模态视觉融合感知引擎
打破单相机信息局限，将灰度纹理、RGB 色彩、三维点云三类异构数据做空间对齐与特征融合。
2D 灰度提供精细纹理特征；2D 彩色提供语义类别特征；双目结构光提供空间几何特征；
支持多模态特征拼接、跨模态对齐、2D-3D 联合语义分割；
适配多模态大模型、视觉语言模型 (VLM) 的数据输入，实现 “图像 + 深度” 联合理解。
2. 面向具身智能的空间感知底座
为智能体（机械臂 / 移动机器人）提供环境感知能力，构建 “感知 - 理解 - 决策 - 执行” 的具身闭环：
获取目标二维外观 + 三维位姿，支持空间目标识别、6D 姿态估计；
可开展环境三维重建、场景语义地图构建、障碍物检测；
支撑视觉引导抓取、动态目标跟踪、机器人交互等具身智能算法验证。
3. 全栈 AI 视觉算法开发环境
平台开放底层图像 / 点云数据流，兼容主流 AI 开发生态：
传统视觉：HALCON、OpenCV、VisionPro，完成尺寸测量、模板匹配、缺陷检测；
深度学习：PyTorch/TensorFlow，YOLO、MaskRCNN、SAM 等图像分割、目标检测模型训练与部署；
边缘 AI 推理：支持模型轻量化，可迁移至边缘算力，模拟工业现场端侧智能检测。
4. 智能制造场景仿真验证
高度还原产线真实视觉检测工况，实现工业算法前置验证：
平面外观缺陷检测、色差分拣、字符识别；
三维工件尺寸测量、曲面检测、无序工件定位；
视觉引导机器人上料、分拣、装配、焊缝检测等智能制造典型工艺原型开发；
可对接 PLC、运动平台、机械臂，搭建小型数字化产线仿真单元。
5. 全开放软件 SDK，科研自由度高
配套统一采集 SDK、标定工具包、多模态数据采集例程，支持 C++/Python 二次开发。
可自主构建数据集、自定义融合算法，支持论文实验、课题攻关、学科竞赛与项目孵化。
四、可开展实验 / 科研方向
【基础机器视觉方向】
相机标定、畸变校正、2D 灰度精密测量、边缘检测、模板匹配
彩色图像分割、色差检测、OCR 字符识别、目标分类
【三维视觉方向】
双目结构光原理、立体匹配、三维点云重建、点云滤波、曲面拟合
物体三维尺寸测量、体积计算、6D 位姿估计
【AI 与多模态融合方向】
基于 2D 图像的深度学习目标检测、实例分割、缺陷识别
灰度 + 彩色 + 深度多模态数据融合算法研究
2D 图像与 3D 点云联合语义理解、多模态数据集构建
视觉大模型、视觉语言模型（VLM）在工业感知场景落地研究
【具身智能 & 智能制造方向】
机器人手眼标定、视觉引导抓取、无序分拣
机器人环境三维语义建图、动态障碍物感知
智能制造产线视觉质检方案原型验证、工业 AI 算法预研
五、目标用户
高校实验室：自动化、测控技术、人工智能、机器人工程、光电信息工程专业，用于课程实训、毕业设计、科研项目、学科竞赛；
科研院所：机器视觉、三维感知、多模态 AI、机器人具身智能方向课题研究；
智能制造企业研发中心：工业视觉算法预研、新方案快速验证、产品原型开发，降低产线试错成本。
六、平台价值
✅ 科研创新：一套平台同时具备二维成像 + 三维结构光感知，支撑多模态、具身智能前沿方向论文与项目攻关；
✅ 产教融合：算法与工业场景打通，学生、研发人员直接接触工业级传感器，培养智能制造工程能力；
✅ 通用性强：不绑定封闭算法，完全开放数据接口，支持自主创新，适配持续迭代的 AI 视觉技术；
✅ 投入集约：一套平台覆盖传统机器视觉、3D 视觉、多模态 AI、具身感知多方向，减少多套设备采购成本。
七、可选配套（可按需选配写入手册）
可调工业环形 、条形光源组
高精度光学支架、载物平移台
机械臂手眼执行单元（拓展具身抓取闭环）
边缘 AI 算力模块（Jetson 系列）
全套实验指导书、SDK 开发包、示例源码、多模态数据集模板
八、产品宣传标语
多模态视觉感知底座，赋能具身智能与智能制造创新
二维识纹理，三维知空间，多源融智，看见工业未来
一平台，全链路：从机器视觉到具身智能算法验证中心
异构视觉融合感知，构筑智能制造的机器之眼