折根妙妙屋

核心定位#

FruitNeRF++ 是一个基于神经辐射场（NeRF）的通用果树果实计数框架。它最大的特点是**“水果无关”（fruit-agnostic）——不需要针对苹果、梨、柑橘等分别训练，而是通过实例嵌入（Instance Embedding）+ 对比学习**，让模型自动区分”每一颗独立的果实”，从而实现跨品种的统一计数。

技术 Pipeline#

1
多视角果园照片 + COLMAP 位姿
2
        ↓
3
Grounding-SAM / Detic → 自动生成果实实例掩码（零样本，无需人工标注）
4
        ↓
5
对比学习 → 为每颗果实生成独特的"身份编码"（Instance Embedding）
6
        ↓
7
Nerfstudio 训练 → 同时优化：
8
    ├─ RGB 场（外观）
9
    ├─ 语义场（果实 vs 背景）
10
    └─ 实例场（每颗果实的身份向量）
11
        ↓
12
体采样导出 → 带实例特征的稠密点云
13
        ↓
14
HDBSCAN / 级联聚类 → 三维空间聚类 → 输出果实数量 + 空间坐标

三大创新点#

1. 神经实例场（Neural Instance Field）：在标准 NeRF 的密度+颜色基础上，新增一个”实例分支”，把每颗果实的身份编码进辐射场。
2. 对比学习（Contrastive Learning）：在训练时拉近”同一颗果实在不同视角下”的特征距离，推远”不同果实之间”的特征距离，让后续的 3D 聚类更准。
3. 水果无关聚类：计数时完全不依赖果实的形状、颜色或纹理，只依赖实例嵌入的相似度，因此苹果、梨、桃、柑橘可以混着来。

关键参数（来自官方）#

• 训练框架：Nerfstudio 1.1.5（必须锁定此版本）
• 显存需求：cf-nerf-small 约 8GB，cf-nerf 约 12GB
• 分割模型：SAM / Grounding-SAM / Detic（自动生成掩码，无需标注）
• 聚类算法：HDBSCAN，空间距离权重 λ=1.2，特征相似度权重 λ=0.2

与 FruitNeRF（前代）的区别#