PointNet++之S3DIS 语义分割训练

1068 字

3 分钟

PointNet++之S3DIS 语义分割训练

2026-05-06

笔记

点云

/

笔记

/

PointNet++

前言#

从下载 S3DIS Aligned Version 到成功启动 train_semseg.py，中间隔着三层深渊：WSL2 路径层级混乱、预处理脚本与训练脚本的路径错位、以及NumPy 版本兼容性断层。本文把全流程的坑和指令一次性整理清楚。

1. 数据部署：WSL2 软链接的正确姿势#

1.1 为什么不能用 WSL2 内部 `/home/` 存大数据#

WSL2 的 ext4.vhdx 虚拟磁盘是只增不减的饕餮。你把 10GB 数据集解压到 /home/，磁盘就膨胀 10GB；删掉数据，.vhdx 体积不会变小，必须用 diskpart compact 才能回收。更致命的是，C 盘爆满会直接触发 WSL2 无法启动。

铁律：GB 级数据集放在 Windows D 盘，WSL2 通过 /mnt/d/ 访问。

1.2 软链接建错位置的连环坑#

在 data_utils/ 子目录里执行：

1
ln -s /mnt/d/... data/s3dis

这会在 data_utils/data/s3dis 创建软链接，而项目根目录的 data/s3dis 根本不存在。后续脚本从项目根目录找 data/s3dis，直接 FileNotFoundError。

正确做法：必须在项目根目录执行：

1
cd ~/projects/pointcloud/Pointnet_Pointnet2_pytorch
2
mkdir -p data
3
ln -s /mnt/d/Download/S3DIS/Stanford3dDataset_v1.2_Aligned_Version data/s3dis

1.3 套娃软链接陷阱#

预处理脚本 collect_s3dis_aligned.py 把 .npy 输出到了 data/s3dis/stanford_indoor3d/（D 盘）。训练脚本 train_semseg.py 却期望 data/stanford_indoor3d/。

错误操作：在项目根目录再建一个指向软链接的软链接：

1
ln -s data/s3dis/stanford_indoor3d data/stanford_indoor3d  # ❌ 套娃，最终指向空

正确操作：直接指向 D 盘的真实产物路径：

1
ln -s /mnt/d/Download/S3DIS/Stanford3dDataset_v1.2_Aligned_Version/stanford_indoor3d data/stanford_indoor3d

验证命令：

1
ls data/stanford_indoor3d/ | wc -l
2
# 必须输出 272（S3DIS 总房间数）

2. 预处理：重写脚本适配 Aligned Version#

2.1 原版脚本为什么全军覆没#

官方 collect_indoor3d_data.py 依赖 meta/anno_paths.txt 硬编码路径，且 try-except 吞掉了具体错误，最终只报：

1
ValueError: need at least one array to concatenate

根本原因是 Aligned Version 的 Annotations/ 目录结构虽然存在，但原版脚本的路径拼接或类别过滤逻辑导致 points_list 为空。

2.2 重写脚本的核心策略#

保存为 data_utils/collect_s3dis_aligned.py：

1
import os
2
import numpy as np
3

4
CLASS_NAMES = [
5
    'ceiling', 'floor', 'wall', 'beam', 'column', 'window', 'door',
6
    'table', 'chair', 'sofa', 'bookcase', 'board', 'clutter'
7
]
8

9
def get_class_id(filename):
10
    prefix = filename.split('_')[0].lower()
11
    if prefix in CLASS_NAMES:
12
        return CLASS_NAMES.index(prefix)
13
    return 12
14

15
def collect_from_annotations(room_path):
16
    anno_dir = os.path.join(room_path, 'Annotations')
17
    if not os.path.isdir(anno_dir):
18
        return None, "Annotations 目录不存在"
19

20
    txt_files = sorted([f for f in os.listdir(anno_dir) if f.endswith('.txt')])
21
    if len(txt_files) == 0:
22
        return None, "Annotations 下无 .txt 文件"
23

24
    points_list = []
25
    for f in txt_files:
26
        fpath = os.path.join(anno_dir, f)
27
        try:
28
            pts = np.loadtxt(fpath)
29
            if pts.ndim == 1:
30
                pts = pts.reshape(1, -1)
31
            cls_id = get_class_id(f)
32
            labels = np.full((pts.shape[0], 1), cls_id, dtype=np.float32)
33
            pts_labeled = np.concatenate([pts, labels], axis=1)
34
            points_list.append(pts_labeled)
35
        except Exception as e:
36
            print(f"    跳过 {f}: {e}")
37

38
    if len(points_list) == 0:
39
        return None, "所有文件读取失败"
40

41
    return np.concatenate(points_list, axis=0), f"合并 {len(points_list)} 个物体"
42

43
def main():
44
    root = os.path.join(
45
        os.path.dirname(os.path.dirname(os.path.abspath(__file__))),
46
        'data/s3dis'
47
    )
48
    output = os.path.join(root, 'stanford_indoor3d')
49
    os.makedirs(output, exist_ok=True)
50

51
    print(f"扫描目录: {root}\n")
52
    success = 0
53
    failed = []
54

55
    for area in sorted(os.listdir(root)):
56
        if not area.startswith('Area_'):
57
            continue
58

59
        area_path = os.path.join(root, area)
60
        rooms = sorted([d for d in os.listdir(area_path)
61
                       if os.path.isdir(os.path.join(area_path, d))])
62

63
        for room in rooms:
64
            room_path = os.path.join(area_path, room)
65
            out_name = f"{area}_{room}.npy"
66
            out_path = os.path.join(output, out_name)
67

68
            data, info = collect_from_annotations(room_path)
69

70
            if data is None:
71
                print(f"❌ {area}/{room}: {info}")
72
                failed.append(f"{area}/{room}")
73
                continue
74

75
            np.save(out_path, data.astype(np.float32))
76
            print(f"✅ {area}/{room} | {info} | shape: {data.shape}")
77
            success += 1
78

79
    print(f"\n{'='*60}")
80
    print(f"完成: 成功 {success} 个, 失败 {len(failed)} 个")
81
    print(f"输出: {output} ({len(os.listdir(output))} 个 .npy 文件)")
82

83
if __name__ == '__main__':
84
    main()

执行：

1
cd ~/projects/pointcloud/Pointnet_Pointnet2_pytorch/data_utils
2
python3 collect_s3dis_aligned.py

预期输出：

1
完成: 成功 272 个, 失败 0 个
2
输出: .../data/s3dis/stanford_indoor3d (272 个 .npy 文件)

3. 训练指令与参数详解#

3.1 完整启动命令#

1
cd ~/projects/pointcloud/Pointnet_Pointnet2_pytorch
2

3
conda activate pointnet
4

5
python3 train_semseg.py \
6
    --model pointnet2_sem_seg \
7
    --log_dir pointnet2_sem_seg \
8
    --batch_size 16 \
9
    --epoch 32 \
10
    --test_area 5

3.2 参数说明#

参数	值	含义
`--model`	`pointnet2_sem_seg`	语义分割模型（Encoder-Decoder + FP 上采样）
`--log_dir`	`pointnet2_sem_seg`	日志与权重保存目录
`--batch_size`	`16`	3090 24GB 安全值；OOM 时降为 `8`
`--epoch`	`32`	语义分割收敛快，32 轮足够
`--test_area`	`5`	S3DIS 6 个区域，留 Area_5 做测试，其余训练

3.3 训练前必做检查#

1
# 1. 确认数据路径正确
2
ls data/stanford_indoor3d/ | wc -l
3
# 输出: 272
4

5
# 2. 顺手修语法警告（S3DISDataLoader.py 的 Python 3.8+ 兼容性问题）
6
sed -i 's/is -1/== -1/g' data_utils/S3DISDataLoader.py
7
sed -i 's/is not -1/!= -1/g' data_utils/S3DISDataLoader.py
8

9
# 3. 确认 GPU 可用
10
nvidia-smi

4. NumPy 兼容性陷阱：`np.float` 的死刑#

4.1 现象#

Epoch 1 训练成功（loss 0.908，accuracy 73.9%），评估阶段直接崩溃：

1
AttributeError: module 'numpy' has no attribute 'float'.
2
`np.float` was a deprecated alias for the builtin `float`.

4.2 根因#

NumPy 版本	`np.float` 状态
< 1.20	正常可用
1.20 ~ 1.23	废弃，报 Warning
≥ 1.24	直接移除，报 AttributeError

你的 conda 环境装的是 NumPy 2.x，而仓库代码写于 2019 年。

4.3 修复#

1
cd ~/projects/pointcloud/Pointnet_Pointnet2_pytorch
2

3
sed -i 's/np\.float)/float)/g' train_semseg.py
4
sed -i 's/np\.float,/float,/g' train_semseg.py
5
sed -i 's/dtype=np\.float/dtype=float/g' train_semseg.py
6

7
# 验证残留
8
grep -n "np\.float" train_semseg.py
9
# 预期：只剩 np.float32 / np.float64，没有裸 np.float

5. 分割指标迷思：accuracy vs mIoU#

5.1 为什么分割也有 accuracy#

语义分割本质是逐点分类，所以当然可以算：

1
accuracy = 预测正确的点数 / 总点数

5.2 为什么 accuracy 不可靠#

S3DIS 中墙面、地面、天花板占 70% 以上，椅子、桌子只占 5%。如果模型无脑全猜”地面”，accuracy 也能到 70%，但完全没价值。

5.3 金标准：mIoU#

1
IoU_类别 = 交集 / 并集
2
mIoU = mean(IoU_0, IoU_1, ..., IoU_12)

指标	公平性	用途
accuracy	❌ 偏向大类	快速观察收敛，不做最终评价
mIoU	✅ 每类平等	论文、比赛、工程验收的唯一标准

S3DIS 基线：PointNet++ 训练 32 epoch 后，mIoU 应达到 45~55%。

6. 训练监控与预期#

6.1 时长预估（3090 + WSL2）#

阶段	耗时
单 epoch 训练	~30 分钟
单 epoch 评估	~10 分钟
32 epoch 总计	1620 小时

建议：夜间挂机，避免中断。

6.2 实时监控#

另开终端：

1
watch -n 2 nvidia-smi

关注：

GPU-Util：应接近 100%（低于 50% 说明 DataLoader IO 瓶颈）
显存占用：8~12GB（接近 24GB 时有 OOM 风险）

6.3 断点续训说明#

yanx27 仓库不支持 resume。如果 epoch 15 断电，只能从头开始。保持电源稳定，不要同时跑其他 GPU 程序。

7. 完整流程速查表#

步骤	命令	验证
1. 建软链接	`ln -s /mnt/d/Download/S3DIS/Stanford3dDataset_v1.2_Aligned_Version data/s3dis`	`ls data/s3dis/Area_1/`
2. 预处理	`python3 data_utils/collect_s3dis_aligned.py`	输出 `272 个 .npy 文件`
3. 建训练软链接	`ln -s /mnt/d/Download/S3DIS/.../stanford_indoor3d data/stanford_indoor3d`	`ls data/stanford_indoor3d/ \| wc -l` → `272`
4. 修语法警告	`sed -i 's/is -1/== -1/g' data_utils/S3DISDataLoader.py`	—
5. 修 NumPy	`sed -i 's/np\.float)/float)/g' train_semseg.py`	`grep "np\.float" train_semseg.py` 无裸 `np.float`
6. 开跑	`python3 train_semseg.py --model pointnet2_sem_seg --log_dir pointnet2_sem_seg --batch_size 16 --epoch 32 --test_area 5`	看到 `Totally 47623 samples in train set.`

至此，从数据部署、预处理、路径修复到训练启动的全链路打通。修复 np.float 后重新执行训练命令，静待 32 个 epoch 后验收 mIoU。

PointNet++之S3DIS 语义分割训练

https://fredsblog-2dc.pages.dev/posts/note-pointnet-senseg-train/

作者

Fredzhe

发布于

2026-05-06

许可协议

CC BY-NC-SA 4.0

部分信息可能已经过时

PointNet++之S3DIS 语义分割数据预处理实战

从CloudCompare源码中学习C++工程化接口设计

折根妙妙屋

前言#

1. 数据部署：WSL2 软链接的正确姿势#

1.1 为什么不能用 WSL2 内部 /home/ 存大数据#

1.2 软链接建错位置的连环坑#

1.3 套娃软链接陷阱#

2. 预处理：重写脚本适配 Aligned Version#

2.1 原版脚本为什么全军覆没#

2.2 重写脚本的核心策略#

3. 训练指令与参数详解#

3.1 完整启动命令#

3.2 参数说明#

3.3 训练前必做检查#

4. NumPy 兼容性陷阱：np.float 的死刑#

4.1 现象#

4.2 根因#

4.3 修复#

5. 分割指标迷思：accuracy vs mIoU#

5.1 为什么分割也有 accuracy#

5.2 为什么 accuracy 不可靠#

5.3 金标准：mIoU#

6. 训练监控与预期#

6.1 时长预估（3090 + WSL2）#

6.2 实时监控#

6.3 断点续训说明#

7. 完整流程速查表#

1.1 为什么不能用 WSL2 内部 `/home/` 存大数据#

4. NumPy 兼容性陷阱：`np.float` 的死刑#