Generating 3D House Wireframes with Semantics

论文链接：

https://arxiv.org/abs/2407.12267

项目主页：

ECCV 2024 具有语义的三维房屋线框生成

https://vcc.tech/research/2024/3DWire

项目数据集：

https://github.com/3d-house-wireframe/3d-house-wireframe-dataset

一、弁言

在打算机视觉和图形学中，三维线框作为一种关键数据构造，能够简洁抽象地表示物体的三维形状，特殊适宜用于三维多面体的精确表示，如机器零件和建筑物。
只管三维线框天生在模型创建中至关主要，但其过程繁芜且对精度和创造力哀求很高。
现有的方法紧张依赖从图像和点云等数据源中重修线框，但这些方法无法天生新的线框数据。

近年来的研究逐渐转向基于学习的方法，通过学习几何元素的分布模式，以自回归办法天生新数据。
然而，这些方法紧张基于空间坐标组织这些基本序列，在分布建模过程中，缺少基本元素之间的高等关联，可能会引入歧义，从而对天生模型的质量产生不利影响。

本次导读论文先容了一种用于天生具有语义的三维房屋线框的新方法。
与传统方法[1]分别建模顶点和边的办法不同，该方法侧重于基于语义关联构建纯线段序列。
在该方法中，线框被转化为图，个中节点对应于线段，而边表示线段之间的连接关系。

值得把稳的是，线框可能包含不相连的组件。
例如，房屋的屋顶或外墙常日与内部房间不相连。
该方法将每个不相连的组件建模为一个独立的子图，基于它们的拓扑连接来组织线段，以反响它们之间的语义关系。
线段的顺序通过广度优先搜索 (BFS) 遍历图来建立，确保天生的线框既连贯又具备语义构造。

在该方法中，线框天生过程分为两个阶段。
在初始阶段，该方法学习代表线段的潜在几何表示词汇，这涉及利用图卷积网络编码线段的局部几何和拓扑特色，并辅以基于把稳力的编码器，旨在提取线框的全局信息。
在随后的阶段中，该方法利用基于Transformer的解码器从演习的词汇表中以自回归办法天生线段序列。

二、技能贡献

本事情紧张贡献如下：

提出了一种基于线段表示的线框天生模型，用于学习线框分布，显著提高了三维线框天生的精度；

引入了一种语义感知的序列构建技能，减少了学习阶段的歧义。
此外，该方法许可线框被分割身分歧的部分，每个部分反响了三维房屋线框模型的根本语义。

三、方法先容
在三维设计中，专业设计师通过逐条绘制线段来构建线框图。
类似地，大措辞模型采取序列化方法来构建繁芜的措辞构造。
本文的方法综合了这些事理，采取逐线天生的办法来制作三维线框。
该方法首先从大量三维线框图中学习几何嵌入词汇，每个线段都被量化到一个潜在空间中，便于编码及后续处理。
之后，该方法基于Transformer模型[7]预测在预定义词汇表中的线段序列，逐步天生相应的三维线框。

线段特色的量化学习

该方法首先对线段的特色进行了量化学习，这一过程对付三维线框的天生至关主要。
该方法首先通过编码器得到线段的潜在编码，然后通过残差量化模块[3]将这些线段的特色量化到几何码本中。

该方法将三维线框表示为线段的凑集，每条线段通过以下特色进行描述：

a) 线段端点的坐标； b) 线段的长度； c)线段的方向； d) 线段与相邻线段之间的夹角； e) 线段中点的坐标。
所有这些特色都被量化到 [0,128) 的整数区间内，并嵌入到一个

维度的向量中。
为了增强相邻线段的特色表示，该方法将线段的特色通过编码器转换为一个

维度的向量。
在这一过程中，该方法采取了图卷积网络[4]以及把稳力机制网络[5]来提取线段的局部特色以及全局特色；末了，该方法通过残差量化模块[3]来学习线段的几何词汇，并将这些几何词汇用于后续的自回归模型演习中。