如果將一臺在視覺語言導航（VLN）任務中表現優異的機器人直接搬進家庭場景，往往會遇到不少實際問題。

首先是使用門檻偏高：傳統 VLN 需要用戶給出又長又精確的路線式指令，例如 “從門口直走三步，看到門右轉，再往前……”，這會顯著增加溝通成本，降低日常使用體驗。

相比之下，人們更期待一種更自然的交互方式，比如只用隨口一句 “找到我的背包” 即可。這樣的設定更接近目標物體導航（ObjectNav）任務，但它也存在明顯不足：機器人只會找到場景內任意一個背包交差，而無法定位用戶真正需要的書包，這顯然無法滿足需求。

正因為真實場景里用戶的表達常常簡短且含糊，而機器人又必須把目標精確落實到某一個具體實例上，交互式實例導航才顯得格外關鍵。機器人既不能指望用戶一開始就把所有信息交代清楚，也不能用 “找到同類就算完成” 的方式草草應付；相反，它應在探索過程中主動提問、逐步澄清歧義，像人一樣把 “到底是哪一個” 問明白，再高效準確地完成用戶的需求。

交互式實例導航示例：用戶要求機器人找到場景中某一張凳子（綠框），但存在大量相似干擾項（紅框），因此機器人需在探索中結合觀察主動提問，逐步縮小候選范圍，直到鎖定目標。

構建 VL-LN 基準：

面向 IIGN 任務的自動化數據收集及評測

語言交互是人們日常交互最常見的形式之一，具身智能體要更好地融入人類生活也需要具有進行這種高效的信息交流形式的能力。不同于傳統 VLN 僅僅聚焦 “導航動作（Navigation）執行得好不好”，VL-LN 還關注機器人能否在導航過程中與人類進行高效的語言交互（Language+Navigation）來提升任務的成功率與效率。

為此，VL-LN 面向交互式實例導航任務構建了一套自動化數據收集管線，并依托 InternVLA-N1 標準化模型訓練與評測。

自動化數據收集管線

交互式實例導航數據收集流程

數據收集包含三個步驟，作者首先整理了場景元數據，進而生成能用于在線采樣的序列（episode）數據，最后在規則驅動的交互機制下批量采集交互導航訓練軌跡（trajectory），具體內容包括：

場景元數據處理：基于 MMScan 對 MP3D 場景的標注信息，將按房間分散的物體信息整合成全屋級的元數據，主要包括兩個字典：目標實例字典（instance dictionary，存儲每個物體的空間關系、屬性等基本信息）和區域字典（region dictionary，存儲房間的位置、物體等信息）

序列生成：每個有效序列由起始位姿、導航指令、目標實例的可停止視點三個主要信息組成。針對每一個目標實例作者均提供兩個版本的導航指令。一種導航指令只有目標實例的類別（Partial instruction，用于交互式實例導航任務，必須靠對話消歧），另一種導航指令是能在場景內唯一鎖定目標實例的完整描述（Full instruction，可用于評測訓練非交互的任務）。可停止視點（view point）指機器人在導航過程中可以合法停止并判定 “已找到目標” 的一組視點位置。

交互導航軌跡采集：該階段主要采用一個集成了基于邊界點的探索算法（Frontier-Based Exploration）與目標實例分割器的智能體。在數據采集過程中，智能體除探索未知區域外，還會按規則主動提出三類問題：屬性（目標實例長什么樣？）、路線（如何到達目標？）和目標消歧（是否為眼前的實例？），從而生成相應的交互式導航軌跡。

通過該流程，作者構建了大規模交互式實例導航數據以支撐模型訓練。下圖給出了數據的總體統計。作為首個大規模交互式實例導航數據集，其主要優勢在于：

• 規模：40k導航序列，相比現有交互導航數據集（約7k）提升一個量級
• 多樣性：覆蓋150+物體類別與3類問答（屬性 / 位置 / 消歧），自由組合形成豐富訓練樣本；
• 難度覆蓋：包含長時程軌跡（steps > 300）與多輪對話樣本（dialog turns > 5），覆蓋復雜困難場景。

第一行分別展示了每條軌跡的路徑步數、對話輪數和每輪對話長度的頻率直方圖；第二行展示了問題類型與目標類型的統計結果，以及對話中高頻詞的詞云圖。

NPC 支撐的自動化在線評測基準

為了評測智能體完成交互式實例導航（IIGN）的能力，并與非交互式實例導航（IGN）進行對比，VL-LN 基準提供了可用于測試兩類任務的測試集。針對交互式實例導航的自動化評測，VL-LN 還實現了一個由 GPT-4o 驅動的 NPC，它能夠回答智能體在導航過程中提出的問題。此外，為了評估智能體提問效率，VL-LN 定義新的指標 MSP（Mean Success Progress），用于衡量主動對話帶來的增益。

從結果到原因：

交互式實例導航的能力與挑戰

通過使用不同的數據對 Qwen2.5-VL-7B-Instruct 進行微調，作者訓練了三個模型。具體訓練所使用的數據如下：

• VLLN-O (object)：VLN + ObjectNav 軌跡數據
• VLLN-I (instance)：VLN + ObjectNav + IGN 軌跡數據
• VLLN-D (dialog)：VLN + ObjectNav + IIGN 軌跡數據（論文的核心模型）

評測同時覆蓋兩類任務：

• IIGN（交互式實例導航）：允許提問（對話輪數限制在 5 輪）
• IGN（實例導航）：不允許對話，但提供足以唯一鎖定目標實例的全量指令

實驗結果如下表所示