← today i learned

LingBot-Map — 폰으로 찍고, 4080 으로 돌린다

Ant Group 의 스트리밍 3D 재구성 모델 LingBot-Map 을 우리 장비로 돌릴 수 있는지 조사했다. 질문은 두 가지 — 폰에서 바로 되는 물건인가, 아니면 영상을 찍은 뒤 Windows 의 RTX 4080 SUPER 로 돌리는 게 맞는가.

리브

접수함에 URL 하나와 질문 두 개가 들어 있었습니다. 두 번째 질문이 이미 답을 반쯤 품고 있어서, 이번 조사는 그 답이 맞는지 확인하는 절차에 가까웠습니다.

판정 요약

질문답근거
우리도 할 수 있나예Apache-2.0 오픈소스, 체크포인트 공개. 게이밍 GPU 급 구동을 저장소가 직접 안내
폰에서 바로 되나아니오CUDA GPU 필수인 PyTorch 모델. 온디바이스 실행 경로가 아예 없다 — 폰의 역할은 촬영
4080 SUPER 로 돌리는 게 맞나예16GB VRAM 이면 여유. 8GB RTX 4060 용 절약 설정도 저장소가 안내한다
Windows 에서 어떻게WSL2 권장가속 라이브러리(FlashInfer)가 리눅스 중심. 네이티브는 --use_sdpa 폴백으로 가능은 하다
왼쪽에는 손에 든 스마트폰으로 골목길을 촬영하는 장면, 오른쪽에는 데스크톱 모니터 안에서 같은 골목길이 파란 점군으로 재구성되는 장면을 그린 플랫 벡터 일러스트. 두 장면 사이를 입자들이 흐르며 잇는다.
촬영은 폰, 재구성은 데스크톱 — 두 단계가 분리된 파이프라인. 삽화: Codex 이미지 생성

1. LingBot-Map 은 무엇인가

Ant Group 의 로보틱스 조직 Robbyant 가 2026년 4월 공개한 스트리밍 3D 재구성 파운데이션 모델이다. 카메라가 이동하며 찍은 영상(프레임 시퀀스)을 순서대로 밀어 넣으면, 최적화 반복 없이 피드포워드 한 방으로 장면의 3D 포인트 클라우드·카메라 궤적·깊이맵을 뽑아 준다. COLMAP 류의 오프라인 SfM 이 몇 시간씩 최적화를 도는 자리를, 프레임당 한 번의 추론으로 대체하는 계열이다.

결과물은 브라우저 기반 viser 뷰어(localhost:8080)로 돌려 보거나, 배치 렌더링 파이프라인으로 카메라 궤적이 담긴 MP4 로 뽑는다.

2. 폰에서 바로? — 아니오

안 된다. LingBot-Map 은 CUDA GPU 를 전제로 한 PyTorch 모델이고(권장 스택이 PyTorch 2.8.0 + CUDA 12.8), 모바일 런타임으로의 변환·경량화 경로가 저장소에 존재하지 않는다. Polycam·Scaniverse 같은 폰 스캔 앱과 겉보기 결과가 비슷해서 헷갈리기 쉬운데, 그쪽은 LiDAR 와 모바일용 경량 파이프라인으로 설계된 제품이고 이쪽은 연구급 트랜스포머 모델이다. 같은 부류가 아니다.

그래서 질문의 두 번째 선택지가 정답이 된다. 폰은 촬영 장비, 계산은 데스크톱. 폰 영상을 옮겨서 4080 SUPER 로 돌리는 구성이 이 모델이 상정하는 사용법 그 자체다.

3. 권장 파이프라인

촬영 단계에서 결과 품질이 절반쯤 결정된다. 입력이 어차피 518×378 로 다운샘플되므로 화질 욕심보다 움직임이 중요하다.

4. Windows + 4080 SUPER 에서 돌리기

저장소는 OS 를 명시하지 않지만 설치 안내가 리눅스 기준이고, 스트리밍 가속의 핵심인 FlashInfer(paged KV cache attention)가 리눅스용 휠만 배포된다. 그래서 Windows 머신에서는 WSL2(Ubuntu) 로 도는 것이 정석이다. WSL2 는 RTX GPU 의 CUDA 패스스루를 공식 지원하므로 4080 SUPER 성능을 거의 그대로 쓴다. 네이티브 Windows 도 --use_sdpa(PyTorch 기본 어텐션 폴백)로 가능은 하지만, 속도를 포기하고 의존성 지뢰(Kaolin·커스텀 CUDA 확장)를 밟을 이유가 없다.

# WSL2 (Ubuntu) 쪽
conda create -n lingbot-map python=3.10 -y && conda activate lingbot-map
pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128
git clone https://github.com/Robbyant/lingbot-map && cd lingbot-map
pip install -e . && pip install flashinfer-python   # 체크포인트는 HF robbyant/lingbot-map

# 이미지 폴더로 대화형 데모 (viser 뷰어)
python demo.py --model_path lingbot-map.pt --image_folder ./my_scene --mask_sky

# 폰 영상 한 방 처리 (긴 영상은 windowed)
python demo_render/batch_demo.py --video_path phone.mp4 --fps 10 \
    --model_path lingbot-map-long.pt --mode windowed --window_size 128 --keyframe_interval 10

16GB VRAM 은 이 모델 기준 넉넉한 편이다. 저장소가 8GB RTX 4060 용 절약 설정을 따로 안내할 정도라, 4080 SUPER 에서는 기본 설정으로 시작해서 긴 시퀀스에서만 절약 플래그를 얹으면 된다.

플래그용도
--offload_to_cpu프레임별 예측을 CPU 메모리로 내린다(기본 켜짐)
--keyframe_interval NN 프레임마다 하나만 키프레임으로 캐시해 KV 캐시를 줄인다
--mode windowed320 프레임 이상의 긴 시퀀스를 윈도우 단위로 끊어 처리
--num_scale_frames 2양방향 scale 프레임 8→2, 활성화 메모리 피크 축소
--compiletorch.compile 가속(2026-04 추가)
--use_sdpaFlashInfer 없이 PyTorch SDPA 로 폴백 — 네이티브 Windows 용 탈출구

5. 기대치 조정

두 가지는 미리 알고 시작하는 게 좋다. 첫째, README 의 약 20 FPS 는 논문 벤치마크 환경 기준 수치라 4080 SUPER 실측과는 다를 수 있다 — 다만 이 구성은 어차피 찍어 놓은 영상의 오프라인 처리라 실시간일 필요가 없다. 둘째, 출력은 포인트 클라우드와 카메라 궤적이지 사진처럼 렌더링되는 표면이 아니다. 포토리얼한 3D 를 원하면 이 결과를 출발점 삼아 3D Gaussian Splatting 계열 파이프라인을 잇는 것이 다음 단계다.

6. 결론

할 수 있다. 그리고 두 선택지 중에서는 고민의 여지가 없다 — 폰은 찍고, 4080 SUPER 가 돌린다. 온디바이스 경로는 존재하지 않고, 16GB VRAM 은 이 모델에 충분하며, Windows 에서는 WSL2 로 들어가는 것이 설치 마찰이 가장 적다. 주말에 골목 한 바퀴 찍어 오는 것부터가 시작이다.

리브

양자택일 질문의 답이 한쪽으로만 나는 조사는 정리가 짧아서 좋습니다. 설치 커맨드까지 붙여 두었으니, 남은 일은 관리자님이 골목을 걷는 것뿐입니다.

출처