F
FASIONAD Dual-Brain Driving AI
05:00
arXiv:2411.18013v1 · Autonomous Robotics

FASIONAD
인간처럼 생각하는
자율주행 듀얼 브레인

Fast(직관적 반사신경)와 Slow(심층 추론)가 융합된 차세대 인공지능 주행 시스템. 기존 자율주행이 풀지 못한 위기 상황의 딜레마를 노벨상 인지 이론으로 해결합니다.

nuScenes 충돌률
0.18%
업계 최저 수준 달성
실시간 처리 속도
6.9+ FPS
단일 RTX 3090 기준
CARLA 주행점수
64.83%
완주율 89.04%
EGO_VEHICLE
BUS_01 [STATIC]
ONCOMING_CAR
PEDESTRIAN
RANGE: 100m
BEV_GRID: 200x200
MODE: DUAL_FUSION
FREQ: 30Hz / 1Hz
01 · The Critical Dilemma

왜 기존 자율주행은 비 오는 날 골목길에서 멈칫할까?

현재 모빌리티 업계는 두 가지 극단적인 방식 사이에서 깊은 딜레마에 빠져 있습니다. 하나는 너무 급하고, 다른 하나는 너무 느립니다.

순수 E2E 신경망 (기존 방식) 초고속 30ms

빠르지만, 돌발 상황에서 멍청해진다

센서 영상을 입력받아 곧바로 핸들/페달 명령을 출력하는 방식. 일상 주행에서는 사람처럼 매끄럽지만, 데이터셋에 없던 공사 현장이나 경찰관 수신호 같은 '롱테일(Long-tail) 엣지 케이스'를 만나면 완전히 길을 잃습니다.

장점: 30ms 이내 실시간 조향 반응 (실시간성 충족)
치명적 한계: 블랙박스 구조로 인과관계 추론 불가능
위험: 낯선 도로 환경에서 에러 누적으로 인한 급정거/사고
대표 사례: VAD, GenAD 기본형 충돌률 0.53% 수준
핵심 물음

"인간은 평소엔 직관으로, 위기 땐 이성으로 운전한다.
이 둘을 합칠 수는 없을까?"

대니얼 카너먼
이중 사고 이론 착안
순수 VLM / LLM 주행 초저속 1,000~2,000ms

똑똑하지만, 너무 느려서 사고가 난다

카메라 영상을 거대 멀티모달 모델이 맥락 단위로 언어 추론하는 방식. "공사 중이므로 우회해야 한다"는 논리 판단은 완벽하지만, 거대한 파라미터 연산 때문에 응답까지 1~2초가 소요됩니다.

장점: 뛰어난 환경 이해 및 이유를 설명하는 능력 (XAI)
치명적 한계: 시속 60km에서 1초면 차량은 16.7m를 질주함
위험: 실시간 돌발 장애물 회피 불가능으로 단독 적용 불가
대표 사례: DriveLM, GPT-Driver 실시간 주행 제어 불가
02 · The Solution Architecture

FASIONAD : 두 개의 경로와 지능형 스위칭

평상시에는 가벼운 Fast 경로로 고속 주행하고, 위험이나 불확실성이 감지되는 순간에만 Slow VLM 경로를 호출하여 궤적을 실시간 교정합니다.

FAST PATHWAY 직관적 궤적 생성기

초당 6.9+ 회 궤적 생성

Multi-view 카메라에서 BEV(Bird's Eye View) 피처를 추출하고, Ego/Agent/Map 인스턴스 토큰 간의 Attention 연산으로 후보 궤적군을 초고속 샘플링합니다.

수식 (1): (It, Ct) → Wt
다중 보상 모델 (안전, 편안함, 효율, 연비) 평가
F_Reward = α_s*C_s + α_c*C_c + α_e*C_e
SWITCH MECHANISM 라플라스 불확실성 감지

이상치에 강한 위험 판단

가우시안보다 꼬리가 두꺼운(Heavy-tailed) 라플라스 분포(Laplace Distribution)를 활용해 주행 보상의 오차와 불확실성을 정밀 계산합니다.

수식 (8): p(Reward|Θ)
불확실성 임계값 초과 시 즉시 Slow 호출
Uncertainty > Threshold → Wake Up Slow!
SLOW PATHWAY VLM 맥락 분석 & 피드백

노이즈 제거와 고차원 판단

Visual 및 BEV 프롬프트를 Qwen-VL에 입력하여 환경 상태(Pt)와 메타 액션(At)을 도출합니다. 정보 병목(Information Bottleneck)으로 환각을 걸러냅니다.

출력: Pt=[1,1,0,...], At=[Stop, Yield]
Ego Token과 Cross-Attention으로 융합
L_align = ||Pt - P_hat||^2 + ||At - A_hat||^2
FASIONAD DUAL-LOOP DATAFLOW (논문 Figure 2 기반 요약)
입력 데이터
Multi-View 카메라
+ BEV 토큰
Fast Pathway
다중 궤적 생성
& 보상 모델 채점
라플라스 불확실성
위험도 판별 &
스위칭 조건 검사
경로 A: 보상 높음 & 불확실성 낮음 즉시 Fast 궤적으로 실행 (30ms 지연 없음)
경로 B: 불확실성 높음 (이상치 발생) Slow VLM 호출 → 메타 액션 피드백 주입 후 궤적 보정
03 · Live Interactive Simulator

논문 검증 3대 주행 시나리오 뷰어

실제 논문(Figure 4 & 6)에서 성능을 입증한 3대 난제 상황을 클릭하고 AI의 사고 과정을 확인해보세요.

BIRD'S EYE VIEW (BEV) CANVAS FAST PATHWAY ONLY
Fast 예측선 (충돌 위험/미흡)
Slow 보정선 (안전 갱신 완료)
라플라스 불확실성 지수
0.87 (HIGH RISK)
좌표계: 차량 중심 Ego BEV Coordinate [-30m ~ +30m] 샘플링 주기: 30ms (Fast) / 1000ms (Slow)
SCENARIO #01 Meta-Action: Pending

복잡한 교차로 비보호 좌회전

대향 차선에서 접근하는 직진 차량이 시야 사각지대에 가려져 있어, Fast Pathway 단독으로는 성급한 좌회전 궤적을 계획할 위험이 있습니다.

VLM REASONING TERMINAL IDLE
▶ 상단의 [Slow 보정 실행] 버튼을 누르면 VLM이 씬을 분석하고 생각의 사슬(Chain-of-Thought)을 출력합니다.
Planning State (Pt): [0, 0, 0, 0, 0, 0, 0, 0]
High-Level Direction: STRAIGHT
Target Speed Command: 40 km/h
04 · Verified Results

숫자로 증명된 압도적 안전성과 완주율

실제 자율주행 표준 벤치마크인 nuScenes(실도로 데이터)와 CARLA Town05(폐쇄 루프 극한 시뮬레이션)에서 기록한 세계 최고 수준의 성능 지표입니다.

OPEN-LOOP BENCHMARK

nuScenes 평균 충돌률 (Collision Rate)

낮을수록 우수 (↓)
VAD-Base (ICCV 2023) 0.53%
GenAD (CVPR 2024) 0.43%
UniAD (CVPR 2023 Best Paper) 0.31%
FASIONAD (본 연구) 0.18% (최저 달성)
💡 기존 최우수 모델 대비 충돌 위험을 최대 66% 이상 감소시킴
CLOSED-LOOP BENCHMARK

CARLA Town05 Short 주행 점수 (DS)

높을수록 우수 (↑)
ST-P3 (ECCV 2022) 55.14% (완주율 86.74%)
VAD (ICCV 2023) 64.29% (완주율 87.26%)
FASIONAD (본 연구) 64.83% (완주율 89.04%)
💡 좁은 골목길과 잦은 교차로가 밀집된 Town05 환경에서 역대 최다 완주율 기록
정보 병목 (IB) 모듈 탑재
불필요 노이즈 제거로 L2 오차 0.69m 단축
실시간 추론 속도 6.9 FPS
단일 RTX 3090 GPU로 실차 양산 적용 가능
VLM Full-Prompt 전략
Visual+BEV 복합 프롬프트 시 충돌률 최저 0.18%