[ESG NOW] 자율주행차 사고. 기술 아닌 거버넌스에 답 있다

최근 인공지능(AI)의 관심은 생성형에서 물리 세계를 움직이는 AI로 확장되고 있다. 그중 자율주행은 생명과 직결된 결정을 대신하는 단계로 들어섰다. 레벨4 시범 서비스가 확산하는 한편 보행자 충돌 같은 사고도 이어지면서 ‘위기의 순간 알고리즘이 누구의 안전을 우선할 것인가’라는 질문은 더 이상 철학 논쟁에 머물 수 없다.

이제 문제는 기업의 설계·운영·책임 체계를 시험하는 현실 과제이며, 기술의 화려함이 아니라 거버넌스의 정합성이 안전과 신뢰를 가른다.

본질은 세 가지다. 첫째, 설계 단계에서 알고리즘의 목표와 한계를 어떻게 정의할 것인가. 둘째, 운영 단계에서 그 한계를 어떻게 준수·감시할 것인가. 셋째, 책임 단계에서 사고가 났을 때 누가 어디까지 책임질 것인가에 있다.

이 세 가지 축을 선제적으로 세우지 못하면 우연한 성공은 짧고, 규제·법정·여론의 심판은 길다. 자율주행은 결국 AI 윤리와 ESG가 실제 사업 성과로 수렴되는 가장 극단적 시험대다.

사고가 남긴 메시지도 같은 방향을 가리킨다. 2016년 테슬라 모델S 플로리다 사고는 시스템 한계에 대한 과신의 위험을 드러냈다. 밝은 하늘을 배경으로 한 흰색 트레일러를 인식하지 못한 센서·감지 한계 위에 운전자의 경계 약화가 겹쳤다.

결과적으로 레벨2 기능의 한계 고지, 운전자 모니터링, 작동 조건의 엄격한 제한이 필수라는 교훈이 도출됐다. 2023년 샌프란시스코의 크루즈 사고는 기술 오류와 투명성 부재가 결합할 때의 대가를 보여줬다.

충돌 후 비상정지 대신 갓길 정차를 수행한 로직, 초기 보고에서 핵심 영상을 누락한 대응은 규제 신뢰를 무너뜨렸고 강한 제재로 이어졌다. 더불어 테슬라의 대규모 소프트웨어 리콜은 명칭·HMI·경고 설계가 운전자 인식과 오남용을 좌우한다는 사실을 상기시킨다. 레벨2 기능을 ‘자율주행’으로 오인하게 만드는 표현과 UX는 그 자체로 위험 요소다.

따라서 리더가 지금 점검해야 할 과제는 분명하다. 먼저, 설계·시험 단계에서 윤리와 안전을 요구사항으로 내재화해야 한다. 인간 생명 우선, 개인 특성에 따른 위험 차등 금지, 사전 희생자 계산 금지 같은 원칙을 기술 규격으로 번역하고, 운영영역(ODD)은 보수적으로 설정해야 한다.

취약 보행자에 대한 방어적 주행을 기본값으로 삼고, FCW/AEB·안전정지 등 중복 안전층은 유지하되 임의 비활성화를 금지해야 한다.

투명성과 책임성의 제도화가 필요하다. 사고가 발생했을 때 전량 데이터 보존·제출, 원인 분석·시정계획 공개, 리콜·OTA 개선의 효과 검증을 내부 규정으로 못 박아야 한다.

이사회 산하 안전위원회를 두고, CTO·최고안전책임자·법무가 함께 의사결정하는 구조를 표준화해야 한다. 또한 주행거리·이벤트율·개입 빈도·알고리즘 변경 내역을 담은 월간 안전 리포트를 대외 공개해 신뢰의 잔고를 쌓아가야 한다. 이름·마케팅·경고 문구·UI는 오남용을 억제하도록 설계하는 것이 원칙이다.

끝으로, 국가별 규제 차이에 맞춘 법적 리스크 관리가 핵심이다. 각국은 사전 인허가의 강도와 사후 보고·집행의 엄격성, 운행 요건(운영영역 정의·원격감독 등), 데이터·지도·사이버 보안 규율, 사고 시 초기 책임 주체와 제조사에 대한 구상 구조를 서로 다르게 설계한다.

지역별 승인·운영·보고·데이터 요건을 상시 매트릭스로 관리하고, 계약 단계에서 책임 배분과 구상 절차를 명확히 합의해 둬야 한다. 이렇게 해야 사업 모델·보험·운영 프로세스 전반이 규제 리스크에 탄력적으로 대응할 수 있다.

신뢰는 ‘AI가 누구를 살릴지’를 미리 약속하는 데서 오지 않는다. 딜레마가 생기지 않도록 매일 하는 선택에서 생긴다. 운행 영역을 보수적으로 설정하고, 스쿨존·병원 주변·야간 보행자 밀집 구간에는 추가 안전 여유를 두며, 결함을 숨기지 않고 빠르게 고치는 태도가 그것이다.

AI가 ESG의 실행 수단이 되듯, 자율주행도 안전·투명성·책임이라는 평범하지만 단단한 선택의 누적 위에서만 지속 가능하다.

요컨대 답은 간명하다. 설계는 사람을 먼저 생각하고, 운영은 한계를 지키며, 책임은 조직이 최종적으로 부담한다. 이 세 가지 원칙을 기술의 속도와 같은 속도로 제도화하는 기업만이 규제당국과 시장에서 동시에 신뢰를 얻게 될 것이다.

‘우리의 AI는 믿을 수 있는가, 사회에 유익한가, 지속가능한가.’

이 질문에 데이터로 답할 수 있는 기업이 자율주행 시대의 진정한 승자가 되지 않을까.

이광욱 변호사(법무법인 화우 신사업그룹장) kwlee@yoonyang.com