자율주행의 트롤리 딜레마: 도덕은 코딩될 수 있는가
폭주하는 전차, 선로 위의 다섯 명, 당신 앞의 전환기. 1967년, 영국의 도덕철학자 필리파 풋(Philippa Foot, 1920–2010)이 던진 이 사고실험은 원래 낙태 논쟁과 이중결과의 원칙을 탐구하기 위한 것이었습니다. 풋은 이 질문이 반세기 뒤 실리콘밸리의 엔지니어링 회의실에서 소프트웨어 설계 사양서로 변환되리라고는 상상하지 못했을 것입니다. 전차는 이제 시속 60킬로미터로 교차로를 통과하는 2톤짜리 자율주행차가 되었고, 전환기는 수천 줄의 코드로 대체되었습니다. 그 코드는 밀리초 단위로 판단해야 합니다—어떤 인간의 신체가 충격을 흡수할 것인지를.
풋이 끝내 해결하지 못한 질문이 지금 설계 명세서가 되고 있습니다. 세미나실에서 소프트웨어 아키텍처로의 이 전환, 바로 그 지점에서 도덕적 추론의 근본적인 무언가가 균열을 일으킵니다.
전환기가 코드가 된 순간
풋의 사고실험은 도덕적 행위자가 완전한 정보를 가지고 있다고 전제했습니다. 다섯 명이 보이고, 한 명이 보이며, 전환기를 당기면 어떤 결과가 빚어지는지 확실하게 알고 있습니다. 주디스 자비스 톰슨(Judith Jarvis Thomson, 1929–2020)은 이후 "뚱뚱한 남자" 변형을 제시함으로써 이 딜레마를 더욱 날카롭게 벼렸습니다—전차를 멈추기 위해 다리 위의 낯선 사람을 밀어 떨어뜨릴 수 있는가? 이 사고실험의 힘은 극단적 단순함에 있었습니다. 도덕적 추론을 뼈대까지 벗겨내어 하나의 질문만 남겼습니다. 다섯을 살리기 위해 한 명의 죽음을 능동적으로 야기하는 것은 허용되는가?
그런데 자율주행차는 이러한 수정같이 투명한 확실성 속에서 작동하지 않습니다. 브루킹스 연구소의 헤더 로프(Heather Roff)가 분석했듯이, 부분 관측 마르코프 결정 과정(POMDP)에 기반한 자율주행 시스템은 하나의 이진적 선택을 하나의 순간에 내리지 않습니다. 급진적 불확실성의 조건 아래에서 연속적 결정을 내립니다. 차는 다섯 명의 보행자와 한 명의 자전거 이용자를 "보고" "선택"하지 않습니다. 비, 눈부심, 공을 쫓는 아이의 예측 불가능한 궤적에 의해 차폐된 단편적 데이터를 처리하고, 위기의 순간 이전에 엔지니어가 정의해 놓은 보상 함수를 최대화할 가능성이 가장 높은 행동을 선택할 뿐입니다.
철학적 확실성과 계산적 불확실성 사이의 이 간극은 사소한 기술적 세부사항이 아닙니다. 윤리적 프레임워크 전체가 갈라지는 단층선입니다. 트롤리 딜레마는 기계 인식이 결코 제공할 수 없는 것을 전제합니다—완전한 지식, 고정된 결과의 집합, 단일한 결정의 순간.
4천만 건의 도덕적 고백
MIT의 모럴 머신(Moral Machine) 실험은 철학이 합의하지 못한 답을 군중에게서 끌어내려는 시도였습니다. 2018년 네이처(Nature)에 발표된 이 연구는 온라인 플랫폼을 통해 풋의 딜레마를 자율주행차 맥락으로 번역하여 사용자에게 제시했습니다. 노인 보행자를 살리기 위해 젊은 직장인을 희생할 것인가? 임산부인가, 범죄자인가? 다섯 명의 집단인가, 두 명의 집단인가? 233개국에서 4천만 건의 결정이 쏟아져 들어왔습니다.
세 개의 문화적 클러스터가 드러났습니다. 서양 국가의 응답자들은 노인보다 젊은이를 살리려는 경향이 강했습니다. 라틴아메리카와 프랑스 식민지 유산을 공유하는 남부 클러스터 국가들은 여성과 높은 사회적 지위를 가진 개인을 살리는 쪽에 더 큰 가중치를 부여했습니다. 아시아 다수 국가를 포함하는 동부 클러스터는 젊은이에 대한 선호가 상대적으로 약했고, 사회적 지위에 따른 구분도 덜 뚜렷했습니다. 이 실험이 드러낸 것은 발견되기를 기다리는 보편적 도덕이 아니었습니다. 문화, 종교, 경제 발전 수준, 법치주의의 강도에 의해 형성된 도덕적 직관의 환원 불가능한 다원성이었습니다.
데이터는 측정 가능한 제도적 변수들과 상관관계를 보였습니다. 법치주의가 강한 나라일수록 무단횡단자보다 교통법규를 준수하는 보행자를 살리려는 선호가 뚜렷했습니다. 경제적 불평등이 심한 나라일수록 높은 사회적 지위의 개인을 살리려는 경향이 강했습니다. 모럴 머신은 트롤리 딜레마를 해결하지 못했습니다. 어떤 알고리즘적 "해법"이든 코드를 작성한 문화, 계급, 엔지니어링 팀의 도덕적 선호를 필연적으로 내장하게 된다는 사실을 경험적으로 증명한 것입니다.
딜레마를 우회하는 주의의무
스탠퍼드 대학의 크리스 거데스(Chris Gerdes) 교수는 트롤리 프레임워크 자체를 비껴가는 대안을 제시했습니다. 포드 자동차와 공동으로 발전시킨 그의 논증은 의외로 단순합니다. 교통법에 이미 코딩되어 있는 사회적 계약이 충분한 윤리적 지침을 제공한다는 것입니다. 자율주행차는 모든 도로 이용자에게 주의의무(duty of care)를 집니다. 충돌 회피를 위해 필요한 경우를 제외하고는 교통법을 준수해야 하며, 딜레마에 관여하지 않는 당사자를 끌어들여서는 안 됩니다.
자전거 이용자가 빨간불을 무시하고 진입하면, 차는 그에 대한 주의의무를 지키며 물리적 한계 내에서 충돌을 피해야 합니다. 그러나 법규를 준수하고 있던 반대편 차선의 운전자를 위험에 빠뜨리며 차선을 이탈할 수는 없습니다. "한 명을 죽여 다섯 명을 살린다"는 공리주의적 계산은 비오염 원칙으로 대체됩니다. 위기에 책임이 없는 사람에게 위험을 전가하지 않는다.
이 접근법에는 칸트(Immanuel Kant, 1724–1804)적 울림이 있습니다. 인간을 수단으로만 취급해서는 안 된다는 정언명령의 요청과 공명합니다. 인간의 생명에 수치적 가중치를 부여하는 공리주의적 계산—트롤리 딜레마가 정확히 유도하는 바로 그 계산—은 개인의 도덕적 지위에 관한 근본적인 무언가를 침해합니다. 어떤 알고리즘도 당신의 생명이 세 명의 낯선 사람보다 가치가 적다고 판정할 권한을 부여받아서는 안 됩니다. 그러나 거데스의 프레임워크 역시 불편한 진실을 노출합니다. 그것이 작동하는 이유는, 가장 어려운 질문에 답하기를 거부하기 때문입니다. 충돌이 진정으로 불가피하고 모든 가능한 결과가 피해를 수반할 때, 주의의무 모델은 자체의 경계에 도달합니다. 희생시킬 수 없는 사람이 누구인지는 말해줍니다. 희생이 불가피할 때 무엇을 해야 하는지는 말해주지 않습니다.
누구의 도덕인가, 누구의 기계인가
독일 연방 교통부 윤리위원회는 2017년에 스무 가지 가이드라인을 발표하며 그 경계선을 정확히 그으려 했습니다. 아홉 번째 규칙은 단호하게 선언합니다. "불가피한 사고 상황에서 개인적 특성(나이, 성별, 신체적·정신적 조건)에 근거한 어떠한 구별도 엄격히 금지된다." 원칙은 숭고합니다. 그러나 이 원칙은 모럴 머신의 경험적 발견과 정면으로 충돌합니다. 실제 인간의 도덕적 선호는 바로 그러한 구별로 가득 차 있기 때문입니다. 우리는 공정한 알고리즘을 원한다고 말합니다. 우리의 직관은 매우 다른 욕망을 배반합니다.
2018년 3월 18일, 자율주행 모드의 우버 차량이 애리조나주 템피의 도로에서 자전거를 끌고 횡단하던 일레인 헤르츠베르크(Elaine Herzberg, 1968–2018)를 치어 사망하게 했습니다. 자율주행차에 의한 최초의 보행자 사망 사고였습니다. 차량의 센서는 충돌 6초 전에 그녀를 감지했습니다. 시스템은 그녀를 미확인 물체로, 이어서 차량으로, 다시 자전거로 연속 재분류했고, 각각의 재분류는 궤적 예측을 초기화했습니다. 비상제동 기능은 승차감 향상을 위해 비활성화되어 있었습니다. 안전 운전자는 휴대전화로 영상을 시청하고 있었습니다. 헤르츠베르크는 알고리즘이 트롤리 딜레마를 잘못 풀었기 때문에 사망한 것이 아닙니다. 시스템이 모호한 인간 형상을 사전예방 원칙의 적용 대상으로 다루도록 설계되지 않았기 때문에 사망한 것입니다.
트롤리 딜레마가 은폐하는 현실이 바로 여기에 있습니다. 자율주행차의 진정한 윤리적 위험은 두 집단의 식별 가능한 인간 사이에서 벌어지는 극적인 밀리초의 결정이 아닙니다. 센서 감도 임곗값, 분류 신뢰도 수준, 승객 편의를 위한 비상제동 비활성화 결정 등 위기가 발생하기 훨씬 전에 내려진 수천 가지 설계 선택의 누적된 무게입니다. 기계의 도덕적 건축은 딜레마의 단일한 순간에 새겨지지 않습니다. 도덕철학의 언어가 거의 소환되지 않는 엔지니어링 회의, 비용편익 분석, 기업의 리스크 계산 속에 분산되어 있습니다.
전환기 너머
철학자 바바라 프리드(Barbara Fried)는 2012년 에세이에서 "트롤리 딜레마를 죽이거나 죽게 내버려 두어야" 한다고 주장했습니다. 인위적으로 제약된 구조가 애초에 피해를 생산하는 체계적 조건에 대한 시야를 가린다는 이유에서였습니다. 그녀의 비판은 자율주행차 논쟁에 더욱 강하게 적용됩니다. 긴급한 질문은 충돌 직전 마지막 1초에 차가 무엇을 해야 하느냐가 아닙니다. 그 마지막 1초를 가능하게 만들거나 불가능하게 만드는 설계 매개변수를 누가 결정하느냐입니다.
자율주행 시스템의 도덕적 아키텍처를 민주화한다는 것은 무엇을 의미할까요. 개인적 선호의 글로벌 설문이 아닙니다—모럴 머신은 그것이 어디로 귀결되는지 보여주었습니다. 머신러닝 시스템에 내장된 가치 함수를 독점적 엔지니어링 결정이 아닌 집단적 숙의의 대상으로 다루는 투명하고 공적으로 책임지는 과정을 통해서입니다. 독일 윤리위원회의 가이드라인은 불완전하지만 하나의 모델을 제시합니다. 알고리즘 거버넌스를 위한 지자체 심의위원회는 또 다른 모델입니다. 본질적 전환은 "차가 무엇을 결정해야 하는가"에서 "차가 결정할 수 있는 것의 조건을 설정할 권리를 누가 갖는가"로의 이동입니다.
도덕을 기계에 코딩할 때, 우리는 인간 윤리의 혼란을 초월하는 것이 아닙니다. 코드를 작성한 사람들의 문화, 계급적 위치, 제도적 이해관계에 의해 형성된 특정한 전제들의 집합을 동결시켜, 망설임 없이, 후회 없이, 자신이 한 일의 무게를 느낄 능력 없이 그 전제들을 대규모로 적용하는 시스템 안에 고정시키는 것입니다. 트롤리 딜레마는 본래 해결되기 위해 만들어진 것이 아닙니다. 도덕적 추론 자체의 한계에 대한 불편함을 환기시키기 위해 만들어진 것입니다. 자율주행차 산업의 오류는 그 문제를 해결하지 못한 데 있지 않습니다. 문제가 해결 가능하다고 믿었다는 데 있습니다—그리고 그 믿음 위에 기계를 세웠다는 데 있습니다.
필리파 풋의 사고실험은 그 창안자의 사후 거의 20년을 살아남았습니다. 이 실험의 진정한 기능은 답을 생성하는 것이 아니라, 합리적 윤리에 대한 우리의 확신이 흔들리는 정확한 지점을 표시하는 것이었는지도 모릅니다. 공공도로 위의 모든 자율주행차는 그 흔들림의 기념비입니다—우리 자신이 행동의 의미에 합의하지 못하는 곳에서 행동해야 하는 기계. 전환기는 이제 코드 안에 있습니다. 그것을 누가 쥐고 있느냐는 질문은 아직 충분히 제기되지 않았습니다.
댓글 쓰기