https://www.ncbi.nlm.nih.gov/pubmed/30356211
The Moral Machine experiment.
Author information
- 1
- The Media Lab, Massachusetts Institute of Technology, Cambridge, MA, USA.
- 2
- Department of Human Evolutionary Biology, Harvard University, Cambridge, MA, USA.
- 3
- Department of Psychology, University of British Columbia, Vancouver, British Columbia, Canada. shariff@psych.ubc.ca.
- 4
- Toulouse School of Economics (TSM-R), CNRS, Université Toulouse Capitole, Toulouse, France. jean-francois.bonnefon@tse-fr.eu.
- 5
- The Media Lab, Massachusetts Institute of Technology, Cambridge, MA, USA. irahwan@mit.edu.
- 6
- Institute for Data, Systems & Society, Massachusetts Institute of Technology, Cambridge, MA, USA. irahwan@mit.edu.
Abstract
With the rapid development of artificial intelligence have come concerns about how machines will make moral decisions, and the major challenge of quantifying societal expectations about the ethical principles that should guide machine behaviour. To address this challenge, we deployed the Moral Machine, an online experimental platform designed to explore the moral dilemmas faced by autonomous vehicles. This platform gathered 40 million decisions in ten languages from millions of people in 233 countries and territories. Here we describe the results of this experiment. First, we summarize global moral preferences. Second, we document individual variations in preferences, based on respondents' demographics. Third, we report cross-cultural ethical variation, and uncover three major clusters of countries. Fourth, we show that these differences correlate with modern institutions and deep cultural traits. We discuss how these preferences can contribute to developing global, socially acceptable principles for machine ethics. All data used in this article are publicly available.
- PMID:
- 30356211
- DOI:
- 10.1038/s41586-018-0637-6
네이쳐 의 아티클.
윤리 알고리즘을 만드는 것에 대한, 리써치 아티클.
To Design Moral Machine Algorithms
다들 아는 예시이다.
자율주행차가 상용화 될 것을 앞두고, 사고가 발생하는 아찔한 순간에서
어떤 결정을 할 것이냐다.
지나가는 사람을 치고 갈 것인지, 승객을 지킬 것인지...
각 나라와 문화권마다, 판단이 다르다.
지나가는 사람이 어떤 사람일지에 따라 판단이 달라진다. (유모차, 아이들, 건장한 남성, 뚱뚱한 여성, 빨간불일떄 지나간다면, 할머니인지, 할아버지인지, 몇 명인지, 사람이 아니고 개나 고양이라면...) 모든 순간 판단은 달라질 수 있다.
그 판단은 그 사회에서 용납되어야 하고, 인정할 만한 수준이어야 한다. 그 나라의 법이나, 문화나, 정치 체계에서 받아들여질 만 해야 한다.
결과도 그렇게 나왔다. 나라 문화권마다 다른 것으로 나왔다.
자율주행차의 사고 시나리오만 해도 이렇게 복잡하고 어려운데,
거의 매일 여러순간 자주 윤리적인 판단을 내려야 하는 의료환경에선 얼마나, 이런 moral (ethical) machine algorithm 이 제대로 작동할까 의문이 든다.
"Bed가 모자란 중환자실과 응급실에서 어느 누구에게 치료의 우선권을 줘야 하는지?"
"동시에 터진 응급상황에서 흉부외과의가 꼭 필요한데, 그 흉부외과의는 몸은 하나인데 어디로 먼저 달려가야 하는지?"
"환자는 다 낫지도 않았는데 돈이 없어서 퇴원하려고 하는데, 보호자는 말리고 있는데, 누구의 말을 들어야 하는지?"
"환자는 연명치료에 대한 본인의 의견을 남겨놓지 않았는데, 보름채 혼수 상태이고, 보호자들은 돈이 바닥이 나서 연명치료를 하고 싶어 하지 않는데, 갑자기 나타난 둘쨰 아들이 한사코 호흡기를 떼지 말라고 요청 및 협박을 하고 있는데 누구의 말을 들어야 하는지?"
글쎼... 앞으로 얼마멀지 않은 미래에, 아무리 많은 빅데이터를 모아서 괜찮은 쓸만한 '(의학적) 윤리 결정 알고리즘'을 만들었다 하더라도, 각각의 나라와 각각의 병원과 각각의 환자의 사례에 정말 잘 작동할까?
그러다 문제가 생기면 누구의 책임인가? 담당의사? 보호자? 환자 자신? 알고리즘을 만든 회사? 알고리즘을 도입하기로 결정한 병원의 담당자?
여러가지를 생각하게 되는 아티클이다.
또한 이런 구상으로 자료를 모아서 정리해 낸 것도 놀랍다.
정답없는 얘기지만 출발 신호를 알리듯 한 페이퍼이기도 하다.
2018 Nature _ The Moral Machine experiment.pdf
