인공 도덕행위자(AMA) 설계 문제는 법적, 사회적 규범을 준수하는 도덕적 행위 주체로서의 AI 실현 가능성과 직결된다. AMA 구현을 위해 프로그래밍 설계 능력 확보보다 선결되어야 할 문제는 도덕성에 대한 철학적, 심리학적, 뇌신경과학적 이해이다. 도덕적 판단은 고차원 수준의 정신 능력을 요구하기에 기억, 논리 추론과 같은 인간의 인지 능력을 재현하는 것만으로 AI의 도덕적 의사결정 능력을확보했다고 단정하기 어렵다. AI 도덕성은 인간의 도덕성, 도덕판단을 모델로하기에 도덕적 행위자로서 AMA 구현을 위해 도덕적 경험의 축적, 도덕적 감정의 구현, 도덕성이 지닌 복잡성 확보, 도덕성의관계성 측면을 모두 고려할 필요가 있다. AI 신화를 극복하고 이상적인 도덕적 행위자로서 AMA 제작을 위해 인류에게 남겨진 최대 과제는 ‘어떠한’ 도덕성을 구현해야 하는가에 대한 깊은 천착이다. 이를바탕으로 도덕적 인격을 갖춘 컴퓨터가 딥러닝에 의해 접근 가능한가의 기술적 문제에 대한 고려가 필요하다. 도덕적인 로봇은 행복과 같은 인간의 뿌리 깊은 감정적 목표뿐만 아니라 도덕적 판단을 둘러싼 도덕적 인지, 정서, 의지, 직관, 통찰, 실천력 등을 갖출 것이 요구된다. AMA의 실현을 위해 컴퓨터공학자, 윤리학자, 뇌신경과학자의 도덕성 이해가 상호 참조되어야 한다. AI를 통해 인간만큼이나다양한 도덕적 인격을 창출해 낼 것인지 아니면 인류가 추구해야 할 최상의 도덕적 인간상을 구현할것인가의 문제 또한 우리에게 남아있다. AI 도덕성은 신경 신화와 같이 AI 신화를 만들어 내며 인류에게 도덕성의 접근에 있어 보다 도덕철학적이고 윤리학적인 동시에 뇌신경과학적, 신경윤리학적인 탐구를 요구한다. 이는 인공지능 도덕행위자 제작 기술자들에게 도덕적 의사결정에 있어 감정 컴퓨팅, 감성 지능의 역할을 설명하는 자료를 제공하기 위해서는 상호이타주의와 공정성 같은 특정한 도덕 원칙에 대한 도덕철학, 윤리학의 고려뿐만 아니라 도덕심리학, 신경윤리학에서 얻은 통찰력을 결합해야 할것을 요청한다.
The issue of Artificial Moral Agent(AMA) design is directly related to the feasibility of AI as a moralagent that complies with legal and social norms. The problem that should be pre-determined rather thansecuring programming design ability for AMA implementation is the philosophical, psychological andneurological understanding of morality. Since moral judgment requires a high level of mental ability, itis hard to conclude that AI's moral decision-making ability has been secured just by reproducing humancognitive abilities such as memory and logic reasoning. AI morality is modeled on human morality andmoral judgment, so as a moral agent, it is necessary to consider all aspects of the morality, including theaccumulation of moral experience, moral emotion, the securing of the complexity of morality, and therelationship. The biggest task left for mankind to overcome AI myths and produce AMA as an idealmoral agent is a deep sarcasm about what kind of morality should be implemented. Based on this, it isnecessary to consider the technical question of whether computers with this moral character areaccessible by deep learning. Moral robots are required not only to have deep-rooted human emotionalgoals such as happiness, but also to have moral awareness, emotion, will, intuition, insight and practicalskills surrounding moral judgment. For the realization of AMA, an understanding of the morality ofcomputer engineer, ethicist and neuroscience should be cross-referenced. The question remainswhether AI will create as diverse moral character as humans or realize the best moralhuman image that mankind should pursue. AI morality creates AI myths likeneuromyths and demands more moral philosophy and ethical exploration of humanbeings in their approach to morality, as well as neuropsychological and neurologicalexploration. This calls for combining insights from moral psychology and neuroscienceas well as moral philosophy and ethical considerations of certain moral principles,such as reciprocity and fairness, in order to provide engineers with data explaining therole of emotional computing and emotional intelligence in moral decision making.