인간 중심 AI

인간 중심 AI 개념을 소개하는 책. amazon.com/dp/B09PGJTF74

서문 Introduction

인간 중심 AI(이하 HCAI)는 디자이너들이 인간의 자기효능감, 창의성, 책임감, 사회적 연결을 지원하기 위한 새로운 전략들을 상상하도록 돕는 신선한 발상들을 제공. AI의 존재론적 위협에 대한 공포감을 줄이고, 사업, 교육, 건강, 환경 등과 관련한 장점을 부각할 것.

1부. HCAI란 무엇인가 What is Human-Centered AI?

1장. 높은 기대 Introduction - High Expectations

과거 연구자들이 알고리즘 개발, 기계의 자율성, 알고리즘의 성능 등에만 몰두했다면, HCAI는 사용자 경험, 인간의 적절한 통제, 인간의 성과, 정의, 권리 등 인간 가치에도 동등하게 집중할 것. HCAI에 대한 관심은 2017년 책임있는 AI 개발에 대한 몬트리올 선언 이후 지속적으로 증가하고 있음.

HCAI는 UN 지속가능발전목표(UN SDGs), UN 선을 위한 AI(UN AI for Good), 인간의 웰빙(IEEE P7010) 등 거시적인 사회적 목표의 달성에 있어서도 중요한 역할을 할 것으로 기대. HCAI 방법론 및 응용을 잘 적용하면 이러한 분야에서 큰 진전을 이룰 수 있을 것.

HCAI의 핵심적 측면 두 가지는 프로세스와 제품.

HCAI는 사용자 관찰, 이해관계자 참여, 점진적 개선, 사용성 테스트 등 UX 방법론과 프로세스를 활용 - HCAI는 인간의 능력을 증폭/증강하면서도 인간의 통제 하에 있는 슈퍼툴 설계에 집중. 예: 디지털 카메라나 네비게이션 시스템

이 책은 세 가지 새로운 아이디어를 제시.

디자이너들이 AI가 가미된 시스템 설계 시 활용할 수 있는 프레임워크
AI+인간으로 구성되는 시스템에 대한 디자인 메타포 (똑똑한 행위자와 슈퍼툴, 팀동료+원격로봇, 자율성 보장+통제실 등)
윤리적 AI를 구현하기 위한 실용적 절차

2장. 합리주의와 경험주의가 제공하는 단단한 기반 How do rationalism and empiricism provide a sound foundations?

서양철학사의 오랜 논쟁인 합리주의-경험주의가 AI 시대에도 이어짐. 완전한 자율성에 기반하여 인간을 대체하려는 기존 AI 흐름을 합리주의, 인간의 통제 하에서 인간의 가치 추구를 보조하는 HCAI 흐름을 경험주의로 규정. 현재 합리주의가 우세하니 경험주의가 더 가미되어야 한다고 주장.

R. 피셔는 완고한 합리주의자라 흡연과 폐암 사이의 인과성에 대한 근거 불충분을 이유로 흡연을 계속하다가 폐암으로 사망했고, J. 튜키는 경험주의자라 데이터를 눈으로 직접 보는 것(시각화)의 중요성을 강조했음. (🤔 이상한 주장이지만 일단 계속 읽는 중. —ak)

(여기에서 저자가 말하는 기존 AI란 Symbolic AI가 아니라 인공신경망 기반의 AI를 말한다. 그런데 전통적으로 AI 연구에서는 GOFAI가 합리주의, ANN이 경험주의로 여겨졌다는 걸 생각하면 저자의 구분은 약간 혼란스럽다. 계산주의-연결주의 논쟁을 다 무시하는 듯한 분류. 기존 AI 연구에서 합리주의-경험주의 구분은 ‘기계의 인식론’, 즉 기계가 어떤 방식에 의해 지능을 모방하게 되는가에 대한 구분이었다면, 저자가 제시하는 구분은 AI를 연구하는 ‘인간의 인식론’에 대한 구분이라고 이해했다. 예시들이 좀 이상하지만 이렇게 이해하면 나름대로 잘 읽힘.)

“Human-in-the-loop”는 합리주의 경향의 연구자들이 마지못해 인간의 개입을 끼워 넣으려고 할 때 쓰는 표현처럼 느껴진다고. 저자가 선호하는 (경험주의스러운) 표현은 “Humans in the group; computers in the loop.” 즉, 사회적 연결망에 속한 인간을 기계적으로 연결된 컴퓨터들이 돕는 느낌.

합리주의 경향의 접근이 기계의 자율과 인간의 완전한 대체에 집중한다면, 경험주의 경향의 HCAI 접근은 풍성한 데이터 시각화, 설명가능성 등을 통한 인간의 개입과 통제가 열려 있는 시스템에 집중. 이러한 시스템에서는 직접 조작 패러다임 등이 유용할 것. (직접조작 패러다임은 HCI 분야에 대한 저자의 가장 유명한 기여 중 하나.)

3장. 인간과 컴퓨터는 같은 범주에 속하나? Are people and computers in the same category?

기존 AI와 HCAI의 두번째 차이: 기존 AI는 인간과 컴퓨터에 질적 차이는 없으며 양적 차이만 존재한다고 보는 반면, HCAI는 질적 차이가 있다고 봄. 그렇다고 저자가 영혼 등 초자연적 개념을 지지하는 건 아님. 질적 차이는 오랜 시간 누적된 인간의 생물학적, 문화적 진화에서 기인.

(진화라는 프로세스는 고차원 탐색 공간을 효율적으로 탐색하는 휴리스틱에 불과하다는 점, 이미 유전자 알고리즘 내지 진화 알고리즘이 1970년대부터 쓰이고 있는 점 등을 생각해보면 진화적 설계 여부가 인간과 컴퓨터의 질적 차이를 만드는 요인일 수 있는지 의문. —ak)

의식이 있는 AI에 대한 사변적 소설에 좀 더 마음을 열 필요가 있기도 하겠지만, 본인은 아직까지 인간만이 유일하게 창의적이라고 생각하며 AI로 인간을 돕는 슈퍼툴을 만드는 일에 더 관심이 있음.

(이러한 관점은 18세기 데카르트가 인간과 동물을 구분하던 사고와 유사한 면이 있어 보인다. 나도 지금 당장 의식있는 AI가 있다고 믿는 건 아니지만, 아마도 22세기 사람들은 21세기에 쓰여진 글들의 인간-기계 구분을 읽으면 차별적이라고 여길지도 모르겠다. —ak)

인간의 감정도 AI 연구자들의 생각에 비해 훨씬 복잡하다. 많은 AI 연구에서 근거로 삼는 폴 에크먼의 정서 연구에 따르면 인간에게는 총 7개의 보편적 정서가 존재한다고 하였으나 인간의 정서는 이보다 훨씬 복잡하다.

(에크먼은 범 문화권에 걸쳐 보편적인 정서가 “최소” 7가지라고 했지 “총” 7가지라고 말하지 않았으니 약간 왜곡된 인용. 에크만의 연구는 다윈의 표정 연구(The expression of the emotions in man and animals) 전통에서 이어짐. 즉, 애초에 인간의 “모든 정서”를 나열하는 게 목적이 아님. —ak)

4장. 자동화, AI, 로봇이 광범위한 실업을 야기할까? Will Automation, AI, and Robots Leads to Widespread Unemployment?

예로부터 혁신과 자동화는 저비용, 고품질, 수요 폭증, 고용 증가로 이어지는 패턴이 존재. AI도 마찬가지일 것. 다만 양극화가 더 심해질 소지가 크기 때문에 분배 정의가 중요한 문제. 기술 기업과 규제 당국의 더 적극적이고 진지한 역할이 필요.

5장. 요약 및 회의주의자를 위한 코너 Summary and Skeptic’s Corner

(1-4장을 요약하여 반복하는 내용은 생략하고, 한 부분만 요약발췌) 제프리 힌턴은 2016년에 이제 (AI가 인간을 추월할 것이 자명하므로) 방사선사 교육을 멈춰야 한다 주장했으나, 현재 많은 방사선사들이 (AI에 의해 대체되기보다는) AI를 활용해 일을 더 잘하게 된 점에 기뻐하길 바람.

2부. HCAI 프레임워크 HACI Framework

6장. ‘자동화 수준’ 논의를 넘어서기 Rising above the Levels of Automation

기존의 1차원적 자동화(또는 자율화) 수준 논의에서 벗어나서 (기계의) 자동화 수준과 (인간의) 제어 수준이라는 2차원 모델을 제안. 자동화 수준이 높을수록 제어 가능성은 낮아진다는 1차원적 관점과 달리, HCAI의 목표는 자동화 수준이 높으면서 동시에 제어 수준도 높은 제품을 만드는 것.

자동문처럼 단순한 시스템도 휠체어 이용 등 다양한 맥락에 따라 수동으로 열거나 계속 열려 있도록 설정하는 기능이 있으면 유용. 의료나 재난 등 더 중요한 시스템이라면 자동화하더라도 수동으로 개입할 여지를 두는 게 더욱 중요할 수 있음.

자동화 시스템을 만들며 얻은 교훈

사용자 통제가 가능해야 더 견고하고 안전하고 믿을 수 있는 시스템이 됨
시스템 동작에 대한 감사 및 분석 로그를 남기면 큰 도움이 됨
자동화 설계의 결함 가능성을 인정하는 디자이너의 겸손한 태도가 매우 중요

1차원적 “(기계의) 자동화-(인간의) 자율성” 축에 대한 연구(T. Sheridan 1978)가 널리 인용되고 있으나 이러한 제로섬 관점은 자동화와 인간의 통제를 둘 다 높이는 방향으로의 사고를 제약함.

시간이 흘러 Parasuraman et al. 2000 등이 위 논의를 개선. 자동화에는 여러 스테이지가 있다고 간주

정보 습득
정보 분석
의사결정
실행

이 제안에 따르면 전체 시스템의 자동화 수준 대신 각 스테이지별로 얼마나 자동화 할지 구분하여 논의할 수 있음.

스테이지 모델도 여전히 1차원적. 이 책 8장에서 2차원 모델을 제시할 것. Robert R. Hoffman 등은 무기 시스템에서의 자동화로 인한 사고나 비용을 연구. 1차원적 자동화에 대한 여러 비판이 있었고 다양한 사고가 실제로 일어남. 2003년 패트리엇 미사일, 2018-2019년 보잉 737 MAX 등.

7장. 견고하고 안전하고 신뢰성있는 시스템이란 Defining reliable, safe, and trustworthy systems

(이 장에서 주관적 신뢰는 trustfulness, 객관적 신뢰성은 trustworthiness로 구분해서 쓰고 있다 —ak)

‘견고한reliable 시스템’은 필요한 순간에 기대한 반응을 하는 시스템을 말함. 시스템 개발 과정이 소프트웨어 공학의 실천법들을 잘 따라야 달성 가능. 주로 소프트웨어 엔지니어들의 역할.

‘안전safety’은 사업 주체 및 관리자들의 역할. 내부 검토 위원회, 안전에 대한 상위 관리자들의 인식, 산업 표준 잘 따르기, 실패에 대한 상세 보고, 안전 관련 인력 채용 및 교육, 근본원인분석 등.

‘신뢰성 있는trustworthy 시스템’은 단순히 믿음직한 느낌을 주는 시스템이 아니라 신뢰가 보장되는 시스템을 말함. 최종 사용자는 신뢰성을 충분히 잘 평가하기 어려움. 따라서 독립 감독 기관에 의한 평가가 필요하고 정부의 개입과 규제 또한 중요.

이 책에서는 논의를 단순하게 유지하기 위해 세 가지 속성에 집중하고 있지만, 연구자들 사이에서는 훨씬 다양한 논의가 있음. 예측가능성, 사생활보호, 치우침없음, 제어가능, 지시가능, 사용성, 관측가능, 설명가능, 이해가능, 가용성, 감사가능, 추적가능, 공정성 등.

8장. HCAI의 2차원 프레임워크 Two-dimensional framework of HCAI

See 2D framework of HCAI

9장. 디자인 가이드라인과 예시 Design Guidelines and Examples

본인의 저서 Designing the User Interface에 실린 여덟가지 디자인 황금률은 HCAI에도 여전히 유용:

일관성 추구
보편적 사용성 추구
유용한 피드백 제공
종결이 있는 대화를 설계
오류 방지
쉬운 취소
제어권은 사용자에게
단기 기억 부하 줄이기

황금률을 기반으로 HCAI 패턴 언어 를 제안:

전체를 먼저 보여주고, 줌과 필터를 제공. 상세한 정보는 필요에 따라
미리보기, 선택하고 개시, 실행 관리 순서로
상호작용 가능한 제어판을 통해 사용자가 과업을 주도할 수 있도록
강력한 센서를 사용하여 작업이력과 감사로그를 기록
사람들 사이의 소통을 장려.
중요한 분야의 어플리케이션을 만든다면 각별히 주의.
적대저 공격을 막을 것.
사고 기록을 공개하여 개선.

위 패턴 언어에 대해 3부와 4부에서 부연하겠음.

10장. 요약 및 회의주의자를 위한 코너 Summary and Skeptic’s Corner

(생략)

3부. 디자인 메타포 Design Metaphors

11장. 도입: AI 연구의 목표는 무엇인가 Introduction: What are the Goals of AI Research?

AI 연구에 다양한 목표가 있을 수 있으나 이 책에서는 크게 과학 목표science와 혁신 목표innovation라는 두 개의 큰 범주로 구분. 각 범주 내에서 쌍을 이루는 메타포를 네 개씩 제안(즉, 과학 범주의 메타포 1과 혁신 범주의 메타포 1이 쌍을 이루는 식으로 네 쌍).

짝1:
- 과학: 지능형 에이전트 (사고하는 기계, 인지적 행위자, AI)
- 혁신: 슈퍼툴 (능력의 확장, 인간 퍼포먼스 향상)
짝2:
- 과학: 팀메이트 (능동적 협업자, 동료)
- 혁신: 원격 로봇 (조정 가능한 장비, 강력한 의수/의족, 지각과 운동 능력을 증강)
짝3:
- 과학: 보장된 자율성 (독립적, 목표 설정, 자기 모니터링)
- 혁신: 제어센터 (인간의 개입과 감독, 상황인식)
짝4:
- 과학: 사회적 로봇 (안드로이드, 바이오닉, 인간형로봇)
- 혁신: 능동적 가전 (소비자 중심, 범용성, 저렴한 가격, 이해가능한 조작부)

위에서 제안한 네 쌍의 디자인 가능성은 다양한 맥락에서 어떤 디자인이 적용될 수 있는지 가이드하는 역할을 함. 견고하고 안전하고 신뢰성 있는 시스템을 만들기 위해 필요한 디자인을 제안할 수도 있음.

(무슨 말인지 하나도 모르겠다. 12장에서 전반적인 설명을 하고, 13-16장이 각 쌍에 대해 상세히 설명한다 함. —ak)

12장. 과학 및 혁신 목표 Science and Innovation Goals

과학 목표를 짧게 요약하자면 인간의 지각, 인지, 운동 능력을 이해하여 인간과 같거나 더 뛰어난 성능을 지닌 컴퓨터를 개발하는 것. 이 커뮤니티에 속한 연구자들은 인간이 기계라고 생각함. 일부 연구자 및 법학자들은 AI에게 법적 개인성을 부여해야 한다고 주장하기도 함.

혁신 목표(혹자는 공학engineering 목표라고도 부름)는 HCAI 방법론을 적용하여 널리 쓰이는 제품 또는 서비스를 개발하는 것. 이 커뮤니티에 속한 연구자들은 원격로봇, 능동적 가전 등 도구 기반 메타포를 선호. 본인은 슈퍼툴이라고 부르겠음.

‘공항 이용을 지원한다’의 과학 목표 버전은 인간처럼 생긴 로봇이 여행객을 가이드하고 자연어로 대화하는 것. 혁신 목표 버전은 여행객에게 개인화된 지도 기능 등이 탑재된 스마트폰 앱.

(결국 과학 목표-혁신 목표 구분은 1부에서 합리주의-경험주의 구분의 다른 표현인 것 같다. 어쩌다가 과학이 ‘합리주의’에 들어가게 됐는지 모르겠지만 아무튼 이 책에서는 그렇다. —ak)

과학 목표를 추구하는 이들은 인간형 로롯, 사족보행로봇 등을 만들지만 무거운 물건의 장거리 수송엔 바퀴가 최고. 생물체를 따라하려는 시도들이 실용화를 막고 있음.

(🤔사족보행은 바퀴로 접근하기 어려운 지형을 다닐 수 있는 장점이 있음. 수많은 Biomimicry 성공사례도 반례. —ak)

13장. 지능형 에이전트와 슈퍼툴 Intelligent Agents and Supertools

과학 목표를 추구하는 이들은 앨런 튜링 이후로 꾸준히 인공지능 에이전트를 만들도자 했으나 아직 역부족. 혁신 목표를 추구하는 이들은 더글라스 엥겔바트를 필두로 인지 증강을 추구해왔고 잘하고 있음. 이 둘을 잘 결합하면 더욱 좋을 것.

첫번째 방법은 내부 작동에는 과학 목표 기술을 활용하고 인터페이스는 혁신 목표 기술을 쓰기. 예: 검색엔진. 두번째 방법은 과학 목표와 혁식 목표를 기능에 잘 분배하기. 예: 디카의 HDR 제어. 세번째 방법은 추천엔진이 탑재된 쇼핑몰처럼 사용자에게 통제권을 주는 뛰어난 슈퍼툴.

요약하자면, 과학 목표와 혁신 목표를 잘 결합하여 일관성있고 이해할 수 있고 예측가능하며 통제 가능한 슈퍼툴을 만들 수 있음.

14장. 팀메이트와 원격로봇 Teammates and Tele-bots

인간-로봇 상호작용이 인간-인간 상호작용과 유사하다 여기는 이들이 많음. 다들 이번엔 기술이 더 발전해서 다를거라 믿으며 계속 같은 실수를 반복. 로봇을 팀메이트로 인식하도록 디자인을 할수록 로봇을 ‘인간처럼’ 취급하게 되지만 결국 로봇은 인간이 아니기에 문제가 생김.

첫째, 로봇은 인간과 달리 법적/윤리적 책임이 없음. 미공군은 무인비행기(UAV)라는 용어 대신 원격조정비행기(RPV)라는 용어를 쓰기 시작함. 책임소재가 조종사에게 있음을 명확히 하는 이름.
둘째, 로봇과 인간은 지닌 능력이 다름. 로봇은 알고리즘의 빠르고 정확한 수행, 거대한 DB, 인간보다 정밀한 센서 등을 갖추고 있음. “팀메이트” 비유는 디자이너가 로봇의 이러한 능력을 충분히 활용하는 디자인을 만들기 어렵도록 상상력을 제한하는 작용을 함.
셋째, 인간의 창의력. 인간이 어떤 도구의 도움을 얼마나 받건 간에 논문을 쓰고 예술을 하는 주체는 인간. (🤔이 책이 1년만 늦게 나왔더라도 저자의 확신이 조금을 줄었을 것 같다)

이러한 이유로 저자는 팀메이트 비유보다는 원격로봇tele-bots 비유를 선호함. 원격로봇 또는 원격프레센스telepresence 등의 비유 또는 용어가 더 나은 디자인 메타포인 경우가 많음. 예: 원격 수술 로봇 다빈치 등.

15장. 보장된 자율성과 제어센터 Assured Autonomy and Control Center

자율성에 대한 미국방과학위원회의 정의: 자율성은 허가된 대상에게 제한적 결정권을 위임함으로써 생겨남. 미리 정해진 동작을 수행하는 시스템은 자율이 아니라 자동. 목표를 달성하기 위해 지식과 상황 정보를 활용하여 스스로의 동작을 결정해야 자율.

하지만 아래와 같은 경고도 포함하고 있음: ‘자율’을 종종 제한도 없고 개입할 수도 없는 시스템이라는 오해를 불러일으킴. 모든 자율 시스템은 적정 수준에서 인간의 개입을 요하며, 자율성의 범위 또한 사전 설계에 의해 제한됨…. 자율성 그 자체만으로는 어떤 문제도 해결할 수 없음.

저자는 ‘보장된assured 자율성’ 대신 ‘감독받는supervised 자율성’이라는 용어를 선호. 또다른 중요한 요소는 감사용 기록 및 장애진단용 기록 남기기. ‘보장된 자율성’ 비유는 디자이너와 개발자로 하여금 실제로 가능한 수준 이상의 기대를 하도록 착각하게 하는 문제가 있는 반면, ‘제어센터’ 비유는 인간이 목표설정 및 의사결정을 하고 저수준의 제어(모터 제어 등)는 기계가 자율적으로 하는 방식의 협업을 떠올리도록 하는 장점이 있음.

16장. 사회적 로봇과 능동적 기기 Social Robots and Acrive Appliances

저자는 인간형 로봇(아시모 등), 인간이 좋아하는 동물을 닮은 로봇(AIBO 등), 인간처럼 대화하는 가상의 에이전트(MS 밥과 클리피 등) 등 다양한 사례를 소개하고, 대체로 부정적으로 평가. 산업용 로봇팔도 초기에는 인간의 팔을 모방했다가 실패했다고.

저자는 능동적 기기라는 접근을 더 선호. 센서와 마이크로컨트롤러가 있는 스마트 가전들은 시장에서 매우 성공적이었음. 구글 네스트 등과 같이 점점 발전 중. 로봇청소기 룸바도 초기 버전은 “자율성”에 치중했으나 점차 인간의 다양한 개입을 허용하는 방식으로 개선됨.

알렉사/시리 등 상업적으로 성공한 VUI 기기에 대해 저자는 두 가지 주장을 폄:

VUI 기기는 비록 인간처럼 대화하지만 형태가 인간형이 아니므로 소셜 로봇보다는 능동적 기기에 가까움
그럼에도 불구하고 ‘음성 대화’를 요하므로 상당한 인지부하를 주고 따라서 긴급한 분야엔 적용이 어려움.

챗봇도 꾸준히 시도되는 중이지만 아직까지는 실패 사례가 더 많음. 요청한 음악을 재생하거나, 단순한 질문에 답하는 등의 작업에 비해, 자유롭게 대화하는 기능은 훨씬 더 도전적인 문제이며 많은 연구가 필요. (이 책이 ChatGPT 직전에 나와서 ChatGPT에 대한 언급은 없다 —ak)

19세기로 돌아가서 세탁기를 재발명한다면, (과학 목표를 추구하는 집단이라면) 인간형 로봇이 한 손에 빨래비누를 잡고 옷을 하나하나 세탁한 후 빨래줄에 널어 말리는 식으로 만들 것. 현대의 세탁기능 능독적 기기 형태이며 인간형 로봇보다 훨씬 효율적.

(반대로, 다목적 인간형 로봇이 일상화된 22세기 사람들은 21세기를 돌아보며 “과거에는 세탁만 하는 기계, 청소만 하는 기계 등 한 가지 일 밖에 못하는 기계를 다 따로 만들었고, 각 기계의 규격에 맞는 수납 공간이나 충전 장치들이 모두 별도로 필요했다”고 회상할 수도 있겠지다. —ak)

17장. 요약 및 회의주의자를 위한 코너 Summary and Skeptic’s Corner

(생략)

4부. 지배 구조 Governance Structures

18장. 도입: 윤리와 실천의 간극을 잇기 How to Bridge the gap from Ethics to Practices

4계층 지배구조가 윤리와 실천 사이의 간극을 줄여줄 수 있을거라 기대.

소프트웨어 공학에 기반한 견고한 시스템
검증된 비즈니스 관리 전략에 기반한 안전 문화
독립된 감독기구에 의한 신뢰성 인증
국가 기관에 의한 규제

19장. 단단한 소프트웨어 공학적 실천에 기반한 견고한 시스템 Reliable System based on Sound Software Enginnering Practices

기록과 분석툴. 항공 분야에서는 비행자료기록기(FDR; flight data recorder), 조종석음성녹음기(CVR; cockpit voice recorder) 등이 도입되어 안전 측면에서 엄청난 개선을 이룸. AI 분야에서도 에이전트의 행위에 대한 기록과 분석이 필요.

소프트웨어 공학적 공정. 전통적 폭포수 방법론에서 애자일 방법론으로의 전환이 필요. 불완전한 시스템이라도 자주 배포하고 피드백을 통해 개선하기, 직군 간 공유와 협업을 장려하기 등.

(최근에는 AI 윤리, 안전 등을 강조하는 진영에서 오히려 OpenAI 등이 제품을 성급하게 배포하는 전략의 위험성을 경고하고 있다. 책이 반년만 늦게 나왔더라면 이런 측면에 대해서도 얘길했을텐데 아쉽다. —ak)

편향에 대한 테스트, 공정성 향상. 대량살상수학무기(Weapons of math destruction), 구글에서의 Timnit Gebru 해고 사태 등을 언급. (많은 사람들이 수많은 글에서 언급한 내용이므로 생략)

설명가능한 UI. 소프트웨어가 어떤 결정을 내렸을 때 사용자가 적절히 개입하기 위해서는 왜 그러한 결정을 내렸는지 알 수 있도록 설명가능성을 제공해야 함. GDPR 등에는 ‘설명 받을 권리’가 명시되어 있기도 함.

설명 필요성을 낮추기. 설명가능한 UI보다 더 좋은 전략은 설명이 필요하지 않게 만드는 것. 사용자의 실수를 줄이거나 이용 과정에서 자연스럽게 이해를 향상시키는 등의 전략.

20장. 비즈니스 관리 전략에 기반한 안전 문화 Safety Culture through Business Management Strategies

조직 설계를 통해 실패해 대비하는 방법에 논의는 HCAI의 주요 주제 중 하나. 최소 네 가지 방법이 논의되었음.

정상 사고 이론: 복잡한 조직+지나치게 잘 정립되고 강결합된 부서들+중앙집중적 관리+부족한 여분redundancy의 결과로 사고에 대한 대응력이 약해진다는 이론.
고신뢰성 조직high reliability orgs: 실패가 일어날 수 있는 가능성들에 철저하게 대비하고 회복탄력성resilience을 높이는 방법에 대한 연구. 여분, 잦은 훈련, 책임성 강조, 의사결정권 분산 등에 기초함.
탄력성 공학: 인지과학과 휴먼팩토공학(보통 인간공학이라고 퉁쳐서 부름)에서 유래. 알 수 없는 사건에 대응할 수 있도록 충분한 유연성을 갖추려는 시도들.
안전 문화safety cultures: 체르노빌 원전 참사, 챌린저호 폭발 참사 등에 대한 대응으로 발전. 특정 개인의 실수나 디자인 오류 등이 아니라 조직 구성원 전체의 인식과 조직 문화를 개선하기 위해 노력.

저자는 이 중 안전 문화를 선호. 이에 기반하여 다음 다섯가지를 제안.

안전을 위한 경영진의 꾸준한 노력
안전 위주 고용 및 훈련
실패 및 거의 실패(near misses)를 상세히 보고하기
내부검토위원회 운영
업계 표준과 베스트 프랙티스 따르기

21장. 독립된 감시 기구로부터의 신뢰성 인증 Trustworthy Certification by Independent Oversight

(생략)

22장. 정부의 개입 및 규제 Government Interventions and Regularations

(생략)

23장. 요약 및 회의주의자를 위한 코너 Summary and Skeptic’s Corner

(생략)

5부. 우리는 이제 어디로 가나 Where do we go from here?

기술 중심 연구자들은 딥러닝 알고리즘 개선에, 사회학 중심 연구자들은 편향을 줄이고 공정성을 확보할 방법에, 윤리학자들은 새로운 해석에, 실천가들은 개발자를 위한 더 나은 도구 개발에, 정책결정권자는 현실적인 규칙과 규제 고안에, 투자자는 더 나은 연구 제안서 발굴에 집중할 것.

HCAI는 시민 과학citizen science, 오정보 차단stopping misinformation, 새로운 치료법과 백신 개발 등에 기여할 것. HCAI의 기여는 너무나 익숙해져서 더이상 의식하지 못할만큼 생활에 스며들 것. 현대의 거의 모든 기기에 컴퓨터 칩이 있는 것과 유사하게, 어디에나 HCAI 응용이 존재하게 될 것.

(이 책이 나온 직후인 2023년년에는 오히려 LLM의 환각으로 인한 오정보, LLM을 고의로 악용하여 만들어낸 거짓말 등이 판치는 중. 오정보 생성과 탐지 사이의 무기 경쟁이 일어나는 느낌. Symbolic AI와 온톨로지 등과 연결이 필요. —ak)

여러 대학에서 HCAI 관련 연구 그룹이 만들어지고 있고, 컴퓨터공학 관련 코스에 윤리학에 대한 내용, UX 관련 내용이 추가되는 추세. 특히 유럽 대학들의 코스들은 GDPR 등을 염두에 두고 설계되고 있음.

25장. 신뢰성을 평가하기 Assessing Trustworthiness

믿을 수 있는 느낌을 주는 거랑 실제 신뢰성이 있는 건 다름. 따라서 신뢰성에 대한 검증이 필요. 영양성분표시 같은 딱지를 붙이는 방법(IBM’s Factsheets, MS’s Datasheets, Google’s Model Cards), 훈련 데이터 편향성 검사 등도 긍정적 방향이지만 불완전. 이 책에선 객관적 측정에 집중할 것.

AI 시스템의 신뢰성을 객관적으로 측정할 방법은 아직 없음. 단 최소 다음 네 단계가 필요할 것

정의: 평가 가능하고 명확히 정의된 소수의 용어에 모두가 동의하기
방법: 코드와 데이터에 대한 정적 분석, 벤치마크 성능, 실제 도입 후 성능, 이해당사자의 주관적 인식, 내외부 전문가 평가
평가자: 누가 평가를 할 것이며 각 집단(예: 개발자, 관리자, 사용자, 독립 감사 기구 등)에 몇 명이 필요할 것인지 등에 대한 합의
청중: 평가 결과를 볼 사람이 누구인지(예: 개발자, 관리자, 사용자 등) 정하기

26장. 나이 많은 성인을 보살피고 그들로부터 배우기 Caring for and Learning from Older Adults

‘돌봄로봇’ 등도 괜찮은 방향일 수 있으나 가족 구성원과의 단절 문제 등을 충분히 잘 해결할 수 없음. 더 좋은 방향은 노인들이 스스로 더 많은 문제를 해결할 수 있도록 돕는 디자인. 한편, 노인을 돌보는 문제는 전체 그림의 반쪽. 나머지 반쪽은 노인들로부터 배우기.

노인이라고 불리는 집단은 사실 더 다양한 연령대로 세분화할 수 있고, 각 연령대 안에서도 교육 수준, 각종 질환 여부 등에 따라 다양한 니즈를 가짐. (왜 HCAI에 갑자기 이런 내용이 나오는지 살짝 의아. —ak)

장애물이나 사람 등을 자동으로 피하면서도 가고자 하는 방향으로 쉽게 조종할 수 있는 전동휠체어는 HCAI 2차원 프레임워크 4분면 중 고자동 고개입 설계의 사례 중 하나. 식탁에 놓을 수 있는 소형 식기세척기, 요가 앱 등을 통해 노인들이 독립된 삶을 살아가도록 잘 도울 수 있음.

27장. 요약 및 회의주의자를 위한 코너 Summary and Skeptic’s Corner

(생략)