Beyond safety: Toward a value-sensitive approach to the design of AI systems
Abstract
As modern, Pre-trained model have proliferated in recent years, many researchers and practitioners have made significant efforts to prevent AI systems from causing harm. This focus on safety is critical, but a singular focus on safety can come at the exclusion of considering other important stakeholder values and the interactions between those values in the AI systems we build. In this position paper, we propose that the AI community should incorporate ideas from the Value sensitive design framework from the Human-computer interaction community to ensure the needs and values of all stakeholders are reflected in the systems we build. We share observations and reflections from our experiences working on AI-supported accessibility technologies and with members of various disability communities to illustrate the tensions that sometimes arise between safety and other values.
요약:
- Pre-trained model이 널리 쓰이기 시작하면서, 이 모델들의 문제를 줄이려는 많은 노력이 있어 왔음.
- 단 안전성safety에만 지나치게 편향되는 바람에 여러 이해관계자들의 서로 다른 가치들이 충분히 고려되지 않는 문제가 있음.
- Value sensitive design 원칙을 적용하여 다양한 가치를 고르게 고려할 것을 제안함.
Introduction
유해성 사례
- Stable Diffusion: 필터 없이 공개되어서 포르노 및 유해한 이미지 생성에 활용되었음.
가치 충돌
- Bennett et al.에서 시각장애인들은 이미지를 해석해주는 AI 시스템이 사진에 담긴 사람의 젠더를 추측하지 않기를 원했음. (잘못 추측할 위험성이 있으므로)
- 하지만 본 연구에서 시각장애인들은 옆 사람에게 도움을 청하기 전에 옆 사람의 젠더가 무엇인지 알기를 윈했음. (여성 시각장애인이 모르는 남성에게 도움을 청할 경우 문화권에 따라 문제가 될 수도 있고, 신체적 위험에 처할 수 있으므로)
가치가 충돌할 때 어떤 가치가 더 중요한지를 작위적으로 정하는 대신, HCI 커뮤니티의 Value sensitive design 개념을 적용해보면 좋겠음
Examples of value tensions
AI 기반 시스템에 있어서 안전성은 중요한 가치이지만, 다른 여러 가치들이 존재할 수 있음
Safety vs. Personal expression
- Augmentative and alternative communication 분야에서는 Language disorder가 있는 사람의 문장을 자동 완성해주는 시도를 하는 중.
- 하지만 상당수의 AI 모델이 안전하지 못한 표현을 하지 못하도록 제한되어 있어서 이용자들이 발화에 제약을 느끼고 있음.
- AAC 장비의 맥락에서는 이용자가 본인의 생각을 완전히 표현할 수 있도록 도와줄 필요가 있음.
Safety vs. Autonomy
- 이번에도 AAC 사례. 난독증 이 있는 사람을 위한 LLM 기반 글쓰기 지원 도구가 의사결정의 자율성을 가로막는 경우가 많음.
- 사용자들은 최종 결정권을 가지길 원하지만 제약이 되는 경우가 많음.
Safety vs. Privacy
- 프라이버시에 대한 고려는 맥락에 따라 달라짐. 예를 들어 Google glass 사용자가 시각장애인으로 인식되는 경우(흰지팡이+선글라스) 사람들은 카메라 촬영에 관대해 짐.
- 하지만 장애 여부가 프라이버시 침해 기술 사용을 정당화하는 수단으로 쓰일 수 있다는 우려도 있음. 예를 들어 “제약이 풀린” 모델을 구매하려면 시각장애를 입증해야 한다거나.
- 가치 충돌 사례: 시각장애인을 위한 scene description tool이 옆에 있는 보행자의 젠더를 잘못 기술.
A value-sensitive design approach to the development of AI models
Value sensitive design 프레임워크를 AI 기반 제품의 디자인 프로세스에 반영하길 제안함.
VSD를 이용하면 가치 충돌의 발견, 해소, 우선순위 설정 등을 체계화할 수 있음
Value Dams and Flows 방법을 사용하면 특정 디자인 의사결정이 각 이해관계자의 어떤 가치를 얼마나 침해하는지 논의하고 해결책을 찾아갈 수 있음
- Value Dams: 특정 기능에 대하여, 10% 이상의 이해관계자가 “위해가 존재한다”고 강하게 동의하면 이 기능은 value dam
- Value Flows: 특정 기능에 대하여, 50% 이상의 이해관계자가 “이점이 존재한다”고 동의하거나 강하게 동의하면 이 기능은 value flow
- 특정 기능이 dam이면서 flow인 경우 해소를 위한 논의 시작.
설명가능성
- 어떤 가치에 기반하여 특정 기능을 제품에 담게 되었는지 더 잘 설명할 수 있게 됨.
- XAI는 value-sensitive AI 시스템에 있어서 핵심적인 기술. 어떠한 AI 시스템도 완벽할 수 없고, 모든 “unknown unknowns”에 대비할 수 없기 때문에 사용자를 임파워하기 위해서는 설명가능성이 필수.
본 논문에서는 주로 접근성 위주로 설명했으나, 다른 측면에서도 여러 종류의 가치 충돌이 존재할 것