ACM SIGCHI(The Association for Computing Machinery’s Special Interest Group on Computer-Human Interaction)는 인간-컴퓨터 상호작용(Human-Computer Interaction, HCI) 분야의 연구와 발전을 촉진하는 전문 단체입니다. SIGCHI는 HCI 분야에서 가장 권위 있는 단체이며, 산하에는 CHI (Conference on Human Factors in Computing Systems), CSCW (Computer Supported Cooperative Work and Social Computing), UIST (User Interface Software and Technology Symposium), IUI (Intelligent User Interfaces), DIS (Designing Interactive Systems) 등과 같은 다양한 학회들이 있습니다.
ACM SIGCHI가 운영하는 학회의 논문들 및 YouTube 채널에 업로드된 영상들(논문 발표 영상 포함)에게 “AI의 다양한 기능들이 실제 환경에서 충분히 활용되지 못하는 이유”에 대해 질문을 하고 답변을 추출해 보았습니다.
설계 및 상호작용의 어려움:
- AI 시스템과의 상호작용을 설계하는 것이 어렵습니다. AI의 자율성(autonomy) 때문에 상호작용을 설계하는 것이 쉽지 않습니다. [1]
- AI 시스템의 복잡성 때문에 디자이너들이 AI가 할 수 있는 것과 할 수 없는 것을 이해하기 어렵습니다. 또한 전통적인 프로토타이핑 도구들이 AI의 능력을 충분히 드러내지 못합니다. [2]
설명 가능성(Explainability)의 문제:
- AI 모델의 내부 작동 방식을 이해하는 것이 어렵습니다. AI 모델이 왜 특정 결정을 내렸는지 설명하는 것이 중요해지면서 이 문제가 더욱 두드러지고 있습니다. [3]
- AI 시스템이 불투명하고 신뢰할 수 없는 경우, 사용자들이 AI가 생성 콘텐츠에 대한 신뢰를 믿지 못할 수 있습니다. 특히, 고성능 알고리즘(예: 신경망)은 복잡하고 불투명하여 설명하기 어렵습니다. [4]
- AI 모델의 투명성 부족은 특히 규제가 엄격한 산업에서 큰 문제로 작용합니다. 금융 및 의료 분야에서는 AI의 결정 과정을 이해하고 설명할 수 있어야 하지만, 많은 AI 모델이 ‘블랙박스’처럼 작동하여 내부 작동 방식을 이해하기 어렵습니다. [19]
디자인 및 개발의 어려움:
- AI 시스템을 설계하고 개발하는 과정에서 디자이너와 AI 개발자 간의 소통이 어려워, 사용자가 원하지 않는 AI 시스템이 개발될 수 있습니다. [5]
- AI 시스템의 기능을 이해하고 반영할 수 있는 디자인적 고려사항이 부족합니다. [6]
- AI 기능은 시스템의 복잡성을 증가시켜 디자인을 어렵게 만듭니다. 또한 인간의 제한된 합리성과 인간이 생성한 오류 등이 상호작용 결과에 영향을 미칩니다. [7]
데이터 및 규제 문제:
- AI 기반 시스템은 많은 준비 데이터 작업이 필요하며, 더 엄격한 규제를 받습니다. 이는 설계 및 구현작업을 더 어렵게 합니다. [8]
- AI 시스템이 역사적 데이터로 훈련되기 때문에 협업 목표에 최적화되지 않아 인간 단독 또는 AI 단독보다 성능이 떨어질 수 있습니다. [9]
- AI 기술이 규제와 법적 요구사항을 충족하지 못하는 경우가 많습니다. 예를 들어, 금융 산업에서 활용되는 ‘AI를 사용한 자금세탁 방지(AML) 시스템’은 규제 기관의 요구사항을 충족해야 하지만, AI의 불투명성 때문에 이러한 요구사항을 충족하기 어렵습니다. [19]
사용자 의존성 문제:
- 사용자들이 AI에 과도하게 의존하는 경향이 있으며, 이는 특히 고위험 분야에서 문제가 될 수 있습니다. [10]
- AI 시스템이 오류를 범할 수 있으므로, 사용자가 AI의 결정을 맹목적으로 따르는 것이 위험할 수 있습니다. [11]
사회적 및 윤리적 문제:
- AI의 사회적 영향과 윤리적 문제도 중요한 장애물로 작용합니다. AI가 인간 중심으로 설계되지 않으면, 사회적 수용이 어려워질 수 있습니다. 이는 AI와 인간의 상호작용을 연구하는 HCAI(Human-Centered Artificial Intelligence) 분야에서 특히 강조되고 있습니다. [20]
- AI 시스템의 불투명성과 신뢰성 문제로 인해 사용자들이 AI 도구를 채택하는 것을 꺼릴 수 있습니다. [12]
- AI는 법적 및 윤리적 고려사항 때문에 완전 자동화되지 않고, 인간이 최종 결정을 내리는 과정에서 보조 역할에 머물게 됩니다. [13]
사용자 이해와 참여의 부족
- AI 시스템의 복잡성 때문에 비전문가가 이를 이해하고 효과적으로 서비스를 개발하는 것이 어렵습니다. 또한\, 전통적인 프로토타이핑 도구는 AI의 특성을 충분히 나타내지 못합니다. [14][15]
기술적 한계와 불확실성
- AI 시스템은 예측할 수 없는 오류를 일으킬 수 있으며\, 이는 사용자 경험(UX)을 손상시킬 수 있습니다. 또한\, AI의 능력은 배포 후에만 명확해지는 경우가 많아 설계 초기 단계에서 이를 예측하기 어렵습니다. [16][17]
- AI 시스템의 불확실한 출력은 사용자가 시스템을 신뢰하고 의존하는 데 어려움을 줍니다. 예를 들어, AI가 제공하는 정보가 항상 정확하지 않거나 일관되지 않을 수 있습니다. 이는 특히 실시간 정보 제공 시스템에서 두드러집니다. [18]
주요 키워드
- Autonomy
- Explainability
- Complexity
- Ethical Considerations
- Prototyping Tools
- Data Preparation
- Regulation
- User Trust
- Over-reliance
- Design Complexity
- Technical Uncertainty
- Lack of Transparency
- Regulatory and Compliance Issues
- Social and Ethical Considerations
- Human-Centered Artificial Intelligence
- AML (Anti-Money Laundering)
Source URL 리스트
- [1] 2024-05-09: AI 시스템과의 상호작용 설계의 어려움
- [2] 2023-04-17: AI 시스템의 복잡성 문제
- [3] 2021-06-27: AI 모델의 설명 가능성 문제
- [4] 2024-05-09: 설명 가능성의 함정
- [5] 2023-07-07: 디자이너와 데이터 과학자 간의 소통 문제
- [6] 2020-06-16: AI 시스템의 디자인적 고려사항 부족
- [7] 2023-10-17: 디자인 복잡성 증가
- [8] 2024-05-09: AI 기반 시스템의 데이터 및 규제 문제
- [9] 2023-04-19: AI 시스템의 협업 목표 최적화 문제
- [10] 2024-05-09: 사용자 신뢰 및 의존성 문제
- [11] 2023-04-17: AI 시스템의 불투명성과 신뢰성 문제
- [12] 2022-04-03: AI 시스템의 불투명성과 신뢰성 문제
- [13] 2024-05-09: 사회적 및 윤리적 고려사항
- [14] 2021-01-20: 사용자 이해와 참여의 부족
- [15] 2023-04-17: 전통적인 프로토타이핑 도구의 한계
- [16] 2020-06-16: 기술적 한계와 불확실성
- [17] 2021-05-07: AI 능력의 불확실성
- [18] 2021-05-07: AI 시스템의 불확실한 출력과 인간-AI 상호작용
- [19] 2024-05-11: AML-CFT에서 AI 투명성과 규제 준수 문제
- [20] 2023-04-19: HCAI 연구 개요 및 미래 도전 과제
답글 남기기