Home News AI, 성•인종 차별 주의자 될 수 있다…머신러닝 데이터 공정성 필요

AI, 성•인종 차별 주의자 될 수 있다…머신러닝 데이터 공정성 필요

2018-07-21

미국 스탠포드 대학(Stanford University)의 James Zou, Londa Schiebinger 박사는 최근 과학학술 저널 네이처에서 컴퓨터 과학자들이 편견의 원인을 찾아내 데이터의 바이어스를 제거하고 데이터 편향 저항적인 인공 지능 알고리즘을 개발해야한다고 주장했다.

두 저자에 따르면 구글 번역기 등이 채택한 인공 지능(AI) 응용 프로그램은 여성, 유색인종 등 특정 집단 에 대해 체계적으로 차별하고 있다. 사회 전반에서 AI기술 활용이 급격히 늘어나는 상황에서 이를 해결하는 것이 특히 중요하다.

왜곡된 데이터

학계와 산업계에서 컴퓨터 과학자들은 더욱 정교한 알고리즘을 통해 출판물과 미디어로부터 명성을 얻는 경향이 있다. 상대적으로 데이터 수집, 처리 및 구성 방법에 대해서는 거의 관심을 기울이지 않는다.

AI에서 바이어스의 주요 동인은 훈련 데이터다. 대부분의 기계 학습 과제는 주석된 빅데이터 세트로 훈련된다. 예를 들어, 이미지 분류를 위한 딥뉴럴네트워크는 1400 만 개 이상의 레이블 이미지 세트인 ‘ImageNet’를 사용한다. 자연어 처리에서 표준 알고리즘은 수십억 단어로 구성된 ‘corpora’로 학습한다. 연구원은 일반적으로 Google 이미지 및 Google 뉴스와 같은 웹 사이트를 스크랩하거나 특정 검색어를 사용하거나 Wikipedia와 같은 출처에서 쉽게 액세스 할 수있는 정보를 모아서 이러한 데이터 세트를 만든다. 이러한 데이터 세트에는 종종 대학원생이나 Amazon Mechanical Turk와 같은 크라우드 소싱 플랫폼을 통해 주석이 달린다.

이러한 방법은 의도하지 않게 성별, 민족적, 문화적 편향을 나타내는 데이터를 생성 할 수 있다.

데이터의 종종 일부 그룹은 과다 대표되고 다른 그룹은 과소 대표된다. 컴퓨터 비전 연구에 활력을 불어 넣는 ImageNet 데이터의 45 % 이상이 실제로는 세계 인구의 4 %에 불과한 미국인 출신이다. 이와는 대조적으로 중국과 인도는 함께 세계 인구의 36 %를 차지하지만 ImageNet 데이터 기여도는 3 % 에 불과하다.

이러한 다양성의 부족은 컴퓨터 알고리즘이 전통적인 미국 백인 신부의 사진에 ‘신부’, ‘옷’, ‘여자’, ‘결혼식’ 레이블을 붙이고 전통복장 인도 신부를 ‘공연 예술 ‘와’의상 ‘이란 레이블을 붙이는 이유를 부분적으로 설명한다.

의학에서 머신러닝 예측자는 편향된 데이터에 특히 취약 할 수 있다. 왜냐하면 의료 데이터가 생산 및 라벨 작성에 특히 비용이 많이 들기 때문이다. 지난해 연구자들은 사진을 통해 피부암을 확인하기위해 딥러닝을 사용했다. 그들이 모델링에 사용한 12만9450개 이미지 데이터 세트는 그 중 60 %는 Google Images3에서 스크랩됐다. 그러나 어두운 피부색의 인종은 이들 이미지의 5 % 미만에 불과했다. 분류 기능은 다른 집단 간에 상당히 다를 수 있다.

편견의 또 다른 원인은 알고리즘 자체에 기인한다.

일반적인 기계 학습 프로그램은 교육 데이터의 전반적인 예측 정확도극대화를 추구한다. 특정 그룹의 개인들이 훈련 데이터의 다른 그룹보다 더 자주 나타나면 전체 정확도를 높이기위해 프로그램이 해당 그룹 개인들에 최적화된다. 결함있는 알고리즘은 피드백 반복을 통해 바이어스를 증폭할 수 있다. Google Translate와 같은 통계적으로 훈련된 시스템의 경우를 남성 대명사로 간주한다. 이러한 패턴화는 영문 대명사에서 남성 대명사 대 여성 대명사의 비율이 2 : 1 인 결과에 의해 영향 받는다.

균형 잡기

데이터의 편견은 종종 제도적 인프라와 사회권력 관계의 숨겨진 불균형을 반영한다. 예를 들어 Wikipedia는 풍부하고 다양한 데이터 소스처럼 보인다. 그러나 사이트의 인물정보 18 % 미만이 여성에 관한 것입니다. 여성에 관한 기사는 남성에 대한 글과 링크되는 경우가 더 많다. 그 결과 남성이 검색 엔진에서 더 잘 보인다.

따라서 기술적 사회적 인식이 교육을 위한 데이터 세트 구축에 필요하다. 특히 이러한 데이터 세트가 다양하고 특정 그룹을 대표하지 않도록 해야 한다. 이것은 ‘여성 / 남성’, ‘흑인 / 백인’등 성별과 인종 정체성의 복잡성을 포착하지 못하는 단순한 분류를 넘어서야 함을 의미한다.

일부 연구자들은 이미 이 작업을 시작했다 (Nature 558, 357-360, 2018 참조). 예를 들어, 컴퓨터 과학자들은 최근 상업용 얼굴 인식 시스템의 성별 오류율이 어두운 피부의 여성과 밝은 피부의 남성을 비교할 때 35% 대 0.8 % 임을 밝혔다. 이를 해결하기 위해 연구자들은 성별과 민족성이 균형을 이룬 1270 명의 개인으로 구성된 새로운 이미지 데이터 세트를 선별했다. 이러한 데이터를 사용해 기존 얼굴 분류 알고리즘을 재훈련하고 미세 조정하면 정확도가 향상된다.

편견의 원인을 식별하는 데 도움을 주기위해 주석 작성자는 표준화된 메타 데이터로 교육 데이터 세트의 내용에 체계적으로 라벨을 지정하는 것이 좋다. 몇몇 연구 그룹은 이미 기계 학습 데이터 세트 (http://datanutrition.media.mit.edu/)에 메타 데이터 및 ‘영양 표시’가 포함 된 데이터시트를 디자인하고 있다.

모든 교육 데이터 세트에는 데이터가 수집되고 주석이 달린 방법에 대한 정보를 수반해야 한다. 데이터에 사람에 대한 정보가 포함되어 있으면 지리, 성별, 인종 및 기타 인구 통계 정보에 대한 요약 통계가 제공되야 한다( ‘이미지 출력’참조). 데이터 분류가 crowdsourcing을 통해 이루어지면 군중 참가자에 대한 기본 정보가 제공된 정확한 요청이나 지시와 함께 포함돼야 한다.

내재된 교정

많은 저널은 이미 저자가 출판을위한 전제 조건으로 실험 데이터에 대한 유사한 유형의 정보를 제공하도록 요구한다. 예를 들어, Nature는 저작자에게 모든 마이크로 어레이 데이터를 오픈 액세스 저장소 ‘Gene Expression Omnibus’에 업로드하도록 요청한다. 그러면 저작자는 실험 프로토콜에 대한 메타 데이터를 제출해야한다. 우리는 기계학습에 관한 국제적 기계 학습 회의의를 주최해 표준화된 메타 데이터를 제출, 피어리뷰 과정의 필수 요소로 요청할 것을 권장한다. OpenML과 같은 데이터 저장소 호스트와 Kaggle과 같은 AI 경쟁 플랫폼도 마찬가지다.

마지막으로, 컴퓨터 과학자들은 데이터에서 휴먼 바이어스에 더 강한 알고리즘을 개발하려고 노력해야한다.

다양한 접근법이 추구되고 있다. 하나는 제약 조건을 통합하고 기계 학습 모델을 근본적으로 달리해 다른 하위 인구 및 유사한 사람들간에 공평한 성과를 달성하는 것이다. 이와 관련된 접근법은 학습 알고리즘을 변경해 민족, 성별, 소득 및 이러한 특성과 상관 관계가있는 민감한 속성에 대한 의존성을 줄인다.

de-biasing 접근 방식은 현실 세계에서 평가되어야한다.

특히 민족성, 성별 및 기타 관련 정보를 정확하게 기록해야한다. 적절한 범주를 포착하지 않으면 모델에 어떤 제약 조건을 부과할지 또는 어떤 수정을해야하는지 알기가 어렵다. 접근법은 또한 알고리즘 설계자가 어떤 유형의 편향을 피하고 싶은지를 선험적으로 결정할 것을 요구한다.

보완적인 접근 방법은 기계 학습 자체를 사용해 알고리즘 및 데이터의 편향을 식별하고 정량화하는 것이다. 이를 AI 감사(audit)라고 한다. 감사원은 모델과 훈련 데이터 모두에서 편향을 식별하기 위해 원래의 기계 학습 모델을 체계적으로 검사하는 알고리즘이다.

예를들어 미국에서 역사적인 고정 관념을 정량화하기 위해 단어 임베딩(word embedding)이라는 널리 사용되는 기계 학습 방법을 사용한 최근의 연구가 있다. 단어 임베딩은 각 영어 단어를 공간상의 점(기하 벡터)에 매핑, 벡터 간의 거리가 해당 단어 사이의 의미 상 유사점을 캡처한다. 그것은 ‘남자’-‘왕’, ‘여자’-‘여왕’ 등 유추 관계를 포착한다. 우리는 다른 젠더 유추를 위해 단어 임베딩을 쿼리하는 알고리즘(AI auditor)을 개발했다. 이것은 ‘남자’-‘의사’, ‘여자’- ‘간호사’이고 ‘남자’-‘컴퓨터프로그래머’, ‘여성’- ‘가정 주부’로 유추했다.

auditor가 단어 임베딩 및 원본 텍스트 데이터에서 편견을 확인하면 단어 벡터위치를 수정해 편향을 줄일 수 있다. 스테레오 타입 전개방식을 평가함으로써 텍스트 기록을 디바이어스 할 수 있게된다.

1910 년에서 1990 년까지 Google 도서에서 미국 텍스트 데이터를 10 년마다 포함 시키면 아시아계 미국인에 대한 충격적이고 변화하는 태도가 드러난다. 이 집단은 1910 년 ‘야만적 인’으로 묘사됐다. 이들에 대한 태도는 제 2 차 세계 대전 이후 갑작스러운 전환과 1980 년대의 이민 파동으로 1990년에 ‘금지’과 ‘민감한’으로 변화됐다.

바로잡기

컴퓨터 과학자, 윤리학자, 사회과학자 등이 데이터 및 AI의 공정성을 개선하기 위해 노력함에 따라 우리 모두는 공정성에 대한 적절한 개념을 생각할 필요가 있다.

데이터가있는 그대로의 세계 대표해야 하는지, AI가 직업에 대한 사람의 재능을 평가할 수 있는지, 우선 순위를 정하는 공정성 개념은 누가 정의해야 하는지 등의 문제다.

이러한 질문에 대답하고 교육 데이터 및 알고리즘의 광범위한 영향을 평가하기 위해 기계 학습 연구자는 사회과학, 인문학, 젠더, 의학, 환경, 법 전문가와 소통해야 한다.

캘리포니아 주 스탠포드 대학 (Stanford University)에서는’인간 중심 AI (Human-Centered AI)’활동을 포함해 이러한 협력을 촉진하기위한 다양한 노력이 진행되고 있다. 그리고 이러한 참여는 학부 수준에서 시작되어야한다. 학생들은 알고리즘 작동 방식을 배우는 동시에 AI의 사회적 맥락을 조사해야 한다.

장치, 프로그램 및 프로세스는 우리의 태도, 행동 및 문화를 형성한다. AI는 경제와 사회를 변화시키고 우리가 의사 소통하고 일하는 방법을 변화시키고 거버넌스와 정치를 재구성하고 있다. 우리 사회는 오랫동안 불평등을 견뎌왔다. 인공 지능은 의도하지 않게 서스테인을 유지하거나 악화시켜서는 안 된다.

Nature 559, 324-326 (2018)