30 (ProPublica)』는 COMPAS 알고리즘이 흑인을 차별 한다고 보도한 바 있다. 알고리즘 설계 단계에서 인종 을 변수로 설정하지 않았음에도 실제 운용 과정에서 는 흑인을 백인보다 2배 이상 고위험군으로 판단하면 서 인종차별 문제가 제기된 것이다. 이러한 논쟁에도 불구하고, 미국의 20여 개 주 법원에서는 여전히 가석방이나 구속 여부 결정에 COMPAS를 활용하고 있다. 이 밖에도 안면인식 기술과 관련하여 흑백 간 차 별 문제가 제기되기도 했다. 2021년에는 페이스북 인 공지능이 흑인을 영장류로 분류하는 사건이 있었고, 2015년에는 구글 포토가 흑인의 사진을 고릴라로 분 류하는 일도 있었다. 의료서비스 분야에서도 유사한 문제가 발생했다. 미국의 한 민영의료보험사는 고객들의 과거 병력 등 을 분석하여 잠재적 질병 가능성을 예측하고, 질병 위 험이 높은 사람에게 우선적으로 의료서비스를 제공 하는 인공지능 시스템을 개발했다. 그런데 이 인공지 능은 실제로 질병 위험이 더 높은 흑인보다는 백인에 게 더 우선적인 의료서비스를 제공해야 한다는 결론 을 제시해 차별 문제가 제기되었다. 나. 인공지능 편향성의 원인 사람의 삶을 편리하게, 또는 더 공정한 판단을 위해 개발·도입되는 인공지능이 오히려 여성, 인종, 지역, 장애인 고용, 금융, 교육, 행정서비스 등 다양한 영역 에서 차별을 발생시키는 이유는 무엇일까? 원인은 앞서 인공지능 정의에서 살펴본 바와 같이 학습데이터가 잘못된 경우와 알고리즘이 잘못 설계 된 경우의 두 가지를 상정할 수 있다. 먼저 학습데이터가 잘못된 경우라 함은, 데이터의 양이 부족해 대표할 수 없거나 충분히 학습되지 못한 경우, 그리고 데이터의 내용 자체가 편향적이거나 잘 못된 데이터가 입력된 경우로 구분된다. 전자의 경우는 현실 사회를 적절히 반영할 수 없을 정도의 대표성이 결여된 학습데이터로 AI가 학습하 여 다양한 사회의 데이터가 제대로 반영되지 않은 경 우라 하겠다. 예를 들어 안면인식 학습데이터가 백인 (남성) 위주로 구성되어 다른(흑인, 여성) 집단의 충 분한 데이터가 부족한 경우, 대표성이 결여된 학습데 이터라 하겠다. 학습데이터의 내용 자체가 편향적인 후자의 경우 는 개발자의 의도로 편향적인 데이터가 입력되는 경 우와 이용자가 학습데이터를 편향적으로 제공한 특 이한 경우도 있는데, ‘이루다’나 ‘테이(Tay)’의 경우1 가 여기에 속한다. 다음으로 알고리즘 설계의 문제는 개발자의 편견 이나 편향성이 개입된 경우(고의)와 고의는 없으나 부주의로 인한 경우가 있다. 인공지능 비서서비스와 같이 개발자가 의도를 가지고 인공지능의 편향성, 차 별을 유발한 경우, 그리고 개발자가 공정성에 대한 고 려 없이 알고리즘을 개발하여 개발자 자신의 편견이 (고의는 아니지만) 알고리즘에 반영되어 차별이 발생 하는 경우를 말한다. 그러나 가장 난해한 경우는 학습데이터에도 문제 가 없고, 알고리즘도 가치중립적으로 설계되었는데 결과가 편향적으로 도출되는 경우다. 즉, 인공지능이 우리 사회의 편향성을 그대로 학습하여 반영하는 경 우라 하겠다. 예를 들어 아마존 채용 AI 사례에서, 아마존이 10 년간의 채용 관련 자료를 그대로 입력하여 인공지능 을 학습시켰고, 여성지원자를 차별하려는 의도나 자 료 조작이 없었다고 가정해보자. 단지 과거의 채용 관련 자료와 채용에서 남성이 다 수를 차지했다는 사실을 그대로 학습하여 인공지능 ‘이루다’는 국내에서 개발된 대화형 인공지능 서비스로 혐오·차별 발언 문제로 서비스가 중단된 바 있다. ‘테이(Tay)’는 마이크로소프트가 개발한 챗봇으로 이용 자의 공격적 입력을 학습하여 인종차별적 발언을 하면서 운영이 중단되었다. 1
RkJQdWJsaXNoZXIy ODExNjY=