우리는 종종 기술을 ‘중립적’이라고 생각합니다. 특히 인공지능이나 알고리즘 같은 시스템은 감정이나 편견이 없기 때문에 더 공정할 것이라 기대하죠. 하지만 현실은 그 반대입니다. 알고리즘은 ‘사람이 만든 데이터’를 학습하며, 그 안에 숨은 사회적 편견과 차별을 고스란히 답습합니다. 심지어는 그 차별을 더 은밀하고 체계적으로 재생산합니다.
데이터는 왜 ‘중립적’이지 않은가?
우리는 종종 데이터를 '객관적인 숫자'로 받아들입니다. 인간은 편견이 있어도, 숫자는 진실을 말해준다고 믿기 쉽습니다. 하지만 데이터는 진공 상태에서 생성되지 않습니다. 데이터는 현실을 반영한 것이 아니라, 현실을 '기록한 방식'의 산물입니다. 예를 들어, 범죄 데이터를 살펴보면 특정 지역의 범죄율이 높다고 판단할 수 있습니다. 그러나 이 숫자는 정말 그 지역에 범죄가 많기 때문일까요? 실제로는 그 지역에 경찰의 순찰이 집중되었기 때문에 더 많은 범죄가 '적발된 것'일 수 있습니다. 반대로 다른 지역의 범죄는 단순히 기록되지 않았을 뿐입니다. 이처럼 데이터는 기록의 편향, 관찰의 편향, 수집자의 의도에 따라 구조적으로 왜곡될 수 있습니다. 또한 데이터가 수집되는 과정에는 이미 누가, 무엇을 중요하게 여기는가에 대한 선택이 개입됩니다. 어떤 정보를 어떤 방식으로 모을지 결정하는 것 자체가 이미 주관적입니다. 예를 들어, 한 병원에서 남성 환자의 데이터를 중심으로 질병 연구가 이뤄졌다면, 그 AI는 여성의 증상이나 특성을 오인할 가능성이 큽니다. 이처럼 누락된 데이터(Missing Data), 대표성 부족(Representation Bias) 등은 기술이 공정성을 갖추는 데 큰 장벽이 됩니다. 즉, 데이터는 현실을 있는 그대로 복제하지 않습니다. 데이터는 인간 사회의 시선, 우선순위, 사회적 권력 관계가 투영된 결과물입니다. 그리고 그 데이터를 학습한 알고리즘은 의도하지 않게 사회의 불평등을 재현하거나 심화시킬 수 있습니다.
실제 사례 1: 아마존의 AI 채용 시스템
2014년부터 아마존은 채용 과정의 효율성을 높이기 위해 자체적인 AI 기반 이력서 평가 시스템을 개발하기 시작했습니다. 목표는 명확했습니다. 수천에서 수만 건의 지원서를 빠르게 분석하고, 적합한 후보자를 자동으로 골라내는 것이었습니다. 하지만 테스트 과정에서 충격적인 문제가 드러났습니다. AI가 남성 지원자에게 더 높은 점수를 부여하고, 여성 지원자의 이력서를 지속적으로 낮게 평가하고 있었던 것입니다. 왜 이런 일이 발생했을까요? 핵심은 AI가 학습한 ‘과거의 데이터’였습니다. 아마존은 이 시스템에 자사 10년치 이력서와 채용 데이터를 학습시켰습니다. 그런데 과거의 아마존은 기술직 대부분을 남성 위주로 채용해왔고, 결과적으로 AI는 “성공한 지원자 = 남성”이라는 암묵적인 패턴을 학습하게 된 것입니다. 이 AI는 여성 지원서에서 “여성 코딩 동아리”, “여자대학교”, “여성 관련 단체 활동” 같은 단어가 등장하면 점수를 낮추는 방향으로 자동 조정했습니다. 반면 남성 중심 활동은 긍정적으로 해석됐습니다. 즉, AI는 스스로 성별을 구별하거나 차별하려고 한 것이 아니라, 사람들이 만든 데이터 속 성차별을 충실히 학습한 것입니다. 이 시스템은 결국 2018년 테스트 단계에서 폐기되었습니다. 아마존은 이 기술을 실제 채용에 공식적으로 도입하지 않았다고 밝혔지만, 이 사건은 AI 채용 시스템의 편향성과 위험성을 전 세계에 알리는 계기가 되었습니다. 더 무서운 건, 이러한 성차별적 결과가 매우 ‘객관적인 평가’처럼 보였다는 점입니다. 지원자에게는 점수만 주어질 뿐, 평가 기준이나 이유는 설명되지 않았습니다.
알고리즘이 만든 유리천장은 보이지도, 반박하기도 어려웠던 것입니다. 이 사건은 우리에게 다음과 같은 중요한 질문을 남깁니다.
“과거를 학습한 AI가 미래를 결정하게 둬도 되는가?” 그리고 “공정함은 기술이 아닌, 데이터를 만드는 인간이 책임져야 하지 않는가?”
실제 사례 2: 신용 점수 알고리즘의 그림자
오늘날 대출 심사, 보험료 책정, 심지어 임대 계약에서도 신용 점수는 개인의 ‘사회적 신뢰도’를 판단하는 중요한 기준이 됩니다. 이 점수는 단순한 숫자가 아니라, 한 사람의 삶에 중대한 영향을 미치는 결정 요소입니다. 그런데 이 점수를 매기는 데 사용되는 알고리즘이 불평등을 은밀하게 강화하고 있다는 지적이 점점 커지고 있습니다. 대표적인 사례는 미국의 일부 핀테크 기업이 활용한 AI 기반 신용 평가 시스템입니다. 이 알고리즘은 전통적인 금융 기록뿐 아니라, SNS 활동, 검색 기록, 스마트폰 사용 습관, 심지어 위치 데이터까지도 분석해 ‘종합 점수’를 매깁니다. 얼핏 보면 더 많은 정보를 활용해 보다 정밀한 평가를 내릴 수 있을 것처럼 보입니다.
그러나 이 방식은 오히려 사회적 약자를 더 취약한 위치에 놓이게 만듭니다. 예를 들어 저소득층이나 이민자, 금융 이력이 부족한 청년층은 애초에 신용을 증명할 수 있는 데이터 자체가 부족합니다. 그 결과 알고리즘은 이들을 '신용 위험군'으로 자동 분류하며, 대출을 거부하거나 이자율을 높이는 결과를 낳습니다. 더 나아가, 일부 알고리즘은 거주지의 우편번호(Zip Code)를 분석 항목에 포함시키는데, 이는 지역별 평균 소득, 범죄율, 인종 구성 등을 사실상 변수로 삼게 되는 셈입니다. 결과적으로, 흑인 또는 히스패닉이 다수 거주하는 지역은 자동으로 신용도가 낮게 책정되는 경향을 보이며, 이는 구조적 인종차별로 이어질 수 있습니다. 이러한 문제는 미국뿐 아니라 전 세계적인 이슈로 확대되고 있습니다. 중국, 인도, 브라질 등에서도 유사한 알고리즘 기반 신용 평가가 도입되며, 데이터 편향 문제가 비슷하게 발생하고 있습니다. 특히 공공기관이 아닌 민간 기업이 평가 시스템을 설계하고 운영하는 경우, 투명성과 책임성 부족 문제가 더욱 심각해집니다. 즉, AI가 판단한 숫자 하나가 평범한 사람의 삶을 제한하는 ‘디지털 장벽’이 되는 시대가 이미 도래한 것입니다. 우리는 알고리즘의 효율성 뒤에 숨겨진 사회적 함의를 반드시 돌아보아야 합니다.
알고리즘의 차별은 어떻게 보이지 않게 작동하는가?
우리가 알고리즘을 신뢰하는 가장 큰 이유는 ‘감정이 없기 때문’입니다. 사람처럼 기분에 따라 결정을 바꾸지 않고, 같은 기준으로 수많은 데이터를 빠르고 일관되게 처리한다는 점에서 객관성을 기대하게 됩니다. 그러나 문제는 바로 그 ‘객관성이라는 환상’입니다. 실제로 알고리즘은 사람이 만든 데이터와 설계 기준을 바탕으로 작동하기 때문에, 이미 그 안에 존재하는 편향과 차별을 그대로 학습합니다. 게다가 이런 차별은 표면적으로 드러나지 않기 때문에 더 위험합니다. 예를 들어, 채용 과정에서 특정 인종이나 성별이 무시되었더라도, 그 결정은 단지 ‘점수가 낮았다’거나 ‘조건에 부합하지 않았다’는 형태로만 나타납니다. 겉으로 보기엔 그저 하나의 수치일 뿐이지만, 그 이면에는 사회적 소수자를 배제하는 은밀한 메커니즘이 숨어 있는 것입니다. 이러한 보이지 않는 차별이 가능한 이유 중 하나는 바로 알고리즘의 불투명성입니다. 많은 기업과 기관은 ‘상업적 기밀’을 이유로 알고리즘의 구조나 데이터 처리 방식을 공개하지 않습니다. 일반 사용자는 물론이고, 피해 당사자조차 어떤 기준으로 자신이 불이익을 받았는지 알기 어렵습니다. 누가, 왜, 어떻게 결정했는지 알 수 없다면 항의할 방법도 없습니다. 이처럼 알고리즘은 사람처럼 ‘차별적인 언행’을 하지 않습니다. 대신 침묵 속에서 구조적인 불평등을 강화합니다. 그래서 우리는 차별을 인식하지 못하고, 시스템에 대한 신뢰만을 지속하게 됩니다. 그러나 알고리즘이 내리는 ‘무색무취의 판단’ 뒤에는 수많은 배제와 억압이 데이터라는 이름으로 기록되고, 학습되고, 재현되고 있습니다. 결국 알고리즘이 만든 차별은 단순한 기술 문제가 아니라 사회 정의의 문제입니다. 이를 바로잡기 위해서는 기술적인 정교함보다, 사회적 감수성과 투명한 검증 체계가 더 절실합니다. 공정성을 가장한 차별은, 우리가 방치하는 순간 시스템에 깊게 뿌리내리기 때문입니다.
인공지능의 공정성, 어떻게 만들 수 있을까?
AI가 사회적 차별을 학습하고 확산시키지 않도록 하려면, 공정성(Fairness)을 중심에 둔 기술 설계가 반드시 필요합니다. 하지만 공정성이란 단순히 숫자 몇 개로 해결되는 문제가 아닙니다. 공정한 AI를 만들기 위해선 기술, 사회, 윤리 세 분야가 유기적으로 협력해야 합니다. 가장 먼저, 데이터 단계에서의 점검이 필요합니다. AI는 ‘학습된 데이터’로만 판단합니다. 그렇기 때문에 그 데이터가 이미 불균형하거나 특정 집단을 과소 대표하고 있다면, 결과는 당연히 공정하지 않을 수밖에 없습니다. 예컨대, 흑인의 얼굴보다 백인의 얼굴 사진 데이터가 훨씬 많다면, 얼굴 인식 정확도는 백인에게만 유리하게 작동하게 됩니다. 이런 경우, 학습용 데이터를 다양한 인종, 성별, 계층을 균형 있게 반영한 형태로 구성하는 것이 첫걸음입니다. 두 번째로, AI가 어떻게 판단을 내리는지를 사람이 이해할 수 있어야 합니다. 현재 많은 AI 시스템은 ‘왜 이 판단이 나왔는가’를 설명하지 못하는 블랙박스 형태로 작동합니다. 이러한 시스템은 오작동이나 차별이 발생해도 원인을 추적하기 어렵고, 책임 소재도 불분명합니다. 따라서 최근에는 ‘설명 가능한 AI(Explainable AI)’의 필요성이 커지고 있으며, 이는 AI 윤리의 핵심 주제로 떠오르고 있습니다. 또한, 외부의 독립된 감시 시스템도 중요합니다. 기업이나 기관이 자체적으로 운영하는 알고리즘은 종종 ‘내부 이익’에 초점을 맞추기 때문에, 사회적 공정성을 충분히 고려하지 못하는 경우가 많습니다. 이럴 때, 외부 전문가나 시민사회 단체가 알고리즘을 분석하고 평가할 수 있도록 하는 ‘감사 가능성(Auditability)’이 확보되어야 합니다. 일종의 기술적 투명성이 보장되어야, 진정한 신뢰를 얻을 수 있습니다. 마지막으로, AI를 만드는 사람들의 윤리적 감수성이 가장 중요합니다. 아무리 뛰어난 기술도, 그것을 설계하는 사람이 사회적 약자에 대한 감수성과 책임 의식을 갖고 있지 않다면, 결과는 ‘불공정한 알고리즘’으로 귀결될 수밖에 없습니다. 기술자와 개발자에게는 단순한 코드 이상의 ‘사람을 위한 기술’이라는 철학이 요구되는 시대입니다.
맺음말: 알고리즘이라는 이름의 거울
알고리즘은 단지 수식과 코드로 구성된 무생물처럼 보이지만, 사실은 인간 사회를 비추는 정밀한 거울입니다. 그 거울 속에는 우리가 지금까지 살아온 사회의 모든 모습—편견, 차별, 불균형—이 고스란히 담깁니다. 우리는 종종 기술이 인간보다 더 공정하고 객관적일 것이라 기대하지만, 알고리즘은 어디까지나 ‘우리가 준 데이터’로 판단을 내리는 존재입니다. 즉, 알고리즘은 스스로 차별을 만들지 않습니다. 다만, 차별적인 현실을 학습하고, 그것을 반복하고 확산시키는 데에 능숙할 뿐입니다. 그리고 그 반복은 더 정교하고, 더 숨겨진 방식으로 이루어지기 때문에, 오히려 인간이 차별할 때보다 더 교묘하게 우리 사회를 왜곡시킬 수 있습니다. 기술이 고도화될수록, 우리는 더 많이 질문해야 합니다. 이 알고리즘은 누구를 위해 만들어졌는가? 누구의 목소리가 반영되었고, 누구의 현실이 배제되었는가? 왜 어떤 이들은 항상 혜택을 보고, 또 어떤 이들은 늘 불이익을 겪는가? 이 질문들에 대한 성찰이 없다면, 우리는 결국 기술이라는 이름 아래 또 다른 불평등을 정당화하는 시대를 살게 될 것입니다. AI와 알고리즘은 우리의 미래를 결정짓는 핵심 기술이지만, 그 기술의 방향을 정하는 것은 언제나 사람입니다. 우리는 이제, 더 나은 기술이 아니라 더 나은 사회를 만드는 기술을 원해야 합니다. 그 시작은 바로, 차별을 비추는 거울을 직시하는 용기에서 비롯됩니다.