인공지능은 인간의 지시 없이 판단을 내리는 객관적이고 보편적인 연산 기법이 아니다. 인공지능 시스템은 사회적·정치적·문화적·경제적 세계에 붙박여 있으며, 무엇을 어떻게 해야 하는지 결정하는 인간, 제도, 명령에 의해 빚어진다. 이 시스템은 차별하고 서열을 증폭하고 편협한 분류를 구현하도록 설계되었다. 치안, 사법 체계, 보건 의료, 교육 같은 사회적 맥락에 적용되면 기존의 구조적 불평등을 재생산하고 최적화하고 확장한다. 이것은 결코 우연이 아니다.
AI 시스템은 국가와 제도, 그리고 그들의 봉사를 받는 기업에 주로 혜택을 주는 방식으로 세상을 바라보고 개입하도록 제작된다. 이 점에서 AI 시스템은 더 폭넓은 경제적·정치적 힘으로부터 생겨나는 권력의 표현이며, 권력을 휘두르는 자들을 위해 이익을 증가시키고 통제권을 중앙 집중화하기 위해 창조된다. 하지만 인공지능의 이야기가 이런 식으로 서술되는 일은 드물다. (249~250쪽)
단순히 가능하다는 이유로 AI가 어디에 적용될 것인지 묻는 게 아니라 ‘왜’ 적용되어야 하는지에 방점을 찍어야 한다. 우리는 ‘왜 인공지능을 이용하는가?’라고 물음으로써 통계적 예측과 이윤 축적의 논리, 즉 도나 헤러웨이가 ‘지배의 정보과학’이라고 부른 것에 모든 것이 종속되어야 한다는 생각에 의문을 제기할 수 있다. 사람들이 예측 기반 치안을 해체하고 얼굴 인식을 금지하고 알고리즘적 점수 산정에 항의하는 쪽을 선택할 때 우리는 이 저항의 어렴풋한 모습을 본다. 지금껏 이 소소한 승리들은 단편적이고 국지적이었으며 종종 런던, 샌프란시스코, 홍콩, 오리건 주 포틀랜드처럼 조직할 자원이 풍부한 도시에 집중되었다. 하지만 이것은 기술 우선식 접근법을 거부하고 기저의 불평등과 불의에 맞서는 국가적·국제적 운동을 확장해야 할 필요성을 보여준다. 저항을 위해서는 자본, 군대, 경찰에 보아하는 도구가 마치 어디에나 적용될 수 있는 가치중립적 계산기인 것처럼, 학교, 병원, 도시, 생태를 탈바꿈시키는 데에도 적합하다는 생각을 물리쳐야 한다. (267~268쪽)
― 케이트 크로퍼드, 『AI 지도책』, 노승영 옮김, 소소의책2022