미 국방부 최고 AI 책임자, 허위 정보로 인한 AI 잠재력에 두려움 느껴

미군이 생성형 인공 지능을 활용하기를 열망하고 있는 가운데, 미 국방부의 인공 지능 역량 가속화를 담당하는 고위 관리는 인공 지능이 허위 정보를 위한 '완벽한 도구'가 될 수 있다고 경고하고 있다.

"네, 무서워 죽겠어요. 그게 제 생각입니다."라고 국방부의 최고 디지털 및 AI 책임자인 크레이그 마텔은 오늘 볼티모어에서 열린 AFCEA의 테크넷 사이버 컨퍼런스에서 제너레이티브 AI에 대한 자신의 생각을 묻는 질문에 이렇게 말했다.

마르텔은 특히 ChatGPT와 같은 생성형 AI 언어 모델을 언급하며 "흥미로운 문제"를 제기했는데, 이는 문맥을 이해하지 못하고 모델이 권위적으로 말하기 때문에 사람들이 그들의 말을 사실로 받아들이게 된다는 것이라고 말했다.

"바로 이 점이 ChatGPT에 대한 저의 가장 큰 두려움입니다."라고 그는 말했다. "유창한 방식으로 자신을 표현하도록 훈련되었습니다. 유창하고 권위 있게 말하죠. 그래서 잘못된 정보일지라도 믿게 되고, 이는 허위 정보를 위한 완벽한 도구라는 것을 의미합니다... 우리는 그런 일이 언제 일어나는지 감지하고 경고할 수 있는 도구가 정말 필요합니다."

"하지만 우리에게는 그러한 도구가 없습니다."라고 그는 계속 말했다. "우리는 그 싸움에서 뒤처져 있습니다."

작년에 민간 부문에서 국방부로 영입된 마르텔은 광범위한 AI 경험을 보유하고 있다. CDAO로 일하기 전에는 Lyft와 Dropbox에서 머신러닝 책임자로 일했고, LinkedIn에서 여러 AI 팀을 이끌었으며, 해군대학원에서 10년 넘게 군용 AI를 연구하는 교수로 재직했다. 

그는 컨퍼런스에서 업계에 언어부터 이미지까지 모든 생성형 AI 모델에서 생성되는 정보의 정확성을 보장하는 데 필요한 도구를 구축해 달라고 요청했다. 

그는 청중들에게 "ChatGPT에 '당신을 믿어도 되느냐'고 묻는다면 대답은 매우 긴 '아니오'입니다."라고 말했다. "농담이 아닙니다. 저는 도구일 뿐이고 답을 줄 테니 직접 가서 확인해야 한다는 것이죠. 따라서 ChatGPT를 사용하는 것에 대한 두려움은 적들이 이를 사용하는 것에 대한 두려움과 반대로 서비스 제공업체가 적절한 안전장치를 구축하고 검증할 수 있는 능력이 없는 상태에서 이를 너무 신뢰한다는 것입니다."

마르텔의 경고는 국방부 지도자들이 정보 수집과 미래 전쟁에 제너레이티브 AI를 사용할 방법을 예상하고 있는 가운데 나온 것이다. 화요일에 열린 컨퍼런스에서 국방정보시스템국(DISA) 국장 로버트 스키너 중장은 자신의 목소리를 복제한 제너레이티브 AI를 사용하여 기조연설을 시작하고 개회사를 했다. 

"제너레이티브 AI는 아마도 아주 오랜 시간 동안 가장 파괴적인 기술이자 이니셔티브 중 하나일 것입니다."라고 스키너는 자신의 소개가 AI로 생성된 것이라고 밝힌 후 말했다. "이를 활용하고 이를 가장 잘 활용하는 방법뿐만 아니라 이를 가장 잘 보호하는 방법을 이해하는 사람들이 높은 지위를 차지하게 될 것입니다."

스키너는 오늘 기자들에게 마르텔의 생각에 대해 어떻게 생각하느냐는 질문에 "제너레이티브 AI가 두렵지 않다"면서도 "국방부 내 혁신 정신이 어디에서 빛을 발할지에 대한 도전이 될 것"이라고 답했다.

국방부의 최고 기술 책임자인 스티븐 월리스(Stephen Wallace)는 국방부가 "백오피스 기능... 계약서 생성, 데이터 라벨링"에 이르기까지 다양한 방식으로 제너레이티브 AI를 활용하는 방안을 검토하고 있다고 말했다.

월리스는 기자들에게 "응용 프로그램의 수는 매우 광범위합니다."라고 말했다. "우리는 항상 '사람이 문제를 해결할 수 없다'고 말합니다. 그리고 이것은 우리가 팀을 보강하고, 팀을 더 좋게 만들고, 궁극적으로 전반적으로 역량을 제공할 수 있는 방법입니다."