미 육군 소프트웨어 획득 담당관, '오염된' 데이터는 전시에서 AI를 망칠 수 있다고 경고

미 국방부가 빅데이터와 인공지능에 큰 베팅을 하고 있지만, 육군의 소프트웨어 획득 책임자는 적대자들이 인공지능이 마시는 데이터의 우물을 "독살"시킬 수 있다는 새로운 경고를 제기하고 있으며, 이는 미국이 향후 분쟁에서 사용할 알고리즘을 미묘하게 방해한다.

제니퍼 스완슨 부차관보는 수요일(17일) 포토맥 오피서 클럽 콘퍼런스에서 "지금 우리의 데이터가 독살됐다고 생각하지 않는다"며 "그러나 우리가 비슷한 적수와 싸울 때 우리는 그 위협 벡터들이 무엇인지 정확히 알아야 한다"고 강조했다

근본적인 문제는 모든 기계 학습 알고리즘이 데이터 – 많은 데이터 – 에 대해 훈련을 받아야 한다는 것이다. 국방부는 분석 알고리즘과 초기 인공지능이 그것을 이해할 수 있도록 데이터를 수집하고, 대조하고, 치료하고, 청소하기 위해 엄청난 노력을 하고 있다. 특히, 준비팀은 알고리즘이 잘못된 것을 배우기 전에 잘못된 데이터 포인트를 버려야 한다.

2016년 마이크로소프트 테이에서 2023년 ChatGPT에 이르는 상업용 챗봇은 잘못된 정보와 인종차별, 그리고 그들이 소비하는 다른 모든 인터넷 콘텐츠를 빨아들이는 것으로 악명이 높다. 그러나 더 나쁜 것은, 스완슨은 군대의 자체 훈련 데이터가 의도적으로 적을 목표로 할 수도 있다는 것인데, 이것은 "데이터 중독"이라고 알려진 기술이다

스완슨은 "인터넷을 통해 학습하고 있는 상업용 LLM[대형 언어 모델]은 오늘날 독살당했다"고 단도직입적으로 말했다. "하지만 저는 솔직히 당신이 '정규' 인공지능이라고 부르는 것이 더 걱정됩니다. 왜냐하면 그것들은 우리 군인들이 전장에서 결정을 내리는 데 정말로 사용할 알고리즘이기 때문입니다"

더 나은 챗봇을 만드는 것은 국방부에 큰 문제가 아니라고 그녀는 주장했다. "저는 [세대 인공지능]이 고칠 수 있다고 생각합니다"라고 그녀는 말했다. "그것은 정말로 데이터에 관한 것입니다." 공개된 인터넷에서 LLM을 훈련하는 대신, OpenAI 등이 한 것처럼, 군대는 안전하고 방화벽이 설치된 환경 내에서 신뢰할 수 있고 검증된 군사 데이터 세트에서 그것을 훈련시킬 것이다. 특히, 그녀는 민감한 (5) 데이터 또는 분류된 (6) 데이터에 적합한 국방부 영향 레벨 5 또는 6의 시스템을 추천했다.

그녀는 "올 여름까지 우리가 사용할 수 있는 IL-5 LLM 능력이 있기를 바란다"고 말했다. 그녀는 "이는 관료화 과정을 보다 효율적으로 만들기 위한 수많은 정보를 요약하면서 모든 종류의 백오피스 기능에 도움이 될 수 있다"며 "그러나 우리의 주된 관심사는 전장의 결정을 알리는 알고리즘들이다"고 말했다

스완슨은 "나쁜 데이터나 나쁜 알고리즘, 독극물 데이터나 트로이 목마 또는 그 모든 것들의 결과는 그러한 사용 사례에서 훨씬 더 크다"며 "그것은 우리가 시간의 대부분을 보내고 있는 정말로 우리에게 있다"고 말했다

CJADC2, AI 테스트 및 오염 데이터 격퇴

올바른 군사별 훈련 데이터를 얻는 것은 육지, 공중, 바다, 우주, 그리고 사이버 공간에 걸쳐 미래의 전투 작전을 조정하기 위해 인공지능을 사용하는 것을 목표로 하는 국방부에 특히 중요하다. 그 개념은 결합된 모든 영역의 지휘 통제 (CJADC2)라고 불리고, 2월에 국방부는 기능하는 "최소 생존 능력"이 이미 전세계의 본부를 선택하기 위해 시행되고 있다고 발표했다.

미래 버전은 공군의 ABMS, 해군의 프로젝트 오버매치, 육군의 프로젝트 컨버전스 등 기존 서비스 수준의 AI 전투 지휘 사업에 타깃팅 데이터와 타격 계획을 추가할 예정이다.

프로젝트 컨버전스는 스완슨이 "우리 프로그램에 대한 신뢰할 수 있고 안전한 MLops 파이프라인"으로 설계된 서비스의 "플래그십 AI 프로그램"이라고 설명한 프로젝트 린치핀이 개발한 기술을 차례로 사용할 예정이다

즉, 육군은 선도적인 소프트웨어 개발자들이 새로운 기술을 빠르게 출시하고 계속 업데이트하기 위해 사용하는 개발, 사이버 보안 및 현재 운영(DevSecOps) 간의 "애자일" 피드백 루프를 기계 학습에 적용하려고 한다.

문제점은? "지금, 우리는 그것을 어떻게 하는지 100% 모릅니다"라고 스완슨은 말했다. 사실, 그녀는 아무도 그렇게 하지 않습니다: "우리가 얼마나 AI에 몰두하고 있는지가 저에게 걱정스럽고 아무도 그 답을 가지고 있지 않습니다. 우리는 아마도 100개의 다른 회사들에게 '어떻게 그것을 합니까?'라고 물었고 그들은 '음'이라고 말했습니다."

스완슨은 러다이트 기술 애호가가 아니다. 그녀는 정부 기술직에서 30년을 보냈고 2022년에 육군 최초의 소프트웨어, 공학, 그리고 데이터 담당 차관보가 되었던 오래된 학교 프로그래머이다 - "저는 대학에서 포트란을 배웠습니다"라고 그녀는 말했다. 그녀는 처음에 테슬라를 샀고 그리고 나서 그녀가 그것을 위해 설정했던 테스트를 처리하는 방식이 마음에 들지 않았기 때문에 그것의 자율주행 기능에 대한 무료 시험을 끄는 그런 사람이다. 사실, 인공지능에 대한 그녀의 큰 걱정들 중 하나는 테스트하는 것이 얼마나 어려운지이다.

스완슨은 "AI는 다른 소프트웨어처럼 결정론적이지 않기 때문에 실제로 어떻게 테스트하나요?"라고 물었다. 그녀가 학교에서 배운 고대의 포트란부터 파이썬과 같은 현대적인 인기 프로그램에 이르기까지 전통적인 코드는 항상 주어진 입력에 대해 동일한 출력을 제공하는 엄격한 IF-THEN-ELSE 알고리즘을 사용한다. 대조적으로, 현대의 기계 학습은 복잡한 통계적 상관관계와 확률을 해결하는 인간의 뇌에 느슨하게 모델링된 신경망에 의존한다. 그것이 당신이 ChatGPT에게 같은 질문을 반복해서 할 수 있는 이유이며, 그것은 그들의 에세이를 위조하는 학생들에게는 꿈이 실현되지만 신뢰성 시험을 하는 학생들에게는 악몽이다.

게다가 머신 러닝 알고리즘은 새로운 데이터에 노출되면서 학습을 계속하고, 본질적으로 스스로를 재프로그래밍한다. 이는 사람이 수동으로 변화를 만들어야 하는 기존 코드보다 훨씬 적응력을 높일 수 있지만, 의도하지 않은 세부 정보나 노골적인 정보에 집착하여 창작자의 의도에서 크게 벗어날 수 있다는 것을 의미하기도 한다.

스완슨은 "그것이 계속 학습되기 때문에, 당신은 전장에서 그것을 어떻게 관리할 것인가?"라며 "당신의 데이터가 중독되지 않았다는 것을 어떻게 알 수 있는가?"라고 물었다

그녀는 "지금 진행되고 있는 많은 작업이 있다"며 "앞으로 1~2년 안에 이 작업의 많은 부분이 답을 만들어내고 처음부터 제대로 토대를 세울 수 있게 해주는 것이 제 희망"이라고 말했다