전문가들은 생성형 AI가 전투 계획을 작성하되 실행은 하지 말아야 한다고 말해

이제 챗봇은 새로운 레시피를 개발하거나(성공과 실패가 엇갈리는) 휴가 계획을 세우거나 예산에 맞는 식료품 목록을 작성할 수 있다. 그렇다면 챗봇이 비밀 정보를 요약하거나 상세한 군사 작전 명령 초안을 작성하는 것을 막는 것은 무엇일까?

독립적인 특별 경쟁 연구 프로젝트의 AI 전문가들은 이론적으로는 아무것도 없다고 말한다. 중국이나 다른 부도덕한 경쟁자가 먼저 도달하지 않도록 국방부는 이러한 가능성을 확실히 탐색해야 한다고 SCSP는 주장한다. 그러나 실제로 이 프로젝트의 분석가들은 Breaking Defense와의 인터뷰에서 최근 발표된 SCSP 연구에 명시된 바와 같이 많은 신중한 준비 작업이 필요하다고 강조했다.

또한, 치명적인 드론 무리에 AI를 직접 연결하는 것은 말할 것도 없고, 행동에 옮기기 전에 항상 잘 훈련된 사람 한 명 이상이 AI의 계획을 확인해야 한다고 경고했다.

국방부 베테랑 직원이었던 일버 바즈락타리는 현재 SCSP의 선임 고문으로 일하고 있으며, "지금 당장 ChaGPT에 접속하여 '앞으로 5일 동안 아이들의 도시락 일정을 짜주세요'라고 말할 수 있습니다."라고 말했다. 그는 프로그래밍을 조금 더 추가하면 "Instacart 등에 연결하여 모든 도시락을 즉시 주문하고 배송할 수 있습니다."라고 덧붙였다.

바즈락타리는 "기술은 이미 존재합니다."라고 말했다. "문제는 이를 연결하는 것입니다."

물론 정보 데이터베이스와 군사 지휘 시스템을 연결하려면 메뉴를 자동화하는 것보다 더 높은 수준의 엔지니어링이 필요하다.

"특정 군사 작업은 훌륭한 치킨 파마산을 만드는 것보다 훨씬 더 높은 수준의 특수성을 필요로 합니다."라고 전직 육군 장교이자 SCSP의 국방 연구를 책임지고 있는 Hill의 직원인 저스틴 린치(Justin Lynch)는 말했다. "[대규모 언어 모델]에 대한 더 나은 튜닝이 필요합니다. 군사적 목적을 위해 좀 더 구체적으로 만들어진 것이어야 합니다."라고 그는 설명했다. 즉, OpenAI가 ChatGPT에서 했던 것처럼 Reddit 게시물이나 기타 공개 웹사이트에서 텍스트를 스크랩하는 것이 아니라 군사 정보, 공식 교리, 기타 검증된 소스 등의 데이터로 훈련된 것이어야 한다는 것이다.

"이 분야는 현재 실험이 활발히 진행되고 있는 분야입니다."라고 그는 Breaking Defense와의 인터뷰에서 말했다.

생성형 AI가 완전한 군사 작전 계획을 생성할 수 있다면, 전투 드론 무리에 직접 명령을 전송하는 방식으로 그 계획을 실행할 수도 있을까? 린치는 기술적으로는 상상할 수 있지만 끔찍한 생각이며, SCSP가 권장하는 것과는 전혀 다르다고 말했다.

그는 최근 업데이트된 국방부 지침 3000.09를 인용하며 "우리가 이야기하는 모든 것은 매우 확고하게 3000.09 내에 있습니다."라고 강조하며 치명적인 무력에 대한 인간의 통제를 의무화하는 (중대한 허점이 있는) 국방부 지침을 언급했다.

바즈락타리는 "우리는 일종의 '인지 부조종사'라고 할 수 있는 것으로 엄격하게 제한했습니다."라고 말했다. "이 기술은 임무 수행보다는 인간의 의사 결정, 계획, 정보 수집, 정보 처리 능력을 향상시키는 데 중점을 두었습니다... 이 기술은 자동 실행을 위한 것이 아닙니다."

터미네이터 영화에서 불량 군용 AI가 인류 자체를 적으로 간주하고 핵미사일을 발사하는 스카이넷 문제는 분명히 원하지 않을 것이다. 더 미묘하게는 에이전트(인간 또는 AI)가 지시를 잘못 이해하고 진심으로 도우려다가 비생산적인 일을 하는 '토마스 베켓 문제'도 원하지 않는다고 린치는 말했다.

이는 1170년 캔터베리 대주교였던 성 토마스 베켓이 헨리 2세에게 충성하던 기사들에 의해 대성당에서 살해된 사건을 가리키는 말이다. 수년간의 교회와 국가 간의 정치적 다툼에 지친 왕은 "누가 이 골칫거리 신부를 제거해 주겠나?"라고 외쳤다고 전해진다. - 하지만 무장한 신하들이 그 말을 너무 문자 그대로 받아들였다고 합니다. 이제 인공지능은 인간보다 더 문자 그대로 생각할 수 있으며, 누군가 문제를 '제거' 또는 '제거'해 달라는 잘못된 요청을 하는 상황을 상상해 보자.

SCSP 전문가들은 인간 작가에게 편집자가 필요한 것처럼, 항상 지식이 풍부한 사람이 AI가 생성한 계획을 재확인하여 오류를 잡아내야 한다고 강조한다. [편집자 주: 맞다.] 순수 자동화에 비해 속도가 다소 느려지긴 하지만, 사람이 기존 초안을 확인하는 데 걸리는 시간이 처음부터 다시 생성하는 것보다 훨씬 적기 때문에 오늘날의 수작업과 노동 집약적인 직원 프로세스보다는 여전히 상당한 시간을 절약할 수 있다고 이들은 인정했니다.

SCSP 전문가들은 가장 간단한 단기 응용 프로그램부터 수년간의 신중한 준비 작업과 실험이 필요한 가장 야심찬 응용 프로그램까지, 세 가지 계층의 군사 및 정보용 제너레이티브 AI를 구상하고 있다:

1. 콘텐츠 생성: SCSP는 챗봇이 이미 수행하고 있는 종류의 작업에서 시작하며, 비밀 정보 보고서 요약이나 군사 물류 재고 목록과 같은 작업에 맞게 맞춤화된다. AI가 학습한 데이터 세트가 더 정확하고 구체적일수록 더 정확하고 실행 가능한 답변을 얻을 수 있으며, ChatGPT 및 기타 소비자 AI가 채택한 "만능의 달인, 전무후무한" 접근 방식과 대조적이다. 대부분의 군사 사용자는 거짓을 출력하는 AI의 '환각'에 대해 특히 강력한 안전장치를 마련하기를 원할 것이지만, CIA 출신이자 SCSP 정보 전문가인 칩 어셔는 CIA가 허구를 선호하는 AI의 성향을 이용해 수년간의 소셜 미디어 게시물을 포함한 상세한 가짜 배경을 만들어 요원들에게 제공할 수 있다고 말했다.

2. 자동화된 오케스트레이션: 다음 단계에서는 아무리 큰 단일 데이터 세트만 활용하는 대신 AI가 "대규모 데이터베이스 또는 도구 세트에서 정보를 불러올 수 있습니다."라고 린치는 설명했다. "저는 전술 작전 센터에서 많은 시간을 보냈는데, 일반적으로 수백 개의 데이터베이스와 도구에 액세스할 수 있고, 그 중 훨씬 적은 수의 데이터베이스와 도구에 익숙해지는 데 시간이 걸립니다.... 대규모 언어 모델은 이러한 데이터에 대한 자동화된 오케스트레이션을 수행한 다음 가장 관련성이 높은 데이터 세트와 가장 관련성이 높은 분석 도구를 불러올 수 있습니다."

3. 에이전트 AI: 이 단계에서는 엄격한 통제 하에 AI가 작업을 추천하는 것에서 실행까지 수행할 수 있다. 예를 들어, SCSP 전문가들은 제너레이티브 AI가 하위 AI에게 정보를 수집하여 데이터의 공백을 메우거나 보급 호송을 조직하는 등의 작업을 맡기는 것을 상상하고 있으며, 이는 자율적으로 치명적인 무리를 발사하는 것이 아니다.

이 프레임워크의 상위 레벨은 "다음 주 아이들의 식사 계획"에서 "대대 병참 계획 수립"에 이르기까지 광범위하고 평범한 영어 요청을 특정 작업에 대한 세부 체크리스트로 변환하는 생성형 AI의 능력을 기반으로 한다. 린치는 AI가 실제로 작업을 이해하지는 못하지만, 사람이 작성한 체크리스트를 충분히 학습하여 비슷한 체크리스트를 스스로 생성할 수 있다고 강조했다.

마찬가지로 AI는 인간 마스터가 무엇을 하라고 요구하는지 실제로 "이해"하지 못한다. 외부 현실에 대한 인식은 없고 단어와 단어의 일부(전문 용어로 '토큰')간의 통계적 상관관계만 인식한다. 하지만 LLM은 인간의 언어 입력을 기계가 읽을 수 있는 1과 0으로 변환한 다음 그 결과를 이해할 수 있는 단어로 변환하는 데 매우 능숙해졌다. 이를 통해 인간(심지어 훈련받지 않은 인간)과 더욱 정교해진 알고리즘 사이의 중개자 역할을 할 수 있다.

미 국방부 합동 AI 센터의 전 소장이자 예비역 3성 장군인 마이클 그로엔은 지난 봄 Breaking Defense와의 인터뷰에서 "ChatGPT의 다른 점은 갑자기 영어를 사용하여 질문할 수 있는 인터페이스가 생겼다는 점입니다."라고 말했다. "이 인터페이스는 대규모 커뮤니티를 위해 AI를 민주화합니다."