스타트업 Shift5 대표, 적대적 AI가 군사 시스템에 위협이라고 밝혀

조쉬 로피노소의 첫 번째 사이버 보안 스타트업은 2017년에 레이시온/포스포인트에 인수되었다. 그의 두 번째 스타트업인 Shift5는 미군, 철도 운영사, 젯블루를 비롯한 항공사와 협력하고 있다. 2009년 웨스트포인트를 졸업하고 로즈 장학생이 된 36세의 전직 육군 대위인 그는 10년 이상 국가안보국과 미국 사이버 사령부를 위한 해킹 도구를 제작했다.

로피노소는 최근 상원 군사위원회에서 인공 지능이 군사 작전을 보호하는 데 어떻게 도움이 될 수 있는지 설명했다. 이 CEO 겸 프로그래머는 AP 통신과의 인터뷰에서 무기 시스템의 소프트웨어 취약성이 미군에 얼마나 큰 위협이 되는지에 대해서도 논의했습니다. 인터뷰는 명확성과 길이를 위해 편집되었다.

Q: 증언에서 AI 기반 기술에 대한 두 가지 주요 위협을 설명하셨습니다: 하나는 도난입니다. 설명이 필요 없습니다. 다른 하나는 데이터 중독입니다. 이에 대해 설명해 주시겠어요?

A: 데이터 중독을 디지털 허위 정보로 생각하는 것도 한 가지 방법입니다. 공격자가 AI 지원 기술이 보는 데이터를 조작할 수 있다면 해당 기술이 작동하는 방식에 큰 영향을 미칠 수 있습니다.

Q: 데이터 중독이 발생하고 있나요?

A: 데이터 중독이 광범위하게 발생하고 있지는 않습니다. 하지만 실제로 발생하고 있습니다. 가장 잘 알려진 사례 중 하나는 2016년에 발생했습니다. Microsoft는 온라인 대화를 통해 학습한 테이(Tay)라는 이름의 트위터 챗봇을 출시했습니다. 악의적인 사용자들이 이 챗봇에게 모욕적이고 공격적인 언어를 트윗하기 위해 공모했습니다. 테이는 선동적인 콘텐츠를 생성하기 시작했습니다. Microsoft는 이를 오프라인으로 전환했습니다.

Q: AI는 단순한 챗봇이 아닙니다. AI는 오랫동안 사이버 보안에 필수적인 요소였죠?

A: AI는 이메일 필터에서 정크 메일과 피싱 미끼를 플래그 지정하고 분리하는 데 사용됩니다. 또 다른 예로는 노트북의 바이러스 백신 프로그램이나 네트워크에서 실행되는 멀웨어 탐지 소프트웨어와 같은 엔드포인트가 있습니다. 물론 공격적인 해커들은 이러한 분류 시스템을 무력화하기 위해 AI를 사용하기도 합니다. 이를 적대적 AI라고 합니다.

Q: 군사 소프트웨어 시스템에 대해 이야기해 보겠습니다. 2018년 미국 회계감사원의 보고서에 따르면 새로 개발된 거의 모든 무기 시스템에 미션 크리티컬한 취약점이 있다고 합니다. 미 국방부는 이러한 시스템에 AI를 도입하는 것을 고려하고 있나요?

A: 여기에는 두 가지 문제가 있습니다. 첫째, 기존 무기 시스템을 적절히 보호해야 합니다. 이는 우리가 안고 있는 기술적 부채로, 이를 갚는 데 오랜 시간이 걸릴 것입니다. 그다음에는 AI 알고리즘을 확보하는 새로운 영역, 즉 우리가 설치할 새로운 것들이 있습니다. GAO 보고서에는 AI에 대한 언급이 없었습니다. 그러니 AI는 잠시 잊어버리세요. 이러한 시스템을 그대로 유지한다면 여전히 매우 취약할 것입니다.

우리는 한계를 뛰어넘어 유지 관리 및 운영 인텔리전스 개선과 같은 AI 지원 기능을 추가하는 것에 대해 논의하고 있습니다. 모두 훌륭하죠. 하지만 우리는 카드의 집 위에 건물을 짓고 있습니다. 많은 시스템이 디지털 기술로 개조된 지 수십 년이 지났습니다. 항공기, 지상 차량, 우주 자산, 잠수함. 이제 이 시스템들은 서로 연결되어 있습니다. 데이터를 주고받고 있습니다. 이러한 시스템은 다공성이며 업그레이드가 어렵고 공격받을 수 있습니다. 공격자가 접근하면 게임은 끝입니다.

때로는 기존 시스템의 디지털 구성 요소를 재설계하는 것보다 새로운 플랫폼을 구축하는 것이 더 쉬울 수 있습니다. 하지만 이러한 시스템을 보호하는 데는 AI의 역할이 있습니다. 누군가 시스템을 손상시키려고 시도할 경우 AI를 사용하여 방어할 수 있습니다.

Q: 일부에서 주장하는 것처럼 AI 연구를 중단하는 것은 중국과 다른 경쟁자들에게 유리하기 때문에 좋지 않은 생각이라고 증언하셨습니다. 하지만 AI 제품에 대한 성급한 서두름에 대해서도 우려를 표명하셨습니다. 그 이유는 무엇인가요?

A: 운명론적으로 들리긴 싫지만, 소위 '불타는 사용'의 사례가 적용되는 것 같습니다. 서둘러 출시된 제품은 종종 불이 붙습니다(해킹을 당하거나 고장이 나거나 의도하지 않은 피해를 입히는 경우). 그럴 때 우리는 '이런, 보안 기능을 내장했어야 했는데'라고 말하죠. AI 개발 속도는 더욱 빨라질 것이고, 우리는 안전하고 책임감 있는 방식으로 이를 수행할 수 있을 만큼 충분히 속도를 늦추지 못할 수도 있습니다. 적어도 백악관과 의회에서 이러한 문제에 대해 논의하고 있습니다.

Q: 국방 분야를 포함한 많은 기업들이 서둘러 반쯤 구운(*설익은) AI 제품을 발표하고 있는 것 같습니다.

A: 모든 기술 기업과 많은 비기술 기업이 거의 일제히 AI로 방향을 전환하고 있습니다. 경제적 지각변동이 일어나고 있습니다. 비즈니스 모델은 근본적으로 변화할 것입니다. 이미 이러한 변화가 일어나고 있거나 곧 일어날 것이며, 비즈니스 리더들은 이러한 변화에 뒤처지지 않기 위해 노력하고 있습니다.

질문: 타겟팅과 같은 군사적 의사 결정에 AI를 사용하는 것은 어떤가요?

A: 저는 인공지능 알고리즘(우리가 수집하고 있는 데이터)이 치명적인 무기 시스템의 의사 결정에 활용될 준비가 되었다고 생각하지 않습니다. 아직 멀었습니다.