미 육군의 고가 IVAS 고글이 문이라는 훈련 장애물을 만났다

군인 훈련을 개선하기 위해 진화하는 과정에서 육군은 실제 시나리오에 가상 위협을 주입하는 혼합 현실 트레이너의 핵심으로 Microsoft의 통합 시각 증강 시스템(IVAS)을 주목하고 있다.

그러나 6명이 넘는 전현직 군 관계자와 업계 소식통은 Breaking Defense에 이미 기술적 문제로 인해 사용자가 IVAS를 착용한 상태에서 해당 훈련을 수정해야 한다고 말했다. 그리고 아직 해결책을 찾지 못한 상황에서 군인들이 언제, 또는 언제쯤 IVAS를 효과적으로 사용하여 야외에서, 심지어 문과 창문이 있는 건물 안에서 전투하듯이 훈련할 수 있을지는 불확실하다. 

동적 오클루전 제한(실제 물체 뒤에 가상 물체를 숨길 수 없는 기능)은 많은 혼합 현실 기기의 문제점으로, 내부자들은 이에 대한 해결책이 아직 마련되지 않았다고 입을 모은다. 육군이 이 문제를 해결하지 못하면 IVAS 사용 사례가 하나 줄어든다는 의미이기도 하다.

혼합 현실 체험 중 기본적인 예로, IVAS와 같은 장치를 착용한 사람이 실제 닫힌 문 앞에 서 있을 때 문을 열지 못하면 현실 세계의 물체 뒤에 놓여 있던 적과 같은 가상 물체가 갑자기 나타나는 경우가 있다.

민디 브라운 중령은 7월 24일 브레이킹 디펜스와의 인터뷰에서 오클루전이 육군의 실내 훈련 수행 능력에 미치는 영향에 대해 질문하자 "현재 연구 중입니다. 우리는 이 문제를 실제 문제로 파악했습니다."라고 답했다.

브라운 중령은 컴퓨터 처리 "퍽"과 HUD를 갖춘 IVAS와 무기 추적기에 연결된 소총과 3D 글로벌 지형 기능인 원 월드 터레인이 포함된 기타 Microsoft 장비를 결합하는 분대 몰입형 가상 트레이너(SiVT) 프로그램을 감독하고 있다. 본질적으로 IVAS는 SiVT의 두뇌 역할을 하며, IVAS가 제대로 작동하지 않으면 SiVT도 제대로 작동하지 않는다.

육군은 SiVT 프로그램을 통해 220억 달러 규모의 IVAS 생산 계약에 편승하여 전투 및 혼합 현실 훈련에 모두 적합한 하나의 장치를 만들려고 한다.

육군 획득 책임자인 더그 부시는 지난주 기자들에게 IVAS 전투 능력에 맞는 설계와 소프트웨어를 확보하는 것이 "여전히 [우선순위] 1위"라고 말했다. 그러나 그는 또한 혼합 현실 트레이너의 핵심 조력자로서 기기의 다른 용도와 함께 "함께 궤도를 유지"하기를 원하고 있다.

"이 새로운 폼팩터(1.2)의 경우, 추가 전투 훈련을 구축할 때 '훈련' SiVT 환경에서도 작동하는지 확인해야 합니다."라고 그는 말했다. "하지만 먼저 폼 팩터를 제대로 갖추는 것이 중요하다고 생각합니다. 그래야 방향을 전환할 수 있습니다."

IVAS 기반 혼합 현실 트레이너를 실외에서 사용하는 데 어려움을 겪고 있으며, 병사들이 실내에서 훈련할 때도 이 트레이너를 사용하는 방식을 변경해야 하는 것은 바로 이러한 폐색 문제 때문이다. 또한 브라운은 SiVT의 잠정적인 도입 예정일인 2026년 이전에는 잠재적인 해결책을 찾을 수 없을 것으로 예상하며, 그 이후에는 마이크로소프트와의 계약을 고수할지 아니면 폐기할지 결정할 것이라고 말했다. 마이크로소프트는 본지의 논평 요청에 응답하지 않았다.

 

문과 창문

혼합 현실 트레이너의 일부로 IVAS를 사용함으로써 병사들이 11가지 전투 훈련, 즉 소규모 보병 부대의 다양한 기동 훈련을 모두 훈련할 수 있는 방법을 만드는 것이 궁극적인 목표였다. 병사들이 가상의 전투원, 민간인, 심지어 동물과도 마주치며 실제 세계에서 훈련할 수 있도록 하는 것이 목표였다. 훈련이 끝나면 병사들은 자신이 잘한 점과 잘못한 점, 개선해야 할 부분을 검토할 수 있다. 

처음에 육군 관계자들은 전투 훈련과 혼합 현실 훈련에 모두 사용할 수 있는 하나의 기기를 개발하는 것이 쉽지 않을 것이며, 오클루전 같은 문제도 해결해야 할 과제라는 것을 인정했다. 곧 혼합 현실 훈련에 IVAS를 실외에서 사용하는 것은 부분적으로는 시시각각 변하는 조명 조건으로 인해 어려울 것이라는 것이 분명해졌다. 하지만 실외에서 문제가 지속되더라도 부대가 건물에 진입하여 건물을 정리하는 훈련인 배틀 드릴 6과 같은 실내 훈련은 통제할 수 있다고 생각했다. 

"솔직히 말해서 실내에서 실시하는 IVAS나 SiVT와 같은 미션 세트는 실내에서 실시하는 것이 가장 쉽습니다. 훨씬 더 많은 변수를 제어할 수 있고 주변 조명을 제어할 수 있으며 해결하기 더 쉬운 문제입니다."라고 합성 훈련 환경 교차 기능 팀 책임자인 윌리엄 글레이저 준장은 2021년 10월 제인스와의 인터뷰에서 말했다. "우리는 실내 기능만을 위해 이 모든 비용을 지출하지는 않을 것입니다. 1-11 전투 훈련을 위해 밤낮을 가리지 않고 실외에 설치해야 합니다."

2년 후, 업계와 군 관계자들은 오클루전으로 인해 군인들이 실내 전투 훈련 6을 실제 세계 시나리오나 전투 작전을 수행할 때와 다르게 수행해야 한다는 사실을 인정했다.

군인들이 표준 방탈출 훈련을 실시하는 온라인 육군 동영상은 다양하지만 일반적으로 문, 창문, 계단이 포함되어 있다. 영상에서는 부대가 건물 외부에 모인 후 한 병사가 문을 걷어차거나 문을 열어둔 채 뒤에 서 있다가 다른 부대원들이 재빨리 방으로 들어가 문을 잠그는 장면이 자주 등장한다. 이 과정은 건물 내부의 다른 방과 층에서도 반복된다.

하지만 IVAS 혼합 현실 기능을 사용할 때 시스템은 실제 장애물 뒤에 가상의 물체와 인물을 투사하는 데 어려움을 겪는다. 이 프로그램에 익숙한 한 업계 소식통은 "닫힌 문은 벽으로 인식하고 열린 문은 벽에 있는 단순한 구멍으로 인식한다"고 설명했다. "따라서 문 연습은 불가능합니다. .... 이는 창문도 마찬가지입니다." 

이 업계 소식통은 "문은 중요하다"며 "문이 없는 상태에서 싸우는 것처럼 훈련하기는 어렵다"고 덧붙였다. 

브라운을 포함하여 이 프로그램에 익숙한 복수의 육군 관계자는 이 문제가 있음을 확인했으며, 혼합 현실 훈련의 일환으로 IVAS 헤드셋을 착용한 병사들이 있는 배틀 드릴 6의 일부 사진에서 문이나 창문이 없거나 열려 있는 것을 볼 수 있다. 그러나 같은 관계자는 육군이 문과 창문 폐쇄 문제를 해결하지 못하더라도 병사들이 수정된 배틀 드릴 6 훈련을 통해 여전히 혜택을 볼 수 있을 것이라고 주장한다.

브라운은 이 문제를 해결하기 위해 육군과 Microsoft가 디지털 트윈으로 해결 방법을 모색하고 위치 정보 참조(로컬라이제이션이라고도 함)를 개선하고 있다고 말했다. 그리고 오클루전 문제는 IVAS에만 국한된 것이 아니라 업계 전반에 걸친 문제이므로 고려해야 할 잠재적인 해결책이 많다.

 

테이블 위의 잠재적 솔루션

Microsoft 소속이 아닌 한 증강 현실 전문가는 Breaking Defense와의 인터뷰에서 문과 창문의 위치를 실시간으로 변경하여 세계를 동적으로 디지털 트윈화하는 방법에는 여러 가지가 있다고 설명했다. 

"합성 환경은 센서나 카메라가 문이 열렸거나 닫혔거나 그 사이에 있다는 것을 파악하여 문이 닫혀 있고 문이 열려 있다는 것을 이해해야 합니다."라고 그는 설명했다. "이는 동적으로 움직이는 모든 오브젝트에 적용됩니다. 트윈을 실시간으로 업데이트하는 것이 이 문제를 해결하는 방법입니다."

이러한 완화 기술은 자동차, 새, 낙엽과 같이 실제 움직이는 물체가 문제를 일으킬 수 있는 외부에서도 적용될 수 있다.

하지만 브라운과 합성 환경 프로젝트 매니저인 닉 키우타스 대령에 따르면 오클루전 문제를 해결할 수 있다고 해도 밝은 자연광을 처리하는 방법 등 실외에서 IVAS에 대한 다른 과제가 남아 있다. 키우타스는 지오레퍼런싱을 개선하는 것이 실외에서 큰 과제라고 지적했다. 

"실외에서 조금 더 나은 환경을 만들기 위해 노력하고 있지만 가장 어려운 부분은 지오레퍼런싱입니다."라고 그는 설명했다. "훈련을 설정할 때 시뮬레이션이 지형에서 현재 위치를 파악하도록 하는 것이 가장 어려운 문제입니다... [하지만] 여러 기술을 통해 이 문제를 해결할 수 있습니다."

혼합 현실 공간에서는 지오레퍼런싱과 오클루전이 연결된다. 지오레퍼런싱은 지리 정보 시스템(GIS) 및 지도 제작에서 지도나 위성 이미지와 같은 디지털 데이터를 실제 지리적 위치와 연결하여 가상 투영이 이루어지는 시뮬레이션 환경을 실제와 더 유사하게 만드는 프로세스를 말한다. 

브라운은 마이크로소프트, 서비스 및 기타 기술 회사들이 다양한 오클루전 및 지오레퍼런싱 완화 방법을 모색하고 있지만, IVAS 중심의 몰입형 훈련 시스템이 현장에 배치될 예정인 2026년까지 진전을 이룰 수 있을 것으로 기대한다고 말했다.

브라운은 자신의 팀이 적절한 오클루전 해결 방법을 찾을 수 있다고 평가하느냐는 질문에 "그렇게 생각합니다. 하지만 시간이 좀 걸릴 것 같습니다."

하지만 브라운의 팀과 Microsoft가 실내외 혼합 현실 훈련에 IVAS를 사용하는 방법을 찾지 못해 SiVT 개발이 보류된다면, 이미 개발에 어려움을 겪고 있는 시스템에 또 다른 단점이 생길 수 있다.

그렇다고 해서 모든 훈련이 IVAS로 불가능해지는 것은 아니다. IVAS 제품 관리자 데니 드레쉬 중령은 수십억 달러에 달하는 IVAS를 사격 훈련이나 전장에서의 임무 준비와 같은 용도로는 여전히 사용할 수 있을 것이라고 브레이킹 디펜스와의 인터뷰에서 말했다.

그는 "노트북에서 파워포인트 슬라이드를 사용하는 대신 IVAS의 임무 계획 기능을 사용하여 훈련할 수 있다"고 덧붙였다.