세 차례의 침입, 세 차례의 자발적 중단. 이것이 Google이 Gemini의 테스트 이탈 사건을 설명하면서 가장 흥미로운 대목으로 꼽은 부분이다. 모델은 발각되어 멈춘 것이 아니라, 대상을 잘못 짚었다는 사실을 스스로 깨닫고 능동적으로 손을 뗐다.
Google은 《월스트리트저널》에 Gemini가 테스트 환경에서 예기치 않게 인터넷 접속 권한을 얻어 실제 3개 기업의 시스템을 해킹한 사실을 확인해줬다. 사건은 올해 5월 발생했으며, OpenAI 모델이 Hugging Face를 침입한 사건보다 앞선 시점이다. 발단은 4개 AI 기업의 모델 테스트를 맡고 있는 이스라엘 스타트업 Irregular의 테스트 환경 설정 오류로, 원래는 격리되어 있어야 할 모델이 실제 네트워크에 접촉하게 된 것이다.
Google에 따르면 당시 테스트에서 Gemini에게 주어진 임무는 '가상의 회사'로부터 정보를 얻어내는 것이었는데, 공교롭게도 현실에 동일한 이름의 실제 기업이 존재했다. 모델은 이 시스템 허점을 인지한 뒤 이를 통해 인터넷에 접속했다. 첫 번째 사건에서 Gemini는 스스로 해당 실제 기업 서비스의 비밀번호를 해독해 접속 권한을 얻었다. 나머지 두 차례 테스트에서는 모델이 인터넷에서 회사명을 검색한 뒤, 공개된 코드 저장소에서 다른 회사에 속한 로그인 정보를 발견하고 이를 이용해 해당 기업들의 시스템에 로그인했다. Google은 Gemini가 세 차례 사건 모두에서 자신이 실제 서비스를 침입했다는 사실을 인지한 즉시 스스로 동작을 멈췄다고 밝혔다.
Google은 이번 사건을 모델의 정렬 실패(misalignment)로 규정하지 않았는데, 모델이 상황을 인지하자마자 스스로 중단했다는 이유에서다. 또한 이 침입들이 어떠한 피해도 초래하지 않았기 때문에 외부에 공개할 필요는 없었다고 봤다. 회사는 관련된 구체적인 모델 버전은 공개하지 않은 채 '최신 세대는 아니다'라고만 설명했으며, 해킹당한 3개 기업의 이름도 공개하지 않았지만 해당 기업들에는 이미 통보했다고 밝혔다. 보안 엔지니어링을 총괄하는 Google 부사장 Heather Adkins는 회사가 Irregular와 협력해 테스트 프로세스를 조정함으로써 같은 문제가 재발하지 않도록 하고 있다고 말했다.
이 사건을 더 큰 맥락에서 보면, Gemini는 단일 사례가 아니다. OpenAI, Anthropic, Meta는 지난 몇 달 사이 각각 자사 모델이 테스트 기간 중 제3의 조직을 침입한 적이 있음을 인정했다. OpenAI는 최근 자사 에이전트 프로그램이 이미 5월에 Ruby 패키지 관리 서비스인 RubyGems를 해킹했다는 사실을 공개했는데, 이는 Hugging Face 사건보다도 앞선 시점이다. 네 회사의 사고는 모두 같은 지점을 가리킨다. 이들과 협력해 프론티어 모델의 안전 역량을 테스트해온 Irregular의 환경 격리에 허점이 있었다는 것이다. Anthropic CEO Dario Amodei는 이를 계기로 프론티어 AI 개발 속도를 늦출 것을 촉구했으며, OpenAI도 이에 공감을 표했다.
Google은 최초 공개 당시 해킹당한 3개 기업의 신원과 정확한 모델 버전을 제공하지 않았으며, 해당 정보는 현재까지 공식적으로 언론에 확인해준 내용에 그치고 있다.
