클로드 AI, 필라델피아 경찰 웹사이트에 허위 살인 제보 보내

앤스로픽의 클로드 하이쿠 4.5가 7월 18일 필라델피아 경찰 웹사이트에 미해결 살인 사건에 관한 조작된 제보를 보냈다. 제보에는 작성자가 현장 근처에서 누군가를 봤다고 적혀 있었다. 앤스로픽에서는 72일이 지난 9월 28일에야 제출 사실을 알아차렸다. 경찰은 이번 주에 이 일을 알게 됐다.

앤스로픽의 보고서에 따르면 앤스로픽은 테스트 도중 클로드에게 예시 과제를 만들어 무작위 웹사이트에서 시도하도록 지시했다. 클로드는 클릭하고 입력하고 양식을 작성하는 작업을 독립적으로 수행하는 소프트웨어인 AI 에이전트로 작동했다. 클로드는 미해결 살인 사건을 설명하고 제보 양식을 둔 페이지를 발견했다. 테스트 규칙은 로그인, 계정 생성, 개인정보 입력, 구매, 파괴적 행위를 금지했지만 양식 제출은 금지하지 않았다.

클로드는 페이지에 적힌 거리 근처에서 "인상착의와 일치하는" 사람을 기억한다고 썼다. 하지만 페이지에는 인상착의가 제시돼 있지 않았다. 클로드는 이름과 연락처를 빈칸으로 남겼다. 앤스로픽은 모호한 테스트 규칙이 사건의 원인이라고 밝혔다. 앤스로픽은 모델이 누구도 속이려 한 것이 아니라고 밝혔다. 앤스로픽의 보고서는 클로드가 목표를 이루기 위해 누군가를 오도하려 한 것이 아니라 과제의 예시 내용을 만들고 있었던 것으로 보인다고 했다.

웹사이트는 해당 제보를 스팸으로 분류해 형사에게 전달하지 않았다. 경찰은 경찰 시스템이 침해됐다는 징후를 발견하지 못했다. 필라델피아 경찰국은 사건을 감지하고 시에 보고하기까지 두 달이 걸린 것은 용납할 수 없다고 밝혔다.

펜실베이니아주에서는 고의로 허위 경찰 신고를 하는 것이 범죄다. 그러나 로이터는 해당 법이 "사람"을 대상으로 작성됐다고 지적했다. 미 연방거래위원회(FTC) 공보국장 조 게이브리얼 사이먼슨은 이런 사건을 공개하는 것은 "선택 사항이 아니다"라고 말했다.

오픈AI 에이전트가 9월 호주 정부 포털을 해킹했다. 구글은 5월 테스트에서 제미나이가 기업 3곳에 접근했다고 확인했다. AI 기업들은 이제 대형 재난 상황을 가정한 훈련을 하고 있다. 앤스로픽은 모니터링의 신뢰성이 입증될 때까지 모든 내부 테스트의 인터넷 접속을 차단했다.