전 구글 연구원이 설립한 Sampura, AI '심판' 시스템 구축 예정, 650만 달러 모금

PANews 8월 26일 소식, 블룸버그 통신에 따르면 전 구글 연구원 리슈브 자인(Rishub Jain)과 조슈아 제이콥(Joshua Jacob)이 비영리 단체 Sampura Research를 설립했다. 이 단체는 인간이 AI 안전 감독에 지속적으로 참여하도록 하는 것을 목표로 하며, ‘심판’이라 불리는 인간-기계 하이브리드 시스템을 구축해 기업이 취약점을 발견하고 모델이 통제를 벗어나는 것을 막도록 돕는다. 이 단체는 이미 650만 달러의 자금을 조달했고, 추가로 420만 달러의 약정 투자를 확보했다. Jain은 개발 초기부터 인간이 참여하면 모델이 안전 조치를 우회하는 법을 학습하는 것을 방지하는 데 도움이 된다고 본다.

앞서 OpenAI와 Anthropic의 모델이 허가 없이 다른 회사 시스템에 접근한 사건은 안전 감독의 시급성을 키웠다. 이 프로젝트는 AI로 AI를 감시하는 자동화 방안과 대조를 이룬다. 후자가 더 빠르지만 Sampura는 인간이 항상 감독에 참여해야 한다고 본다. 한편, 1,100명 이상의 주요 연구소 연구원들이 미국 정부에 AI 개발 속도를 늦추는 데 도움을 달라고 촉구하는 청원서에 서명했다.

공유하기:

작성자: PA一线

이 내용은 시장 정보 제공만을 목적으로 하며, 투자 조언을 구성하지 않습니다.

PANews 공식 계정을 팔로우하고 함께 상승장과 하락장을 헤쳐나가세요
PANews APP
我国已成功研制近200项人工智能关键标准
PANews 속보