Anthropic "Claude, 대화 내 잠재적 악용 행위 스스로 평가하도록 학습"

PANews 10월 30일 보도에 따르면, Anthropic은 X 플랫폼에 게시물을 올려 Claude가 대화 내 잠재적 악용 행위를 식별하도록 학습시켰다고 밝히고, 이 기술을 '자기 평가'(self-assessment)라고 불렀다. Claude는 답변을 완료한 직후 대화에 대해 초기 안전 평가를 내린다. Anthropic은 6월부터 이 기술을 사용한 이후 다른 안전 보호 장치가 포괄하지 못한 악용 행위를 발견했다고 밝혔다. Claude가 이미 대화 내용을 읽은 상태이기 때문에 이 방법은 효율성이 높으며, 특정 위해 유형을 겨냥한 분류기와 달리 Claude 자체의 판단에 의존하므로 정확도는 모델 능력 향상에 따라 함께 높아진다고 설명했다.