PANews 6月20日、OpenAIは新たな評価ベンチマーク「LifeSciBench」を公式発表した。これは、実際の科学研究現場におけるAIシステムの能力を測定することを目的としている。LifeSciBenchは、博士号を持ちバイオテクノロジーまたは製薬業界での経験を有する173名の研究者が作成した750の専門家作成タスクに基づき、7つの研究ワークフローと7つの生物学分野をカバーしている。このベンチマークは、単純な事実確認問題ではなく、証拠の統合、実験設計、データ分析、科学的推論、研究コミュニケーション能力など、複雑な科学研究能力の評価を重視している。タスクの79%以上が多段階推論を含み、1問あたり平均約4つの推論ステップを要し、論文、図表、配列データ、構造ファイルなど、実際の科学研究に関連する1,062のデータ添付ファイルが含まれている。