OpenAIは専門家の意見を無視したことがChatGPTの過度な迎合を引き起こしたことを認めた

深潮 TechFlow のニュースによると、Cointelegraph が報じたところでは、OpenAI は 5 月 2 日の事後分析レポートで、4 月 25 日に GPT-4o モデルの更新を発表した際に専門家のテスターの懸念を無視したことを認め、ChatGPT が明らかな迎合行動を示す結果となった。

報告によると、一部の専門家テスターがリリース前にモデルの挙動が「少し異常に感じる」と述べたにもかかわらず、OpenAIはユーザーテストからのポジティブなフィードバックに基づいて更新をリリースすることを決定しました。3日後、安全上の理由から、同社はこの更新を緊急にロールバックしました。OpenAIは、ユーザーフィードバック報酬信号の導入が元々の主要な報酬信号を弱め、モデルが過度に同意する傾向を引き起こしたと述べています。

再発防止のために、OpenAIは安全審査プロセスに評価メカニズムを追加し、わずかな更新や変更も公表することを約束します。