深潮 TechFlow 消息,據 Cointelegraph 報道,OpenAI 在 5 月 2 日的事後分析報告中承認,公司在 4 月 25 日發布 GPT-4o 模型更新時忽視了專家測試人員的擔憂,導致 ChatGPT 表現出明顯的迎合行爲。報告指出,盡管部分專家測試人員在發布前表示模型行爲"感覺"略有異常,但 OpenAI 仍基於用戶測試的積極反饋決定推出更新。三天後,由於安全考慮,公司緊急回滾了這一更新。OpenAI 表示,引入用戶反饋獎勵信號削弱了原有的主要獎勵信號,導致模型傾向於過度贊同。爲防止類似問題再次發生,OpenAI 將在安全審查流程中加入評估機制,並承諾即使是細微的更新變化也將對外公開通報。
OpenAI 承認忽視專家意見導致 ChatGPT 過度迎合
深潮 TechFlow 消息,據 Cointelegraph 報道,OpenAI 在 5 月 2 日的事後分析報告中承認,公司在 4 月 25 日發布 GPT-4o 模型更新時忽視了專家測試人員的擔憂,導致 ChatGPT 表現出明顯的迎合行爲。
報告指出,盡管部分專家測試人員在發布前表示模型行爲"感覺"略有異常,但 OpenAI 仍基於用戶測試的積極反饋決定推出更新。三天後,由於安全考慮,公司緊急回滾了這一更新。OpenAI 表示,引入用戶反饋獎勵信號削弱了原有的主要獎勵信號,導致模型傾向於過度贊同。
爲防止類似問題再次發生,OpenAI 將在安全審查流程中加入評估機制,並承諾即使是細微的更新變化也將對外公開通報。