以ChatGPT為代表的生成式人工智能廣受關注，大模型亦在加速發展。科研團隊近日發布新的AI安全平臺，以期為大模型系好“安全帶”、把好“方向盤”。

據介紹，人工智能安全平臺RealSafe3.0版本由清華大學人工智能研究院孵化企業瑞萊智慧RealAI發布。該平臺能夠提供端到端的模型安全性測評解決方案，旨在解決當前通用大模型安全風險難以審計的“痛點”。

“大模型‘落地難’的本質在于，當前還沒有找到場景、風險和規范三者之間的平衡點。”瑞萊智慧聯合創始人、算法科學家蕭子豪在受訪時說，而在探尋這一平衡點的過程中缺少易用和標準化的工具。換言之，亟須在技術層面找到有力抓手，幫助人們科學評判大模型在場景中能否同時滿足規范和低風險，助力大模型上線運行。

據知，相較上一版本，RealSafe3.0新增了對通用大模型的評測。該平臺覆蓋數據安全、認知任務、通用模型特有漏洞、濫用場景等近70個評測維度，可以全方位、多維度地評測通用大模型的性能，未來還會持續擴增測評維度的數量。

蕭子豪介紹說，RealSafe3.0內部集成了多個自研模型和專家論證高質量數據集，來幫助用戶修復模型中的問題。例如，對黑盒不可解釋的通用大模型，自研紅隊對抗模型取代人工設計問題，顯著提升攻擊成功率和樣本多樣性。

再如，教練模型通過對被測大模型進行多輪次的“提問—回答訓練”，并以訓練好的評分模型對問答結果進行評分，再將評分結果反饋給大模型，使其不斷強化學習到好壞答案的要點及區別，直至問答能力逐步迭代至最優。

值得一提的是，瑞萊智慧科研團隊還研發出能夠防范生成式人工智能惡意濫用的DeepReal2.0，即“生成式人工智能內容檢測平臺”。該平臺支持對圖像、視頻、音頻、文本進行是否偽造的檢測，應用場景包括打擊網絡詐騙和聲譽侵害行為、檢測網絡內容合規性、檢測音視頻物證真實性等。

“我們將持續迭代技術、打磨產品，以確保在這場人工智能安全‘攻防戰’中始終立于不敗之地，將人工智能的兩面性這一‘關鍵變量’，轉化為高質量發展的‘最大增量’。”蕭子豪說。(完)