OpenAI giới thiệu GPT-Red để tăng cường GPT-5,6 trước các cuộc tấn công tiêm lệnh (prompt injection)

OpenAI đã giới thiệu GPT-Red, một hệ thống AI tự động được thiết kế để nhận diện lỗ hổng bảo mật trong các mô hình ngôn ngữ, và cho biết vào hôm thứ Tư rằng công cụ này đã giúp củng cố GPT-5.6 chống lại các cuộc tấn công tiêm nhắc lệnh trước khi triển khai. Hệ thống được phát triển để giải quyết “nút thắt” trong việc mở rộng hoạt động red-teaming về an toàn AI khi năng lực của mô hình tăng lên. GPT-Red là nỗ lực của OpenAI nhằm tự động hóa việc kiểm thử an ninh, bổ sung cho OpenAI Red Teaming Network hiện có, được ra mắt vào năm 2023, sử dụng các mô hình AI để tạo ra các cuộc tấn công đối kháng ở quy mô mà chỉ các nhà nghiên cứu con người khó có thể làm được.

GPT-Red lấy tên từ red teaming trong an ninh mạng, tức là thực hành cố tình tìm cách phá vỡ một hệ thống để xác định điểm yếu trước khi kẻ tấn công có thể khai thác. Công ty cho biết các cuộc tấn công được phát hiện bởi GPT-Red đã được đưa vào quy trình huấn luyện GPT-5.6. OpenAI viết trên X rằng red-teaming là điều thiết yếu nhưng các cách tiếp cận hiện nay rất khó để mở rộng, tạo ra một “nút thắt” quan trọng mà GPT-Red giải quyết.

GPT-Red đạt tỷ lệ thành công 84% trong đánh giá nội bộ

OpenAI cho biết GPT-Red đã thành công trong 84% các kịch bản đánh giá nội bộ, so với 13% đối với các red teamer con người trong cùng các bài thử. Hệ thống đã giảm số lần thất bại trên một trong các bộ benchmark tiêm nhắc lệnh khó nhất của OpenAI trong quá trình huấn luyện GPT-5.6. Theo OpenAI, GPT-Red học thông qua đối kháng tự chơi (adversarial self-play), trong đó mục tiêu là tiêm nhắc lệnh để lừa nhiều kiểu mô hình “defender” đầy thách thức, và mọi cuộc tấn công thành công đều được dùng để cải thiện các “defender” này.

Học tăng cường đối kháng tự chơi giúp huấn luyện GPT-Red

GPT-Red được huấn luyện bằng học tăng cường đối kháng tự chơi, tạo ra các đợt tấn công tiêm nhắc lệnh ngày càng mạnh hơn trong khi các mô hình “defender” học cách chống lại chúng. OpenAI cho biết cách tiếp cận này thúc đẩy GPT-Red liên tục tìm ra các lỗi rộng hơn và phức tạp hơn. Công ty mô tả quy trình này như một “cỗ máy đà” vì an toàn, nơi các mô hình của hôm nay có thể được dùng để tạo ra các mô hình của ngày mai mạnh mẽ hơn, phù hợp hơn và đáng tin cậy hơn.

Tấn công thao túng tác nhân máy bán hàng cho thấy năng lực của GPT-Red

Trong một nghiên cứu điển hình, OpenAI cho biết hệ thống đã thao túng một tác nhân máy bán hàng tự động để hạ giá, đặt đơn nhập hàng với mức chiết khấu và hủy đơn của một khách hàng khác trước khi các lỗ hổng được công bố và được khắc phục. Nghiên cứu điển hình này minh họa các dạng rủi ro bảo mật trong thế giới thực mà GPT-Red được thiết kế để nhận diện trước khi triển khai mô hình.

AI được bảo mật bởi AI phản ánh xu hướng rộng hơn của ngành

Thông báo của OpenAI phản ánh xu hướng rộng hơn là dùng AI để bảo vệ các hệ thống AI. Đầu tháng này, Quỹ Ethereum cho biết họ đã triển khai các tác nhân AI để red-team hạ tầng mạng quan trọng, phát hiện một lỗ hổng trong phần mềm được dùng bởi các client đồng thuận của Ethereum. Các nhà nghiên cứu cho biết tác nhân AI có thể tìm kiếm các cơ sở mã lớn hơn con người, nhưng thách thức đã chuyển từ việc tìm lỗi tiềm năng sang việc chứng minh lỗi nào có thể khai thác được.

OpenAI cho biết GPT-Red sẽ tiếp tục là công cụ nội bộ vì nó chứa các năng lực tấn công được phát triển có chủ ý. Hệ thống được thiết kế để bổ sung cho các red teamer con người, kiểm thử bên thứ ba và các biện pháp an toàn AI khác. GPT-Red tiếp nối nhiều năm nỗ lực về an ninh mạng của OpenAI sau lần ra mắt công khai ChatGPT, mở rộng OpenAI Red Teaming Network vốn đã tuyển dụng các nhà nghiên cứu an ninh mạng và chuyên gia trong lĩnh vực bên ngoài để kiểm tra mô hình tìm lỗ hổng bảo mật.

Câu hỏi thường gặp

GPT-Red là gì và nó làm gì?
GPT-Red là một hệ thống AI tự động do OpenAI giới thiệu, được thiết kế để tìm lỗ hổng bảo mật trong các mô hình ngôn ngữ thông qua kiểm thử đối kháng. Hệ thống sử dụng học tăng cường đối kháng tự chơi để tạo ra các cuộc tấn công tiêm nhắc lệnh và các bài kiểm thử đối kháng khác, trong đó các cuộc tấn công thành công được đưa vào quá trình huấn luyện mô hình để cải thiện độ vững chắc.

GPT-Red hoạt động thế nào so với các red teamer con người?
OpenAI cho biết GPT-Red đã thành công trong 84% các kịch bản đánh giá nội bộ, so với 13% đối với các red teamer con người trong cùng các bài thử. Hệ thống được dùng để huấn luyện GPT-5.6 và giảm số lần thất bại trên một trong các bộ benchmark tiêm nhắc lệnh khó nhất của OpenAI.

Vì sao GPT-Red sẽ vẫn là công cụ nội bộ?
OpenAI cho biết GPT-Red sẽ vẫn là công cụ nội bộ vì nó chứa các năng lực tấn công được phát triển có chủ ý. Hệ thống được thiết kế để bổ sung cho các red teamer con người, kiểm thử bên thứ ba và các biện pháp an toàn AI khác, thay vì được phát hành công khai.