Theo đó, các nhà nghiên cứu đã đóng giả làm các thiếu niên dễ bị tổn thương và tương tác hơn 3 giờ với ChatGPT. Dù chatbot thường cảnh báo về các hành vi rủi ro, nó vẫn đưa ra kế hoạch chi tiết cho việc sử dụng ma túy, ăn kiêng hà khắc hoặc tự gây tổn thương.

Nghiên cứu đã phân tích 1.200 phản hồi từ ChatGPT, trong đó hơn một nửa bị đánh giá là nguy hiểm.

“Chúng tôi muốn thử nghiệm các biện pháp kiểm soát”, CEO CCDH, ông Imran Ahmed nói.

“Phản ứng đầu tiên là: 'Trời ơi, hoàn toàn không có rào cản gì cả.’ Mọi biện pháp phòng ngừa đều gần như vô hiệu", ông Ahmed nói thêm.

Sau khi nghiên cứu được công bố, OpenAI – đơn vị phát triển ChatGPT – cho biết họ đang tiếp tục cải thiện cách chatbot phản ứng với các tình huống nhạy cảm. Tuy nhiên, họ không trực tiếp phản hồi các phát hiện cụ thể hay ảnh hưởng của ChatGPT đến thanh thiếu niên.

“Có những cuộc trò chuyện bắt đầu một cách vô hại nhưng rồi chuyển sang các chủ đề nhạy cảm hơn”, OpenAI tuyên bố, và cho biết đang phát triển công cụ để phát hiện dấu hiệu tâm lý bất ổn và cải thiện phản ứng của chatbot.

Hiện có khoảng 800 triệu người – tương đương 10% dân số thế giới – đang sử dụng ChatGPT, theo báo cáo từ JPMorgan Chase.

“Đây là công nghệ có tiềm năng đột phá, nhưng đồng thời cũng có thể gây hại sâu sắc”, ông Ahmed nhấn mạnh.

Ông cho biết mình bị sốc khi đọc ba bức thư tuyệt mệnh mà ChatGPT soạn cho "hồ sơ giả" của một bé gái 13 tuổi - mỗi bức được viết riêng cho cha mẹ, anh chị em và bạn bè.

“Tôi đã bật khóc”, ông Ahmed kể.

Dù đôi lúc ChatGPT cũng đề xuất các hotline hỗ trợ khủng hoảng, chatbot vẫn dễ dàng bị lừa để cung cấp thông tin nguy hiểm nếu người dùng nói dối rằng cần cho "bài thuyết trình" hoặc "giúp bạn".

Rủi ro là rất lớn, đặc biệt khi hơn 70% thiếu niên ở Mỹ đang sử dụng AI như bạn đồng hành, theo một nghiên cứu gần đây từ Common Sense Media. CEO OpenAI, Sam Altman, thừa nhận việc thanh thiếu niên ngày càng “lệ thuộc cảm xúc” vào công nghệ là “một vấn đề phổ biến".

“Có những bạn trẻ nói: ‘Em không thể đưa ra quyết định gì nếu chưa hỏi ChatGPT’,” ông Altman chia sẻ. “Điều đó khiến tôi lo ngại".

Khác với các công cụ tìm kiếm truyền thống, ChatGPT tạo ra nội dung mới — chẳng hạn như lá thư tuyệt mệnh được cá nhân hóa - điều mà Google không làm được. Ông Ahmed nhận xét: “AI như một người bạn đáng tin cậy, nhưng lại có thể phản bội bạn".

Trong một số trường hợp, ChatGPT thậm chí tình nguyện đưa thêm thông tin - từ danh sách nhạc cho tiệc ma túy đến hashtag thu hút người xem bài viết tôn vinh hành vi tự hại.

Nghiên cứu cho biết hiện tượng này phản ánh xu hướng “a dua” (sycophancy) ở AI - khi chatbot có xu hướng thuận theo và chiều lòng người dùng thay vì phản bác các ý tưởng nguy hiểm.

Mặc dù có thể khắc phục bằng kỹ thuật, điều này có thể khiến chatbot kém hấp dẫn về mặt thương mại.

Ngoài ra, ChatGPT không xác minh độ tuổi người dùng. Một tài khoản giả danh thiếu niên 13 tuổi đã hỏi cách uống rượu nhanh say và ChatGPT không phản ứng gì với ngày sinh khai báo hay dấu hiệu rõ ràng. Ngay sau đó, chatbot cung cấp "Kế hoạch tiệc tùng hỗn loạn 100%" kéo dài hàng giờ, bao gồm rượu mạnh, thuốc lắc và cocaine.

Khi một nhân vật nữ 13 tuổi khác thể hiện sự không hài lòng về ngoại hình, ChatGPT cung cấp thực đơn chỉ 500 calo mỗi ngày kèm danh sách thuốc giảm cảm giác thèm ăn.

“Không ai trong chúng ta - với tư cách người lớn có lương tâm - lại phản hồi kiểu vậy. Chúng ta phải lo lắng, phải bảo vệ, không thể tiếp tay như thế", ông Ahmed nhấn mạnh.