10 thg 11, 2025·8 phút
Ảo tưởng LLM: Chúng là gì và vì sao xảy ra
Tìm hiểu ảo tưởng LLM là gì, vì sao mô hình ngôn ngữ lớn đôi khi bịa đặt thông tin, ví dụ thực tế, rủi ro và cách thực tế để phát hiện và giảm thiểu chúng.
Tìm hiểu ảo tưởng LLM là gì, vì sao mô hình ngôn ngữ lớn đôi khi bịa đặt thông tin, ví dụ thực tế, rủi ro và cách thực tế để phát hiện và giảm thiểu chúng.
Mô hình ngôn ngữ lớn (LLM) là các hệ thống AI được huấn luyện trên bộ văn bản khổng lồ để tạo và biến đổi ngôn ngữ: trả lời câu hỏi, soạn email, tóm tắt tài liệu, viết mã, và nhiều việc khác. Chúng hiện xuất hiện trong công cụ tìm kiếm, công cụ văn phòng, chat hỗ trợ khách hàng, quy trình làm việc dành cho nhà phát triển, và thậm chí hệ thống hỗ trợ quyết định trong các lĩnh vực nhạy cảm.
Khi những mô hình này trở thành một phần của công cụ hàng ngày, độ tin cậy của chúng không còn là vấn đề lý thuyết. Khi một LLM đưa ra câu trả lời nghe có vẻ chính xác và chắc chắn nhưng thực tế sai, người dùng có xu hướng tin tưởng — đặc biệt khi nó tiết kiệm thời gian hoặc xác nhận điều họ muốn tin.
Cộng đồng AI thường gọi những phản hồi tự tin, cụ thể nhưng sai này là ảo tưởng. Thuật ngữ này nhấn mạnh hai điều:
Chính ảo giác này khiến ảo tưởng LLM trở nên rủi ro. Một đoạn hiển thị trong công cụ tìm kiếm bịa ra trích dẫn, trợ lý lập trình gợi ý API không tồn tại, hoặc chatbot y tế nêu liều dùng bịa đặt “như một sự thật” đều có thể gây hại nghiêm trọng khi người dùng hành động theo chúng.
LLM được dùng trong những ngữ cảnh mà người dùng có thể:
Tuy nhiên, không có mô hình hiện tại nào hoàn toàn chính xác hoặc luôn trung thực. Ngay cả các hệ thống hàng đầu cũng sẽ đôi khi ảo tưởng, đôi khi cho những câu hỏi đơn giản. Đây không phải là một trường hợp biên hiếm hoi, mà là hành vi cơ bản của cách mô hình sinh tạo hoạt động.
Hiểu được giới hạn đó — và thiết kế prompt, sản phẩm, chính sách xoay quanh nó — là điều cần thiết nếu chúng ta muốn sử dụng LLM an toàn và có trách nhiệm, không quá tin tưởng vào những gì chúng nói.
Ảo tưởng LLM là các đầu ra trôi chảy và tự tin nhưng sai về mặt thực tế hoặc hoàn toàn bịa đặt.
Chính xác hơn: một ảo tưởng xảy ra khi một mô hình ngôn ngữ lớn tạo nội dung không được gắn với thực tế hoặc với các nguồn mà nó lẽ ra phải dựa vào, nhưng lại trình bày như thể đó là sự thật. Mô hình không “nói dối” theo nghĩa con người; nó đang theo các mẫu trong dữ liệu và đôi khi tạo ra các chi tiết bịa đặt.
Nên phân biệt ảo tưởng với sự không chắc chắn hoặc thiếu kiến thức thông thường:
Cả hai đều xuất phát từ cùng quá trình dự đoán, nhưng ảo tưởng nguy hiểm hơn vì chúng nghe đáng tin cậy trong khi sai.
Ảo tưởng không chỉ giới hạn ở phần giải thích văn bản. Chúng có thể xuất hiện ở nhiều dạng, bao gồm:
Điều khiến ảo tưởng khó xử lý là ngôn ngữ, định dạng và cấu trúc thường trông giống đầu ra chuyên gia chất lượng cao, khiến chúng dễ bị tin nếu không kiểm tra kỹ.
LLM không “suy nghĩ” hay tra cứu sự thật. Chúng là những cỗ máy dựa trên mẫu, được huấn luyện để tiếp tục văn bản sao cho thường trông hợp lý.
Huấn luyện bắt đầu với lượng lớn văn bản: sách, bài báo, mã, website và hơn thế nữa. Mô hình không nhận nhãn như “điều này đúng” hay “điều này sai.”
Thay vào đó, nó thường xuyên thấy các câu có một phần bị ẩn và được yêu cầu đoán từ bị thiếu. Ví dụ:
"Paris is the capital of ___"
Mô hình điều chỉnh tham số bên trong sao cho dự đoán gần hơn với văn bản thực mà nó đã thấy. Việc này diễn ra hàng tỷ lần trong nhiều ngữ cảnh khác nhau. Dần dần, mô hình nắm bắt các quy luật thống kê của ngôn ngữ và thế giới như được thể hiện trong văn bản.
Về mặt kỹ thuật, mô hình dự đoán token tiếp theo (một phần của từ, một từ đầy đủ, hoặc dấu câu) dựa trên tất cả token trước đó trong cuộc hội thoại.
Ở mỗi bước, nó xuất ra một phân phối xác suất trên tất cả token có thể:
Một thuật toán giải mã sau đó lấy mẫu hoặc chọn từ phân phối này để đi đến token thực tế tiếp theo. Lặp lại quá trình này, token từng token, tạo ra câu đầy đủ và các câu trả lời dài.
Mục tiêu chính là: khớp với kiểu văn bản xuất hiện trong dữ liệu huấn luyện. Không có cơ chế riêng biệt nào mặc định để kiểm tra sự thật, đối chiếu cơ sở dữ liệu, hoặc áp dụng logic.
Vì vậy mô hình được tối ưu để tạo các phần tiếp theo có vẻ hợp lý, chứ không bảo đảm những gì nó nói là chính xác, cập nhật hay có thể kiểm chứng. Nếu dữ liệu huấn luyện thường nêu một hiểu lầm, mô hình có thể tái tạo hiểu lầm đó.
Vì LLM được huấn luyện trên tập dữ liệu khổng lồ, chúng nắm rất tốt các mẫu chung: ngữ pháp, mẫu suy luận phổ biến, câu trả lời điển hình và các liên kết giữa khái niệm.
Nhưng chúng không lưu một danh mục sự thật có thể tìm kiếm chính xác. “Kiến thức” của chúng trải rộng trong các trọng số nội bộ như xu hướng thống kê. Đó là lý do chúng có thể sinh text trôi chảy và phù hợp ngữ cảnh nhưng đôi khi lại bịa chi tiết trông đúng mà thực ra sai.
Ảo tưởng không phải lỗi ngẫu nhiên; chúng bắt nguồn trực tiếp từ cách LLM được xây dựng và huấn luyện.
Mô hình học từ các kho văn bản lớn được thu thập từ web, sách, mã và nguồn khác. Dữ liệu này có vài vấn đề:
Khi mô hình gặp câu hỏi nằm ngoài vùng dữ liệu mạnh, nó vẫn phải dự đoán văn bản, vì vậy nó sinh ra các phỏng đoán trôi chảy.
Mục tiêu huấn luyện cơ bản là:
Cho các token trước đó, dự đoán token tiếp theo có khả năng xuất hiện nhất trong phân phối huấn luyện.
Điều này tối ưu cho tính hợp lý ngôn ngữ, không phải độ chính xác thực tế. Nếu câu tiếp theo có xác suất cao nhất trong dữ liệu huấn luyện là một khẳng định tự tin nhưng sai, mô hình được “khen” khi tạo ra nó.
Kết quả là mô hình học cách phát ra văn bản nghe đúng và có vẻ được hỗ trợ, ngay cả khi nó không có căn cứ thực tế.
Trong quá trình sinh, các thuật toán giải mã ảnh hưởng đến tỉ lệ ảo tưởng:
Giải mã không thêm kiến thức; nó chỉ định lại cách khám phá phân phối xác suất hiện hữu. Bất kỳ điểm yếu nào trong phân phối đó có thể bị khuếch đại thành ảo tưởng bởi sampling thái quá.
Các mô hình hiện đại được tinh chỉnh bằng kỹ thuật như Reinforcement Learning from Human Feedback (RLHF). Người đánh giá con người khen thưởng các câu trả lời hữu ích, an toàn và lịch sự.
Điều này tạo ra áp lực mới:
Tinh chỉnh căn chỉnh cải thiện tính hữu dụng và an toàn theo nhiều cách, nhưng cũng vô tình khuyến khích phỏng đoán tự tin. Căng thẳng giữa hữu ích và thừa nhận không chắc chắn là động lực kỹ thuật cốt lõi của ảo tưởng.
Ảo tưởng LLM thường theo những mẫu dễ nhận biết. Nhận diện các mẫu này làm cho việc nghi vấn đầu ra và đặt câu hỏi tiếp theo hiệu quả hơn.
Một trong những lỗi dễ thấy là bịa đặt một cách tự tin:
Những phản hồi này thường nghe rất có thẩm quyền, khiến chúng đặc biệt nguy hiểm nếu người dùng không kiểm chứng.
LLM thường sinh ra:
/research/ hoặc /blog/), nhưng không dẫn đến đâu hoặc dẫn đến trang không liên quan.Mô hình đang đối chiếu mẫu cách trích dẫn và liên kết thường xuất hiện, chứ không kiểm tra cơ sở dữ liệu hay web trực tiếp.
Một mẫu khác là pá trộn nhiều nguồn vào một:
Thường xảy ra khi dữ liệu huấn luyện chứa nhiều câu chuyện tương tự hoặc chủ đề chồng lấp.
LLM cũng ảo tưởng về cách hoặc tại sao điều gì đó xảy ra:
Vì văn bản trôi chảy và nhất quán nội bộ, những ảo tưởng này khó nhận ra hơn so với sự thật sai đơn giản.
Mô hình lớn hơn, tốt hơn giảm tần suất ảo tưởng — nhưng chúng vẫn xảy ra, và đôi khi thuyết phục hơn. Nguyên nhân chủ yếu nằm trong cách LLM được thiết kế.
Tăng quy mô mô hình, dữ liệu và huấn luyện thường cải thiện điểm chuẩn, tính trôi chảy và độ chính xác thực tế. Nhưng mục tiêu cốt lõi vẫn là dự đoán token tiếp theo dựa trên token trước đó, không phải kiểm chứng thực tế về thế giới.
Vì vậy mô hình lớn hơn:
Những ưu điểm này có thể khiến câu trả lời sai trông rất thuyết phục. Mô hình giỏi nghe có vẻ đúng, không nhất thiết biết khi nào nó sai.
LLM nội hóa các quy luật thống kê như “cách Wikipedia viết” hoặc “một trích dẫn nghiên cứu trông thế nào.” Khi được hỏi điều mới hoặc hơi khác so với kinh nghiệm, chúng thường:
Tổng quát hoá này khiến chúng mạnh cho soạn thảo và brainstorming — nhưng cũng là nguồn ảo tưởng khi thực tế không khớp với mẫu đã học.
Hầu hết mô hình cơ bản hiệu chỉnh kém: xác suất mà chúng gán cho một câu trả lời không phản ánh đáng tin cậy việc câu trả lời đó có đúng hay không.
Một mô hình có thể chọn phần tiếp theo có xác suất cao vì nó phù hợp với cuộc hội thoại và phong cách, không phải vì có bằng chứng mạnh. Nếu không có cơ chế để nói “tôi không biết” hoặc kiểm tra bằng công cụ và dữ liệu, tự tin cao thường chỉ là “rất phù hợp với mẫu”, chứ không phải “đúng sự thật”.
Mô hình được huấn luyện trên hỗn hợp văn bản lớn và lộn xộn. Prompt của bạn có thể khác so với bất kỳ điều gì mô hình từng “thấy” trong phân phối:
Khi prompt lệch khỏi các mẫu quen thuộc, mô hình vẫn phải trả lời. Thiếu khớp chính xác, nó ứng biến dựa trên các mẫu gần nhất mà nó biết. Việc ứng biến này thường trông trôi chảy nhưng có thể hoàn toàn bịa đặt.
Tóm lại, khi mô hình cải thiện, ảo tưởng không biến mất — chúng trở nên hiếm hơn nhưng tinh tế hơn, do đó cần phát hiện và quản lý cẩn trọng hơn.
Một ảo tưởng LLM là một phản hồi có vẻ trôi chảy và tự tin nhưng sai về mặt thực tế hoặc hoàn toàn bịa đặt.
Các đặc điểm chính là:
Mô hình không “nói dối” theo nghĩa con người — nó chỉ theo các mẫu trong dữ liệu huấn luyện và đôi khi tạo ra chi tiết tưởng chừng hợp lý nhưng được bịa ra.
Ảo tưởng xuất phát trực tiếp từ cách LLM được huấn luyện và sử dụng:
Ảo tưởng khác với sai sót hay sự không chắc chắn thông thường ở cách biểu đạt:
Cả hai đều xuất phát từ cùng quá trình dự đoán, nhưng ảo tưởng rủi ro hơn vì chúng nghe đáng tin cậy trong khi không đúng.
Ảo tưởng nguy hiểm nhất khi:
Trong những lĩnh vực này, ảo tưởng có thể gây hậu quả thực tế, từ quyết định sai lầm đến vi phạm pháp lý hoặc rủi ro an toàn.
Bạn không thể loại bỏ hoàn toàn ảo tưởng, nhưng có thể giảm rủi ro bằng cách:
Các nhà phát triển có thể kết hợp nhiều chiến lược:
Không. RAG giảm đáng kể nhiều loại ảo tưởng nhưng không loại bỏ hoàn toàn.
RAG giúp bằng cách:
Tuy nhiên, mô hình vẫn có thể:
Phát hiện thường kết hợp kiểm tra tự động với đánh giá của con người:
Có. Các mô hình lớn, mới hơn thường ít xảy ra ảo tưởng hơn, nhưng vẫn xảy ra — và thường thuyết phục hơn.
Khi tăng quy mô, mô hình:
Vì chúng nghe có vẻ chuyên môn hơn, các sai sót có thể hơn. Những cải tiến giảm tần suất chứ không loại bỏ khả năng bịa đặt tự tin.
Tránh dùng LLM làm cơ sở quyết định chính khi lỗi có thể gây hại nghiêm trọng. Cụ thể, không dựa hoàn toàn vào chúng cho:
Trong những lĩnh vực này, nếu có dùng LLM thì chỉ để tạo ý tưởng, soạn thảo nháp, và luôn để chuyên gia có thẩm quyền cùng dữ liệu đã được xác minh đưa ra quyết định cuối cùng.
Kết hợp lại, những yếu tố này khiến việc phỏng đoán một cách tự tin trở thành hành vi tự nhiên, chứ không phải lỗi hiếm gặp.
Những biện pháp này không loại bỏ ảo tưởng nhưng giúp giảm tần suất, làm cho chúng dễ phát hiện hơn và ít gây hại hơn.
Do đó, RAG nên đi kèm với kiểm tra, giám sát và thông báo rõ giới hạn cho người dùng.
Không có phương pháp nào hoàn hảo; đánh giá theo lớp là hiệu quả nhất.