LLM ਹੈਲੂਸੀਨੇਸ਼ਨ ਸਪਸ਼ਟੀਕਰਣ: ਇਹ ਕੀ ਹਨ ਅਤੇ ਕਿਉਂ ਹੁੰਦੇ ਹਨ

ਹੁਣ LLM ਹੈਲੂਸੀਨੇਸ਼ਨਾਂ ਦਾ ਮਹੱਤਵ\n\nਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ (LLMs) ਉਹ AI ਸਿਸਟਮ ਹਨ ਜੋ ਭਾਸ਼ਾ ਉਤਪੰਨ ਅਤੇ ਰੂਪਾਂਤਰਣ ਲਈ ਵੱਡੇ ਟੈਕਸਟ ਸੰਗ੍ਰਹਨਾਂ 'ਤੇ ਟ੍ਰੇਨ ਕੀਤੇ ਜਾਂਦੇ ਹਨ: ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣਾ, ਈਮੇਲ ਲਿਖਣਾ, ਦਸਤਾਵੇਜ਼ਾਂ ਦਾ ਸਾਰ, ਕੋਡ ਲਿਖਣਾ ਅਤੇ ਹੋਰ। ਇਹ ਹੁਣ ਖੋਜ ਇੰਜਣਾਂ, ਦਫ਼ਤਰੀ ਉਪਕਰਨਾਂ, ਗਾਹਕ-ਸੇਵਾ ਚੈਟ, ਡਿਵੈਲਪਰ ਵਰਕਫ਼ਲੋਅਜ਼ ਅਤੇ ਸੰਵੇਦਨਸ਼ੀਲ ਖੇਤਰਾਂ ਵਿੱਚ ਸਹਾਇਤਾ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਸ਼ਾਮਿਲ ਹੋ ਰਹੇ ਹਨ।\n\nਜਿਵੇਂ-ਜਿਵੇਂ ਇਹ ਮਾਡਲ ਰੋਜ਼ਮਰਾ ਦੇ ਟੂਲਾਂ ਦਾ ਹਿੱਸਾ ਬਣਦੇ ਹਨ, ਉਨ੍ਹਾਂ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਸਿਧਾਂਤਿਕ ਚਿੰਤਾ ਨਹੀਂ ਰਹਿੰਦੀ। ਜਦੋਂ ਇੱਕ LLM ਐਸਾ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜੋ ਪੱਕਾ ਅਤੇ ਪ੍ਰਾਥਮਿਕ ਲੱਗਦਾ ਹੈ ਪਰ ਅਸਲ ਵਿੱਚ ਗਲਤ ਹੁੰਦਾ ਹੈ, ਲੋਕ ਇਸ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਦੇ ਰੁਝਾਨ ਰੱਖਦੇ ਹਨ—ਖ਼ਾਸ ਕਰਕੇ ਜਦੋਂ ਇਹ ਸਮਾਂ ਬਚਾਉਂਦਾ ਹੋਵੇ ਜਾਂ ਉਹਨਾਂ ਦੀ ਆਸ ਨੂੰ ਪੁਸ਼ਟੀ ਕਰਦਾ ਹੋਵੇ।\n\n### "ਗਲਤ ਜਵਾਬ" ਤੋਂ "ਹੈਲੂਸੀਨੇਸ਼ਨ" ਤੱਕ\n\nAI ਸਮੁਦਾਇ ਅਕਸਰ ਇਹਨਾਂ ਬਰੁਦਾ, ਵਿਸ਼ੇਸ਼ ਪਰ ਗਲਤ ਜਵਾਬਾਂ ਨੂੰ ਹੈਲੂਸੀਨੇਸ਼ਨ ਕਹਿੰਦਾ ਹੈ। ਇਹ ਸ਼ਬਦ ਦੋ ਚੀਜ਼ਾਂ 'ਤੇ ਜ਼ੋਰ ਦਿੰਦਾ ਹੈ:\n\n- ਮਾਡਲ ਸਿਰਫ਼ ਇੱਕ ਛੋਟੀ ਭੁੱਲ ਨਹੀਂ ਕਰ ਰਿਹਾ; ਇਹ ਤੱਥ, ਸਰੋਤ ਜਾਂ ਘਟਨਾਵਾਂ ਰਚ ਸਕਦਾ ਹੈ।\n- ਆਉਟਪੁੱਟ ਅੰਦਰੋਂ ਨੂੰ ਤਰਤੀਬਵਾਰ ਅਤੇ fluent ਹੋ ਸਕਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਸਮਝਣ ਦੀ ਭ੍ਰਮ ਪੈਦਾ ਹੁੰਦੀ ਹੈ।\n\nਇਹ ਭ੍ਰਮ LLM ਹੈਲੂਸੀਨੇਸ਼ਨਾਂ ਨੂੰ ਬਹੁਤ ਖ਼ਤਰਨਾਕ ਬਣਾਉਂਦੀ ਹੈ। ਇੱਕ ਖੋਜ ਨਤੀਜੇ ਦਾ ਟੁਕੜਾ ਜੋ ਇੱਕ ਸਿਟੇਸ਼ਨ ਘੜਦਾ ਹੈ, ਇੱਕ ਕੋਡ ਸਹਾਇਕ ਜੋ ਮੌਜੂਦ ਨਾ ਰਹਿਣ ਵਾਲੀ API ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ, ਜਾਂ ਇੱਕ ਮੈਡੀਕਲ ਚੈਟਬੋਟ ਜੋ ਗੜਬੜ ਡੋਜ਼ ਦੱਸਦਾ ਹੈ—ਸਾਰੇ ਇਹ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਨੁਕਸਾਨ ਪਹੁੰਚਾ ਸਕਦੇ ਹਨ ਜੇ ਉਹ ਉਨ੍ਹਾਂ 'ਤੇ ਅਮਲ ਕਰ ਲੈਂ।\n\n### ਇਹ ਹੁਣ ਕਿਉਂ ਜ਼ਰੂਰੀ ਹੈ\n\nLLMs ਐਸੇ ਸੰਦਰਭਾਂ ਵਿੱਚ ਵਰਤੇ ਜਾ ਰਹੇ ਹਨ ਜਿੱਥੇ ਲੋਕ:\n\n- ਸਵਤੰਤਰ ਤਸਦੀਕ ਛੱਡ ਦੇ ਸਕਦੇ ਹਨ ਕਿਉਂਕਿ ਜਵਾਬ ਮਾਹਿਰ ਵਾਂਗ ਲੱਗਦਾ ਹੈ।\n- AI ਆਉਟਪੁੱਟ ਨੂੰ ਸਿੱਧਾ ਵਰਕਫਲੋਅ (ਕੋਡ, ਠੇਕੇ, ਰਿਪੋਰਟ) ਵਿੱਚ ਸ਼ਾਮਿਲ ਕਰ ਲੈਂਦੇ ਹਨ।\n- ਉਹਨਾਂ ਵਿਸ਼ਿਆਂ 'ਤੇ AI 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ ਜਿੱਥੇ ਉਹਨਾਂ ਕੋਲ ਖੁਦ ਡੋਮੇਨ ਗਿਆਨ ਨਾ ਹੋਵੇ।\n\nਫਿਰ ਵੀ, ਕੋਈ ਵੀ ਮਾਡਲ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਹੀ ਜਾਂ ਸੱਚ ਨਹੀਂ ਹੈ। ਅਜੇ ਵੀ state-of-the-art ਪ੍ਰণਾਲੀਆਂ ਹੈਲੂਸੀਨੇਟ ਕਰੇਂਗੀਆਂ, ਕਈ ਵਾਰੀ ਸਧਾਰਨ ਸਵਾਲਾਂ 'ਤੇ ਵੀ। ਇਹ ਕੋਈ ਵਿਰਲ ਐਜ ਕੇਸ ਨਹੀਂ, ਬਲਕਿ ਜਨਰੇਟਿਵ ਮਾਡਲਾਂ ਦੇ ਕੰਮ ਕਰਨ ਦੇ ਤਰੀਕੇ ਵਿੱਚ ਇੱਕ ਬੁਨਿਆਦੀ ਸੁਭਾਵ ਹੈ।\n\nਇਸ ਸੀਮਿਤੀ ਨੂੰ ਸਮਝ ਕੇ—ਅਤੇ ਪ੍ਰਾਂਪਟ, ਉਤਪਾਦ, ਅਤੇ ਨੀਤੀਆਂ ਨੂੰ ਇਸ ਦੇ ਆਸਪਾਸ ਡਿਜ਼ਾਈਨ ਕਰਕੇ—ਅਸੀਂ LLMs ਨੂੰ ਸੁਰੱਖਿਅਤ ਅਤੇ ਜ਼ਿੰਮੇਵਾਰ ਤਰੀਕੇ ਨਾਲ ਵਰਤ ਸਕਦੇ ਹਾਂ, ਬਿਨਾਂ ਇਸ 'ਤੇ ਬੇ-ਜਰੂਰ ਭਰੋਸੇ ਦੇ।\n\n## LLM ਹੈਲੂਸੀਨੇਸ਼ਨ ਕੀ ਹਨ?\n\n### ਵਰਕਿੰਗ ਪਰਿਭਾਸ਼ਾ\n\nLLM ਹੈਲੂਸੀਨੇਸ਼ਨ ਉਹ ਆਉਟਪੁੱਟ ਹਨ ਜੋ fluent ਅਤੇ ਭਰੋਸੇਯੋਗ ਲੱਗਦੇ ਹਨ, ਪਰ ਤੱਥਤਮਕ ਤੌਰ 'ਤੇ ਗਲਤ ਜਾਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਘੜੇ ਹੋਏ ਹੁੰਦੇ ਹਨ।\n\nਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ: ਇੱਕ ਹੈਲੂਸੀਨੇਸ਼ਨ ਉਸ ਵੇਲੇ ਹੁੰਦੀ ਹੈ ਜਦੋਂ ਇੱਕ ਵੱਡਾ ਭਾਸ਼ਾ ਮਾਡਲ ਐਸਾ ਸਮੱਗਰੀ ਪੈਦਾ ਕਰਦਾ ਹੈ ਜੋ ਅਸਲਤਾਂ ਵਿੱਚ ਨਹੀਂ ਜਾਂ ਉਹਨਾਂ ਸਰੋਤਾਂ ਵਿੱਚ ਨਹੀਂ ਹੈ ਜਿਨ੍ਹਾਂ 'ਤੇ ਇਹ ਨਿਰਭਰ ਹੋਣਾ ਚਾਹੀਦਾ ਸੀ, ਫਿਰ ਵੀ ਇਸਨੂੰ ਸੱਚ ਵਾਂਗ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਮਾਡਲ ਮਨੁੱਖੀ ਤਰੀਕੇ ਨਾਲ "ਝੂਠ" ਨਹੀਂ ਬੋਲ ਰਿਹਾ; ਇਹ ਡੇਟਾ ਦੇ ਪੈਟਰਨਾਂ ਦੀ ਪਾਲਣਾ ਕਰ ਰਿਹਾ ਹੈ ਅਤੇ ਕਈ ਵਾਰੀ ਉਹਨਾਂ ਤੋਂ ਐਸੇ ਵੇਰਵੇ ਨਿਕਲ ਆਉਂਦੇ ਹਨ ਜੋ ਘੜੇ ਹੋਏ ਲੱਗਦੇ ਹਨ।\n\n### ਹੈਲੂਸੀਨੇਸ਼ਨ ਅਤੇ ਆਮ ਅਣਿਸ਼ਚਿਤਤਾ ਵਿਚ ਫ਼ਰਕ\n\nਹੈਲੂਸੀਨੇਸ਼ਨ ਨੂੰ ਆਮ ਅਣਜਾਣਗੀ ਤੋਂ ਵੱਖਰਾ ਸਮਝਣਾ ਮਦਦਗਾਰ ਹੈ:\n\n- ਅਣਜਾਣਗੀ / ਅਣਿਸ਼ਚਿਤਤਾ: ਮਾਡਲ ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਹਨੂੰ ਪਤਾ ਨਹੀਂ ਹੈ, ਜਾਂ ਨਰਮ ਜਵਾਬ ਦਿੰਦਾ ਹੈ। ਉਦਾਹਰਣ: “ਮੈਨੂੰ ਯਕੀਨ ਨਹੀਂ ਹੈ,” “ਮੇਰੇ ਕੋਲ ਉਹ ਡੇਟਾ ਨਹੀਂ ਹੈ,” ਜਾਂ ਇਹ ਕਈ ਸੰਭਾਵਨਾਵਾਂ ਦਿੰਦਾ ਹੈ ਬਿਨਾਂ ਕਿਸੇ ਇਕ ਨੂੰ ਫੈਕਟ ਵਜੋਂ ਦਿਤੇ।\n- ਹੈਲੂਸੀਨੇਸ਼ਨ: ਮਾਡਲ ਇੱਕ ਖ਼ਾਸ, ਪ੍ਰਧਾਨ-ਅਵਾਜ਼ ਵਾਲਾ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜੋ ਗਲਤ ਜਾਂ ਅਸੁਪਠਾਵਾਂਯੋਗ ਹੁੰਦਾ ਹੈ, ਬਿਨਾਂ ਕਿਸੇ ਸੰਦੇਹ ਦੇ ਨਿਸ਼ਾਨ ਦੇ। ਇਹ ਖਾਲੀਆਂ ਭਰਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦਾ ਹੈ instead of ਗੈਪ ਮਨਨ ਦੇ।\n\nਦੋਹਾਂ ਇੱਕੋ prediction ਪ੍ਰਕਿਰਿਆ ਤੋਂ ਆਉਂਦੇ ਹਨ, ਪਰ ਹੈਲੂਸੀਨੇਸ਼ਨ ਖ਼ਤਰਨਾਕ ਹਨ ਕਿਉਂਕਿ ਉਹ ਭਰੋਸੇਯੋਗ ਲੱਗਦੇ ਹਨ ਜਦਕਿ ਗਲਤ ਹੁੰਦੇ ਹਨ।\n\n### ਹੈਲੂਸੀਨੇਸ਼ਨ ਕਿਸ ਤਰ੍ਹਾਂ ਦੇਖਾਈ ਦੇ ਸਕਦੀਆਂ ਹਨ\n\nਹੈਲੂਸੀਨੇਸ਼ਨ ਸਿਰਫ਼ ਸਧਾਰਨ ਪਾਠ ਵਿੱਚ ਨਹੀਂ ਹੁੰਦੀਆਂ। ਉਹ ਕਈ ਰੂਪਾਂ ਵਿੱਚ ਆ ਸਕਦੀਆਂ ਹਨ, ਜਿਵੇਂ:\n\n- ਕਥਾਕਾਰ ਟੈਕਸਟ: ਘੜੀਆਂ ਹੋਈਆਂ ਜਿੰਦਗੀਆਂ, ਕਦੇ ਹੋਈਆਂ ਘਟਨਾਵਾਂ ਜਾਂ ਗਲਤ ਤੌਰ 'ਤੇ ਉਦੋਂ-ਕਿਹਾ ਕਹਿਣਾਂ।\n- ਸਿਟੇਸ਼ਨ ਅਤੇ ਰਿਫਰੈਂਸ: ਯਥਾਰਥ-ਲੱਗਦੀਆਂ ਪਰ ਮੌਜੂਦ ਨਹੀਂ ਪੇਪਰਾਂ, URLs, ਕਾਨੂੰਨੀ ਮਾਮਲੇ ਜਾਂ ਸਟੈਂਡਰਡ।\n- ਕੋਡ: ਅਜਿਹੀਆਂ ਫੰਕਸ਼ਨਲיטי ਦੀ ਵਰਤੋਂ ਜਿਹੜੀਆਂ ਮੌਜੂਦ ਨਹੀਂ, ਗਲਤ APIs, ਜਾਂ ਕਲਾਕਲਪਿਤ ਲਾਇਬ੍ਰੇਰੀਆਂ ਤੇ ਆਧਾਰਿਤ ਕੋਡ।\n- ਡੇਟਾ ਅਤੇ ਅੰਕੜੇ: ਘੜੇ ਹੋਏ ਨੰਬਰ, ਨਕਲੀ ਟੇਬਲਾਂ, ਸੰਕੇਤਕ ਸਰਵੇ ਨਤੀਜੇ, ਜਾਂ ਬਣਾਏ ਹੋਏ ਬੈਂਚਮਾਰਕ।\n\nਹੈਲੂਸੀਨੇਸ਼ਨਾਂ ਨੂੰ ਔਖਾ ਬਣਾਉਣ ਵਾਲੀ ਗੱਲ ਇਹ ਹੈ ਕਿ ਭਾਸ਼ਾ, ਫਾਰਮੈਟਿੰਗ, ਅਤੇ ਰਚਨਾ ਅਕਸਰ ਇੱਕੋ ਜਿਹੇ ਉਚ-ਗੁਣਵੱਤਾ ਵਿਸ਼ੇਸ਼ਗਿਆਨ ਵਾਲੇ ਆਉਟਪੁੱਟ ਵਾਂਗ ਲੱਗਦੇ ਹਨ, ਇਸ ਲਈ ਜੇ ਤੱਕ ਤੁਸੀਂ ਧਿਆਨ ਨਾਲ ਜਾਂਚ ਨਹੀਂ ਕਰਦੇ, ਇਹਨਾਂ 'ਤੇ ਭਰੋਸਾ ਕਰਨਾ ਆਸਾਨ ਹੋ ਸਕਦਾ ਹੈ।\n\n## LLM ਗੈਰ-ਸੱਚਾਈ ਨਾਲ ਪੇਦਾ ਕਰਦੀਆਂ ਹਨ\n\nਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ "ਸੋਚਦੇ" ਨਹੀਂ ਜਾਂ ਤੱਥ ਖੋਜਦੇ ਨਹੀਂ। ਉਹ ਪੈਟਰਨ ਮਸ਼ੀਨਾਂ ਹਨ ਜੋ ਟੈਕਸਟ ਨੂੰ ਐਸਾ ਜਾਰੀ ਰੱਖਣ ਲਈ ਟ੍ਰੇਨ ਕੀਤੇ ਜਾਂਦੇ ਹਨ ਜੋ ਆਮ ਤੌਰ 'ਤੇ ਯਥਾਰਥਵਾਨ ਲੱਗਦਾ ਹੈ।\n\n### ਟਰੇਨਿੰਗ ਦਾ ਇੱਕ ਛੋਟਾ, ਗੈਰ-ਤਕਨੀਕੀ ਨਜ਼ਰੀਆ\n\nਟ੍ਰੇਨਿੰਗ ਉਹਨਾਂ ਵੱਡੀਆਂ ਮਾਤਰਾਂ ਦੇ ਟੈਕਸਟ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦੀ ਹੈ: ਕਿਤਾਬਾਂ, ਲੇਖ, ਕੋਡ, ਵੈੱਬਸਾਈਟਸ ਅਤੇ ਹੋਰ। ਮਾਡਲ ਨੂੰ ਇਹ ਸਿਖਾਇਆ ਨਹੀਂ ਜਾਂਦਾ ਕਿ "ਇਹ ਸੱਚ ਹੈ" ਜਾਂ "ਇਹ ਗਲਤ ਹੈ"।\n\nਇਸ ਦੀ ਬਜਾਏ, ਇਹ ਵਾਰ-ਵਾਰ ਵਾਕਾਂ ਨੂੰ ਇਕ ਛੋਟਾ ਹਿੱਸਾ ਲੁਕਾ ਕੇ ਵੇਖਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਗੁੱਸਾ ਲਗਾਉਣ ਲਈ ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਉਦਾਹਰਣ ਲਈ:\n\n> "ਪੈਰਿਸ ___ ਦਾ ਰਾਜਧਾਨੀ ਹੈ"\n\nਮਾਡਲ ਆਪਣੇ ਅੰਦਰਲੀ ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਢਾਲਦਾ ਹੈ ਕਿ ਉਸਦੇ ਅੰਦਾਜ਼ੇ ਅਸਲ ਟੈਕਸਟ ਦੇ ਨਜ਼ਦੀਕ ਆ ਜਾਣ। ਇਹ ਪ੍ਰਕਿਰਿਆ ਬਿਲੀਅਨਜ਼ ਵਾਰੀ ਹੋਣਦੀ ਹੈ ਅਤੇ ਵੱਖ-ਵੱਖ ਸੰਦਰਭਾਂ 'ਚ ਦੋਹਰਾਈ ਜਾਂਦੀ ਹੈ। ਸਮੇਂ ਨਾਲ, ਮਾਡਲ ਭਾਸ਼ਾ ਅਤੇ ਦੁਨੀਆ ਦੇ सांਖੇਤਿਕ ਰੁਝਾਨਾਂ ਨੂੰ ਅੰਦਰ ਰੱਖ ਲੈਂਦਾ ਹੈ।\n\n### Next-token prediction ਅਤੇ probability distributions\n\nਟੈਕਨੀਕੀ ਰੂਪ ਵਿੱਚ, ਮਾਡਲ ਹਰ ਕਦਮ 'ਤੇ ਅਗਲਾ ਟੋਕਨ (ਸ਼ਬਦ ਦਾ ਹਿੱਸਾ, ਪੂਰਾ ਸ਼ਬਦ, ਜਾਂ ਵਿਚਹਰ) ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਦਾ ਹੈ ਜੋ ਪਹਿਲਾਂ ਆਏ ਟੋਕਨ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ।\n\nਹਰ ਕਦਮ ਲਈ, ਇਹ ਸਾਰੇ ਸੰਭਵ ਅਗਲੇ ਟੋਕਨਾਂ 'ਤੇ ਇੱਕ ਸੰਭਾਵਨਾ ਵੰਡ ਮੁਹੱਈਆ ਕਰਦਾ ਹੈ:\n\n- "Paris" ਨੂੰ 0.82 ਮਿਲ ਸਕਦਾ ਹੈ\n- "London" 0.05\n- "city" 0.03\n- ਆਦਿ\n\nਫਿਰ ਇੱਕ ਡੀਕੋਡਿੰਗ ਅਲਗੋਰਿਦਮ ਇਸ ਵੰਡ ਵਿੱਚੋਂ ਨਮੂਨਾ ਲੈਂਦਾ ਜਾਂ ਸਭ ਤੋਂ ਮੌਜੂਦਾ ਚੁਣਦਾ ਹੈ ਤਾਂ ਜੋ ਅਗਲਾ ਟੋਕਨ ਚੁਣਿਆ ਜਾਵੇ। ਇਸ ਤਰ੍ਹਾਂ, ਟੋਕਨ-ਦਰ-ਟੋਕਨ ਦੁਹਰਾਈ ਨਾਲ ਪੂਰੇ ਵਾਕ ਅਤੇ ਲੰਬੇ ਜਵਾਬ ਬਣਦੇ ਹਨ।\n\n### ਪਲਾਜ਼ੀਬਲਿਟੀ ਲਈ optimize ਕੀਤਾ ਗਿਆ, ਸੱਚ ਲਈ ਨਹੀਂ\n\nਮੁੱਖ ਉਦੇਸ਼ ਇਹ ਹੈ: ਟ੍ਰੇਨਿੰਗ ਵਿੱਚ ਦੇਖੇ ਗਏ ਕਿਸਮ ਦੇ ਟੈਕਸਟ ਨੂੰ ਮਿਲਣਾ। ਮੁੱਖ ਤੌਰ 'ਤੇ ਕੋਈ ਵੱਖਰਾ ਉਪਕਰਨ ਨਹੀਂ ਹੁੰਦਾ ਜੋ ਤੱਥਾਂ ਦੀ ਜਾਂਚ ਕਰੇ, ਕਿਸੇ ਡੇਟਾਬੇਸ ਨਾਲ ਤਲਾਸ਼ ਕਰੇ, ਜਾਂ ਲਾਜ਼ਮ ਲਾਗੂ ਕਰੇ।\n\nਇਸ ਲਈ ਮਾਡਲ ਪਲਾਜ਼ੀਬਲ-ਲੱਗਣ ਵਾਲੀਆਂ ਪੂਰਕਾਂ ਪੈਦਾ ਕਰਨ ਲਈ optimize ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਨਾ ਕਿ ਇਹ ਗਾਰੰਟੀ ਕਰਨ ਲਈ ਕਿ ਜੋ ਇਹ ਕਹਿੰਦਾ ਹੈ ਉਹ ਸਹੀ, ਅਪ-ਟੂ-ਡੇਟ ਜਾਂ ਪ੍ਰਮਾਣਿਤ ਹੈ। ਜੇ ਟ੍ਰੇਨਿੰਗ ਡੇਟਾ ਵਿੱਚ ਅਕਸਰ ਕੋਈ ਗਲਤਫ਼ਹਮੀ ਦਰਜ ਹੋਈ ਹੋਵੇ, ਤਾਂ ਉਹ ਗਲਤਫ਼ਹਮੀ ਮੁੜ ਸਕਦੀ ਹੈ।\n\n### ਸਕੇਲ, ਪੈਟਰਨ ਅਤੇ “ਜਾਣਕਾਰੀ” ਦੀਆਂ ਸੀਮਾਵਾਂ\n\nਕਿਉਂਕਿ LLMs ਨੂੰ ਵਿਸ਼ਾਲ ਡੇਟਾਸੈਟਸ 'ਤੇ ਟ੍ਰੇਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਉਹ ਅਮੂਮਨ ਪੈਟਰਨਾਂ ਬਹੁਤ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਮਝ ਲੈਂਦੇ ਹਨ: ਵਿਆਕਰਨ, ਆਮ ਤਰਕ-ਟੈਮਪਲੇਟ, ਆਮ ਉੱਤਰ, ਅਤੇ ਸੰਕਲਪਾਂ ਵਿਚਕਾਰ ਐਸੋਸਿਏਸ਼ਨ।\n\nਪਰ ਉਹ ਇਕ ਸਹੀ, ਖੋਜਯੋਗ ਤੱਥਾਂ ਦੀ ਸੂਚੀ ਸਟੋਰ ਨਹੀਂ ਕਰਦੇ। ਉਨ੍ਹਾਂ ਦੀ "ਨੌਲੇਜ਼" ਇੰਟਰਨਲ ਵਜ਼ਨਾਂ 'ਚ ਸਪਤ ਹੋਈ ਹੁੰਦੀ ਹੈ। ਇਸੀ ਲਈ ਉਹ fluent, ਸੰਦਰਭ-ਸਬੰਧੀ ਲਿਖਤ ਬਣਾਉਂਦੇ ਹੋਏ ਵੀ ਕਈ ਵਾਰੀ ਐਸੇ ਵੇਰਵਿਆਂ ਨੂੰ ਘੜ ਸਕਦੇ ਹਨ ਜੋ ਦਿਖਦੇ ਤਾਂ ਠੀਕ ਹਨ ਪਰ ਗਲਤ ਹੁੰਦੇ ਹਨ।\n\n## ਹੈਲੂਸੀਨੇਸ਼ਨਾਂ ਦੇ ਮੁੱਖ ਤਕਨੀਕੀ ਕਾਰਨ\n\nਹੈਲੂਸੀਨੇਸ਼ਨ random ਗਲਤੀਆਂ ਨਹੀਂ ਹਨ; ਉਹ ਸਿੱਧਾ ਹੀ LLMs ਦੀ ਬਣਤਰ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਤੋਂ ਨਿਕਲਦੀਆਂ ਹਨ।\n\n### 1. ਟ੍ਰੇਨਿੰਗ ਡੇਟਾ ਵਿੱਚ ਖ਼ਾਲੀਆਂ, ਸ਼ੋਰ ਅਤੇ ਪੁਰਾਣਾਪਨ\n\nਮਾਡਲ ਵੱਡੇ ਟੈਕਸਟ ਕਾਰਪਸ ਤੋਂ ਸਿੱਖਦੇ ਹਨ ਜੋ ਵੈੱਬ, ਕਿਤਾਬਾਂ, ਕੋਡ ਅਤੇ ਹੋਰ ਸਰੋਤਾਂ ਤੋਂ scraped ਹੁੰਦੇ ਹਨ। ਇਸ ਡੇਟਾ ਵਿੱਚ ਕੁਝ ਮੁੱਦੇ ਹੁੰਦੇ ਹਨ:\n\n- ਖ਼ਾਲੀਆਂ: ਕਈ ਵਿਸ਼ੇ underrepresented ਹੁੰਦੇ ਹਨ (ਨਿੱਛੇ ਡੋਮੇਨ, ਗੈਰ-ਅੰਗ੍ਰੇਜ਼ੀ ਸਰੋਤ, ਪ੍ਰਾਪਰਾਈਟਰੀ ਗਿਆਨ)। ਜਦੋਂ ਤੁਸੀਂ ਇਨ੍ਹਾਂ ਬਾਰੇ ਪੁੱਛਦੇ ਹੋ, ਮਾਡਲ ਕਮਜ਼ੋਰ ਸਿਗਨਲ ਤੋਂ ਇੰਟਰਪੋਲੇਟ ਕਰਦਾ ਹੈ ਅਤੇ ਘੜਣਾ ਵੱਧ ਹੁੰਦਾ ਹੈ।\n- ਸ਼ੋਰ ਅਤੇ ਗਲਤੀਆਂ: ਟ੍ਰੇਨਿੰਗ ਸੈੱਟ ਵਿੱਚ ਸਪੈਮ, outdated ਬਲੌਗ, ਗਲਤ ਫੋਰਮ ਉੱਤਰ ਅਤੇ ਟਕਰਾਅ ਵਾਲੀਆਂ ਦਾਵਾਂ ਹੁੰਦੀਆਂ ਹਨ। ਮਾਡਲ ਉਹਨਾਂ ਗੱਲਾਂ ਦੇ ਪੈਟਰਨਾਂ ਤੋਂ ਵੀ ਸਿੱਖਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਗਲਤ ਦਾਅਵੇ ਵੀ ਸ਼ਾਮਲ ਹਨ।\n- ਪੁਰਾਣੀ ਜਾਣਕਾਰੀ: ਟ੍ਰੇਨਿੰਗ ਦੌਰਾਂ ਇੱਕ ਨਿਸ਼ਚਿਤ ਸਮੇਂ 'ਤੇ ਫ੍ਰੋਜ਼ਨ ਹੋ ਜਾਂਦੀਆਂ ਹਨ। ਜਿਹੜੀ ਵੀ ਜਾਣਕਾਰੀ ਉਸ ਤੋਂ ਬਾਅਦ ਬਦਲਦੀ ਹੈ (ਨਿਯਮ, ਕੰਪਨੀ ਵੇਰਵੇ, ਰਿਸਰਚ ਨਤੀਜੇ), ਮਾਡਲ ਪੁਰਾਣੇ ਪੈਟਰਨਾਂ ਤੋਂ ਅਨੁਮਾਨ ਲਗਾਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਅਪ-ਟੂ-ਡੇਟ ਜਾਣਕਾਰੀ ਨੂੰ ਮੌਜੂਦਾ ਤੱਥ ਵਜੋਂ ਪੇਸ਼ ਕਰ ਸਕਦਾ ਹੈ।\n\nਜਦੋਂ ਮਾਡਲ ਕਿਸੇ ਐਸੇ ਸਵਾਲ ਦਾ ਸਾਹਮਣਾ ਕਰਦਾ ਹੈ ਜੋ ਉਸਦੇ ਮਜ਼ਬੂਤ ਡੇਟਾ ਖੇਤਰਾਂ ਤੋਂ ਬਾਹਰ ਹੈ, ਇਹ ਫਿਰ ਵੀ fluent ਅਨੁਮਾਨ ਦੇਵੇਗਾ।\n\n### 2. ਉਦੇਸ਼ ਦਾ ਅਣਮਿਲਾਪ: likelihood ਵਿਰੁੱਧ truth\n\nਬੇਸ ਟ੍ਰੇਨਿੰਗ ਉਦੇਸ਼ ਇਹ ਹੈ: \n\n> ਦਿੱਤੇ ਗਏ ਪਿਛਲੇ ਟੋਕਨਾਂ ਦੇ ਆਧਾਰ 'ਤੇ, training distribution ਵਿੱਚ ਸਭ ਤੋਂ ਸੰਭਾਵਤ ਅਗਲਾ ਟੋਕਨ ਭਵਿੱਖਬਾਣੀ ਕਰੋ।\n\nਇਹ ਭਾਸ਼ਾਈ ਪਲਾਜ਼ੀਬਲਿਟੀ ਲਈ optimize ਕਰਦਾ ਹੈ, ਨਾ ਕਿ ਤੱਥ ਦੀ ਸਹੀਤਾ ਲਈ। ਜੇ ٹ੍ਰੇਨਿੰਗ ਡੇਟਾ ਵਿੱਚ ਸਭ ਤੋਂ ਸੰਭਾਵਤ ਅਗਲਾ ਵਾਕ ਇੱਕ ਨਿਸ਼ਚਿਤ ਪਰ ਗਲਤ ਬਿਆਨ ਹੈ, ਤਾਂ ਮਾਡਲ ਨੂੰ ਉਸਨੂੰ ਪੈਦਾ ਕਰਨ 'ਤੇ ਇਨਾਮ ਮਿਲਦਾ ਹੈ।\n\nਇਸ ਲਈ, ਮਾਡਲ ਉਹ ਲਿਖਤ ਜਾਰੀ ਕਰਨਾ ਸਿੱਖ ਲੈਂਦਾ ਹੈ ਜੋ ਸੱਚਾਈ ਜਿਹਾ ਲੱਗਦਾ ਹੈ, ਭਾਵੇਂ ਇਸਦਾ ਕੋਈ ਬੁਨਿਆਦੀ ਆਧਾਰ ਨਾ ਹੋਵੇ।\n\n### 3. ਡੀਕੋਡਿੰਗ ਨੀਤੀਆਂ ਅਤੇ ਸਮਪਲਿੰਗ ਪ੍ਰਭਾਵ\n\nਜਨਰੇਸ਼ਨ ਦੌਰਾਨ, ਡੀਕੋਡਿੰਗ ਅਲਗੋਰਿਦਮ ਹੈਲੂਸੀਨੇਸ਼ਨ ਦੀ ਦਰ 'ਤੇ ਅਸਰ ਪਾਂਦੀਆਂ ਹਨ:\n\n- Greedy decoding ਹਰ ਕਦਮ 'ਤੇ ਸਭ ਤੋਂ ਵੱਧ ਸੰਭਾਵਨਾ ਵਾਲਾ ਟੋਕਨ ਚੁਣਦਾ ਹੈ। ਇਹ randomness ਘਟਾ ਸਕਦਾ ਹੈ ਪਰ ਪਹਿਲੀਆਂ ਗਲਤੀਆਂ ਨੂੰ ਲੌਕ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਆਤਮ-ਵਿਸ਼ਵਾਸ ਵਾਲੀਆਂ ਦੁਹਰਾਈਆਂ ਗਲਤੀਆਂ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ।\n- Temperature sampling probability ਨੂੰ scale ਕਰਦਾ ਹੈ ਤਾਂ ਜੋ ਆਉਟਪੁੱਟ ਹੋਰ ਜ਼ਿਆਦਾ ਜਾਂ ਘੱਟ ਰੈਂਡਮ ਹੋ ਜਾਵੇ। ਉੱਚ temperature ਰਚਨਾਤਮਿਕਤਾ ਵਧਾਉਂਦਾ ਹੈ ਪਰ factual drift ਦਾ ਖ਼ਤਰਾ ਵੀ ਵਧਦਾ ਹੈ।\n- Top-k / nucleus (top-p) sampling ਉਮੀਦਵਾਰ ਟੋਕਨਾਂ ਦੇ ਉਪਸੈੱਟ ਨੂੰ ਸੀਮਤ ਕਰਦਾ ਹੈ। ਖ਼ਰਾਬ ਟਿਊਨਿੰਗ ਮਾਡਲ ਨੂੰ ਬਹੁਤ deterministic (ਤੇ ਉੱਤਰ ਜੋ canned ਪਰ ਗਲਤ ਹੋ) ਜਾਂ ਬਹੁਤ stochastic (ਅਜਿਹੇ ਵੇਰਵੇ ਘੜਨਾ) ਕਰ ਸਕਦੀ ਹੈ।\n\nਡੀਕੋਡਿੰਗ ਕਦੇ ਵੀ ਗਿਆਨ ਜੋੜਦੀ ਨਹੀਂ; ਇਹ ਕੇਵਲ ਮੌਜੂਦਾ probability distribution ਨੂੰ ਖੋਜਣ ਦਾ ਢੰਗ ਬਦਲਦੀ ਹੈ। ਕਿਸੇ ਵੀ ਕਮਜ਼ੋਰੀ ਨੂੰ aggressive sampling ਹੋਰ ਹੈਲੂਸੀਨੇਸ਼ਨ ਵਿੱਚ ਤਬਦੀਲ ਕਰ ਸਕਦਾ ਹੈ।\n\n### 4. Alignment ਅਤੇ RLHF ਦੇ ਸਾਈਡ-ਇਫੈਕਟ\n\nਆਧੁਨਿਕ ਮਾਡਲ RLHF ਵਰਗੀਆਂ ਤਕਨੀਕਾਂ ਨਾਲ fine-tune ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਰੇਟਿੰਗ ਕਰਨ ਵਾਲੇ ਮਨੁੱਖ ਉੱਤਰਾਂ ਨੂੰ ਉਹਨਾਂ ਦੀ ਮਦਦਗਾਰਤਾ, ਸੁਰੱਖਿਆ ਅਤੇ ਨਮਰਤਾ ਦੇ ਆਧਾਰ 'ਤੇ ਇਨਾਮ ਦਿੰਦੇ ਹਨ।\n\nਇਸ ਨਾਲ ਨਵੇਂ ਦਬਾਅ ਉਤਪੰਨ ਹੁੰਦੇ ਹਨ:\n\n- ਜਵਾਬ ਦੇਣ ਦਾ ਦਬਾਅ: ਮਨੁੱਖੀ ਰੇਟਿੰਗਕਾਰ ਅਕਸਰ ਇੱਕ ਪੂਰਾ, ਮਦਦਗਾਰ ਜਵਾਬ ਨੂੰ ਇੱਕ ਇਮਾਨਦਾਰ "ਮੈਨੂੰ ਪਤਾ ਨਹੀਂ" ਉੱਤਰ ਉਤੇ ਤਰਜੀਹ ਦਿੰਦੇ ਹਨ। ਕਈ training steps ਦੇ ਬਾਅਦ, ਮਾਡਲ ਸਿੱਖ ਜਾਂਦਾ ਹੈ ਕਿ ਵਿਸ਼ਵਾਸੀ ਤਰੀਕੇ ਨਾਲ ਕੁਝ ਕਹਿਣਾ ਆਮ ਤੌਰ 'ਤੇ ਬਿਹਤਰ ਹੁੰਦਾ ਹੈ।\n- ਸਟਾਈਲ ਉਪਰ ਜ਼ੋਰ, ਜਾਂ epistemics 'ਤੇ ਘੱਟ: RLHF ਸੁਲੇਖਨ ਅਤੇ ਫਾਰਮੈਟ 'ਤੇ ਬਹੁਤ ਪ੍ਰਭਾਵ ਰੱਖਦਾ ਹੈ (ਸਪੱਠ ਵਿਆਖਿਆਵਾਂ, ਕਦਮ-ਦਰ-ਕਦਮ ਤਰਕ) ਪਰ ਸੱਚਾਈ ਨੂੰ ਸਿਧਾ ਤੌਰ 'ਤੇ ਬਹੁਤ ਘੱਟ ਹੀ ਸੰਵਾਰਦਾ ਹੈ। ਮਾਡਲ reasoning ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਬਹੁਤ ਚੰਗਾ ਕਰ ਲੈਂਦਾ ਹੈ, ਭਾਵੇਂ ਅੰਦਰੂਨੀ ਸਮੱਗਰੀ ਅਨੁਮਾਨੀ ਹੋਵੇ।\n\nਅਲਾਈਨਮੈਂਟ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਉਪਯੋਗਿਤਾ ਅਤੇ ਸੁਰੱਖਿਆ ਵਿੱਚ ਕਾਫ਼ੀ ਸੁਧਾਰ ਲਿਆਉਂਦੀ ਹੈ, ਪਰ ਇਹ ਅਣਜਾਣੇ ਤੌਰ 'ਤੇ ਭਰੋਸੇਯੋਗ ਅਨੁਮਾਨ ਨੂੰ ਪ੍ਰੋਤਸਾਹਿਤ ਵੀ ਕਰ ਸਕਦੀ ਹੈ। ਮਦਦਗਾਰਤਾ ਅਤੇ ਠੀਕ-ਮਾਤਰਾ-ਵਿਸ਼ਵਾਸ ('calibrated uncertainty') ਦੇ ਵਿਚਕਾਰ ਇਹ ਦਬਾਅ ਹੈਲੂਸੀਨੇਸ਼ਨਾਂ ਦਾ ਇੱਕ ਮੁੱਖ ਤਕਨੀਕੀ ਕਾਰਨ ਹੈ।\n\n## ਆਮ ਪੈਟਰਨ ਅਤੇ LLM ਹੈਲੂਸੀਨੇਸ਼ਨਾਂ ਦੀਆਂ ਕਿਸਮਾਂ\n\nLLM ਹੈਲੂਸੀਨੇਸ਼ਨ ਆਮ ਤੌਰ 'ਤੇ ਪਛਾਣਯੋਗ ਪੈਟਰਨਾਂ ਦਾ ਪਾਲਣ ਕਰਦੀਆਂ ਹਨ। ਇਹਨਾਂ ਪੈਟਰਨਾਂ ਨੂੰ ਸਿੱਖ ਕੇ ਤੁਸੀਂ ਆਉਟਪੁੱਟ ਨੂੰ ਸ਼ੱਕ ਕਰਨ ਅਤੇ ਬਿਹਤਰ ਫਾਲੋ-ਅਪ ਪ੍ਰਸ਼ਨ ਪੁੱਛਣ ਵੱਲ ਜਾ ਸਕਦੇ ਹੋ।\n\n### 1. ਘੜੇ ਹੋਏ ਤੱਥ, ਕੋਟਸ, ਸਰੋਤ ਅਤੇ ਅੰਕੜੇ\n\nਇੱਕ ਬਹੁਤ ਹੀ ਦਿੱਖਣ ਵਾਲੀ ਫੇਲਯੂਰ ਮੋਡ ਭਰੋਸੇਯੋਗ ਘੜਤਾਂ ਹੈ:\n\n- ਤੱਥ: ਮਾਡਲ ਅਜਿਹੇ ਤਰੀਕੇ ਨਾਲ ਤਾਰੀਖਾਂ, ਨਾਮਾਂ, ਜਾਂ ਪਰਿਭਾਸ਼ਾਵਾਂ ਬਣਾਉਂਦਾ ਹੈ ਜੋ ਯਥਾਰਥ-ਲੱਗਦੀਆਂ ਪਰ ਅਸਲ ਵਿੱਚ ਮੌਜੂਦ ਨਹੀਂ।\n- ਕੋਟਸ: ਇਹ ਮਸ਼ਹੂਰ ਵਿਅਕਤੀਆਂ ਨੂੰ polished ਪੰਜਾਬੀ ਵਿਚ quote ਕਰ ਸਕਦਾ/ਸਕਦੀ ਹੈ ਬਿਨਾਂ ਕਿਸੇ ਪ੍ਰਮਾਣਿਕ ਸਰੋਤ ਦੇ।\n- ਅੰਕੜੇ: ਨਿਗਰਾਨ-ਲੱਗਣ ਵਾਲੇ ਨੰਬਰ (ਪ੍ਰਤੀਸ਼ਤ, ਸੈਂਪਲ-ਸਾਈਜ਼, ਮਾਰਜਿਨ ਆਫ਼ ਏਰਰ) ਉਤਪੰਨ ਕਰਦਾ ਹੈ ਜੋ ਨਾ ਤਾਂ ਉਲਾੜੇ ਜਾਂ ਪੁਨਰਉਤਪਾਦਿਤ ਹੋ ਸਕਦੇ ਹਨ।\n- ਸਰੋਤ: "ਸਟਡੀਜ", "ਰਿਪੋਰਟਾਂ" ਜਾਂ "ਸਰਵੇ" ਦਾ ਜ਼ਿਕਰ ਕਰਦਾ ਹੈ ਬਿਨਾਂ ਟ੍ਰੇਸ ਕਰਨਯੋਗ ਵੇਰਵੇ ਦਿੱਤੇ।\n\nਇਹ ਜਵਾਬ ਅਕਸਰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਲੱਗਦੇ ਹਨ, ਜਿਸ ਕਰਕੇ ਯੂਜ਼ਰ ਜੇ ਚੈੱਕ ਨਾ ਕਰੇ ਤਾਂ ਨੁਕਸਾਨ ਹੋ ਸਕਦਾ ਹੈ।\n\n### 2. ਘੜੇ ਹੋਏ ਰਿਫਰੈਂਸ ਅਤੇ ਨਕਲੀ URLs\n\nLLMs ਅਕਸਰ ਬਣਾਉਂਦੇ ਹਨ:\n\n- ਅਜੇਹੇ ਪੇਪਰ ਜਾਂ ਕਿਤਾਬਾਂ ਜੋ ਮੌਜੂਦ ਨਹੀਂ ਹੁੰਦੀਆਂ ਪਰ ਸਿਰਲੇਖ, ਸਮਭਾਵਿਤ ਨਾਲ-ਲੇਖਕ ਅਤੇ ਪਛਾਣਪਤਰ ਤੋਂ ਯਥਾਰਥ-ਲੱਗਦੀਆਂ ਹੁੰਦੀਆਂ ਹਨ।\n- ਨਕਲੀ URLs ਜੋ ਢਾਂਚੇ ਵਿੱਚ ਸਹੀ ਲੱਗਦੇ ਹਨ (ਜਿਵੇਂ /research/ ਜਾਂ /blog/ paths) ਪਰ ਕਿਸੇ ਵੀ ਵਾਸਤਵਿਕ ਪੰਨੇ ਵੱਲ ਨਹੀਂ ਲੈ ਜਾਂਦੇ।\n\nਮਾਡਲ ਸਿਟੇਸ਼ਨ ਅਤੇ ਲਿੰਕਾਂ ਦੇ ਬਣਤਰ ਤੋਂ ਪੈਟਰਨ-ਮੈਚ ਕਰ ਰਿਹਾ ਹੁੰਦਾ ਹੈ, ਨਾ ਕਿ ਕਿਸੇ ਡੇਟਾਬੇਸ ਜਾਂ ਲਾਈਵ ਵੈੱਬ ਨੂੰ ਚੈੱਕ ਕਰਕੇ।\n\n### 3. ਗਲਤ attribution, ਸਰੋਤਾਂ ਦਾ ਮਿਲਾਓ ਅਤੇ ਗਲਤ ਟਾਈਮਲਾਈਨ\n\nਇਕ ਹੋਰ ਪੈਟਰਨ ਹੈ ਕਈ ਸਰੋਤਾਂ ਨੂੰ ਇਕਿੱਠਾ ਕਰਕੇ ਫਲੈੱਟ ਕਰ ਦੇਣਾ:\n\n- ਦੋ ਵੱਖ-ਵੱਖ ਅਧਿਐਨ ਨੂੰ ਇੱਕ ਕੱਲਪਨਿਕ ਅਧਿਐਨ ਵਿੱਚ ਮਿਕਸ ਕਰਨਾ।\n- ਕਿਸੇ ਖੋਜ ਦੀ ਖੋਜਕ ਨੂੰ ਗਲਤ ਵਿਅਕਤੀ ਜਾਂ ਸੰਗਠਨ ਨੂੰ ਦੇਖਾਉਣਾ।\n- ਘਟਨਾਵਾਂ ਨੂੰ ਸਮੇਂ 'ਚ ਗਲਤ ਢੰਗ ਨਾਲ ਰੱਖਣਾ, ਜਿਵੇਂ ਇਕ ਉਪਕਰਣ ਦੀ ਖੋਜ ਨੂੰ ਗਲਤ ਦਹਾਕੇ 'ਚ ਰੱਖਣਾ ਜਾਂ ਕਾਰਨ ਅਤੇ ਪ੍ਰਭਾਵ ਨੂੰ ਉਲਟਣਾ।\n\nਇਹ ਅਕਸਰ ਤਦੋਂ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਟ੍ਰੇਨਿੰਗ ਡੇਟਾ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਮਿਲਦੇ-ਜੁਲਦੇ ਕਹਾਣੀਆਂ ਜਾਂ ਓਵਰਲੈਪਿੰਗ ਵਿਸ਼ਿਆਂ ਹੁੰਦੇ ਹਨ।\n\n### 4. ਘੜੇ ਹੋਏ ਤਰਕ ਕਦਮ ਅਤੇ ਗਲਤ ਕਾਰਨਾਤਮਕ ਚੇਨ\n\nLLMs ਇਹ ਵੀ ਘੜਦੇ ਹਨ ਕਿ ਕਿਸ ਤਰ੍ਹਾਂ ਜਾਂ ਕਿਉਂ ਕੋਈ ਘਟਨਾ ਵਾਪਰਦੀ ਹੈ:

• ਇੱਕ ਤਰਕ-ਕੈਡਮ ਸੀਰੀਜ਼ ਪੇਸ਼ ਕਰਦੇ ਹਨ ਜਿੱਥੇ ਦਰਮਿਆਨੀ ਕਦਮ ਸੁਤਲੀ-ਪੈਮਾਨੇ 'ਤੇ ਗਲਤ ਹੁੰਦੇ ਹਨ।
• ਨਤੀਜਿਆਂ ਨੂੰ ਸਾਫ-ਸੁਥਰੇ ਪਰ ਗਲਤ ਕਾਰਨਾਤਮਕ ਕਹਾਣੀਆਂ ਨਾਲ ਸਮਝਾਉਂਦੇ ਹਨ।
• ਵਿਸਤ੍ਰਿਤ ਦਰਜ਼ੀਬੰਦੀ ਜਾਂ ਪ੍ਰਮਾਣਾਂ ਪੇਦਾ ਕਰਦੇ ਹਨ ਜੋ ਇੱਕ ਨਜ਼ਰ 'ਤੇ ਸਹੀ ਲੱਗਦੇ ਹਨ ਪਰ ਅੰਦਰੋਂ ਪਿਛਲੇ ਤਰਕ ਵਿੱਚ ਗਲਤੀਆਂ ਹੁੰਦੀਆਂ ਹਨ।

ਕਿਉਂਕਿ ਟੈਕਸਟ fluent ਅਤੇ ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ consistent ਹੁੰਦਾ ਹੈ, ਇਹ ਤਰਕ-ਹੈਲੂਸੀਨੇਸ਼ਨ ਸਧਾਰਨ ਗਲਤ ਤੱਥ ਨਾਲੋਂ ਵੱਧ ਔਖੇ ਪਛਾਣੇ ਜਾਂਦੇ ਹਨ।\n\n## ਮਾਡਲਾਂ ਵਿੱਚ ਸੁਧਾਰ ਹੋਣ ਦੇ ਬਾਵਜੂਦ ਹੈਲੂਸੀਨੇਸ਼ਨ ਕਿਉਂ ਰਹਿੰਦੇ ਹਨ\n\nਵੱਡੇ, ਬਿਹਤਰ ਮਾਡਲ ਘੱਟ ਹੈਲੂਸੀਨੇਟ ਕਰਦੇ ਹਨ—ਪਰ ਉਹ ਫਿਰ ਵੀ ਕਰਦੇ ਹਨ, ਅਤੇ ਕਈ ਵਾਰੀ ਹੋਰ ਪ੍ਰਵੀਂ ਵਿਧੀਆਂ ਵਿੱਚ। ਕਾਰਨ ਆਮ ਤੌਰ 'ਤੇ ਮਾਡਲਾਂ ਦੀ ਬਣਤਰ ਵਿੱਚ ਜੋ ਪੱਕਾ ਹੈ, ਉਹੀ ਹਨ।\n\n### ਵੱਡੇ ਮਾਡਲ = ਬਿਹਤਰ ਅਨੁਮਾਨ, ਨਾ ਕਿ ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ ਸੱਚ\n\nਮਾਡਲ ਦਾ ਆਕਾਰ, ਡੇਟਾ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਵਧਾਉਣ ਨਾਲ ਆਮ ਤੌਰ 'ਤੇ ਬੈਂਚਮਾਰਕ, fluent ਅਤੇ ਤੱਥ ਸਹੀਤਾ ਬਿਹਤਰ ਹੁੰਦੀ ਹੈ। ਪਰ ਮੁੱਖ ਉਦੇਸ਼ ਅਜੇ ਵੀ ਅਗਲਾ ਟੋਕਨ ਭਵਿੱਖਬਾਣੀ ਹੁੰਦਾ ਹੈ, ਨਾ ਕਿ ਦੁਨੀਆ ਬਾਰੇ ਸੱਚ ਦੀ ਜਾਂਚ।\n\nਇਸ ਲਈ ਵੱਡਾ ਮਾਡਲ:

• ਟ੍ਰੇਨਿੰਗ ਡੇਟਾ ਦੇ ਪੈਟਰਨਾਂ ਨੂੰ ਜ਼ਿਆਦਾ ਠੀਕ ਮਿਲਾਉਂਦਾ ਹੈ
• ਸੰਦਰਭ ਵਿੱਚ ਖਾਲੀਆਂ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਭਰਦਾ ਹੈ
• ਹੋਰ ਵਿਸਤ੍ਰਿਤ, ਸੰਗਤਿ-ਭਰਪੂਰ ਉੱਤਰ ਪੈਦਾ ਕਰਦਾ ਹੈ

ਇਹੀ ਤਾਕਤਾਂ ਉਹਨਾਂ ਨੂੰ ਇਸ ਯੋਗ ਬਣਾਉਂਦੀਆਂ ਹਨ ਕਿ ਇਹ ਭਰੋਸੇਯੋਗ ਸੁਣਵਾਈ ਕਰ ਸਕਦੇ ਹਨ—ਪਰ ਇਸ ਗੱਲ ਦੀ ਗਾਰੰਟੀ ਨਹੀਂ ਕਿ ਉਹ ਗ਼ਲਤੀਆਂ ਨੂੰ ਨਾਹ ਤੇੜ ਸਕਣ।\n\n### ਪੈਟਰਨ ਤੋਂ ਹੋਰ-ਜਿਆਦਾ ਜਨਰਲਾਈਜ਼ੇਸ਼ਨ\n\nLLMs ਐਸੇ ਪੈਟਰਨਾਂ ਨੂੰ ਅੰਦਰ ਕਰ ਲੈਂਦੇ ਹਨ ਜਿਵੇਂ “Wikipedia ਕਿਵੇਂ ਲਿਖੀ ਜਾਂਦੀ ਹੈ” ਜਾਂ “ਰਿਸਰਚ ਪੇਪਰ ਦੀ ਸਿਟੇਸ਼ਨ ਕਿਵੇਂ ਦਿਖਦੀ ਹੈ”। ਜਦੋਂ ਤੁਹਾਡਾ ਪ੍ਰਾਂਪਟ ਉਹਨਾਂ ਦੀ ਅਨੁਭਵ ਸਥਿਤੀ ਤੋਂ ਹਟ ਕੇ ਹੋਵੇ, ਉਹ ਅਕਸਰ:

• ਪੈਟਰਨਾਂ ਨੂੰ ਉਹਨਾਂ ਦੀ ਸੀਮਾਵਾਂ ਤੋਂ ਆਗੇ ਵਧਾ ਦਿੰਦੇ ਹਨ
• ਕਈ ਉਦਾਹਰਣਾਂ ਨੂੰ ਇਕ plausible ਕੰਪੋਜ਼ਟ ਵਿੱਚ ਮਿਲਾ ਦੈਂਦੇ ਹਨ
• coherence ਬਣਾਈ ਰੱਖਣ ਲਈ ਘੱਟ-ਮੌਜੂਦ ਟੁਕੜੇ ਘੜ ਲੈਂਦੇ ਹਨ

ਇਹ overgeneralization ਉਹਨਾਂ ਨੂੰ ਦ੍ਰਿੜ ਰੂਪ ਵਿੱਚ ਇੱਕ useful drafting ਅਤੇ brainstorming ਟੂਲ ਬਣਾਉਂਦੀ ਹੈ—ਪਰ ਜੇ ਹਕੀਕਤ ਸਿੱਖੇ ਪੈਟਰਨ ਨਾਲ ਮਿਲਦੀ ਨਹੀਂ ਤਾਂ ਇਹ ਹੈਲੂਸੀਨੇਸ਼ਨ ਚਲਾਉਂਦੀ ਹੈ।\n\n### ਕੈਲਿਬਰੇਸ਼ਨ: ਭਰੋਸਾ ਵਾਰੀ vs. ਸਹੀਤਾ\n\nਜ਼ਿਆਦਾਤਰ ਬੇਸ ਮਾਡਲ ਖ਼ਰਾਬ ਤਰੀਕੇ ਨਾਲ calibrate ਕੀਤੇ ਹੁੰਦੇ ਹਨ: ਉਹ ਜੋ ਉੱਤਰ ਦੇਣ ਵੇਲੇ ਦਿੱਤੀ ਭਰੋਸੇਯੋਗਤਾ ਅਕਸਰ ਇਸ Gall ਨੂੰ ਦਰਸਾਉਂਦੀ ਨਹੀਂ ਕਿ ਜਵਾਬ ਸਹੀ ਹੈ।\n\nਮਾਡਲ ਉੱਚ-ਭਰੋਸੇਯੋਗ continuation ਚੁਣ ਸਕਦਾ ਹੈ ਕਿਉਂਕਿ ਉਹ ਡਾਇਲੋਗ ਅਤੇ ਸ਼ੈਲੀ ਵਿੱਚ ਫਿੱਟ ਹੁੰਦੀ ਹੈ, ਨਾ ਕਿ ਕਿਉਂਕਿ ਇਸਦੇ ਕੋਲ ਮਜ਼ਬੂਤ ਸੁਬੂਤ ਹਨ। ਜੇ ਤੱਕ ਸਪਸ਼ਟ ਤਰੀਕੇ ਨਾਲ “ਮੈਨੂੰ ਪਤਾ ਨਹੀਂ” ਕਹਿਣ ਜਾਂ claims ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਟੂਲ ਦਿੱਤੇ ਨਾ ਜਾਣ, ਉੱਚ ਭਰੋਸਾ ਅਕਸਰ ਸਿਰਫ਼ "pattern-ਉੱਤੇ ਹੋਣਾ" ਦਿਖਾਉਂਦਾ ਹੈ, ਨਾ ਕਿ ਤੱਥ-ਕਲਿਕ।\n\n### ਡੋਮੇਨ ਸ਼ਿਫਟ: ਜਦੋਂ ਪ੍ਰਾਂਪਟ ਟ੍ਰੇਨਿੰਗ ਸੰਦਰਭਾਂ ਨਾਲ ਮਿਲਦਾ ਨਹੀਂ\n\nਮਾਡਲ ਵੱਡੇ, ਗੁੰਝਲਦਾਰ ਟੈਕਸਟ ਮਿਕਸ 'ਤੇ ਟ੍ਰੇਨ ਹੁੰਦੇ ਹਨ। ਤੁਹਾਡਾ ਪ੍ਰਾਂਪਟ ਹੋ ਸਕਦਾ ਹੈ ਕਿਸੇ ਐਸੇ distribution ਤੋਂ ਹੋਵੇ ਜੋ ਮਾਡਲ ਨੇ ਅਸਲ 'ਚ ਨਹੀਂ ਵੇਖੀ:

• ਨਿੱਛੇ ਡੋਮੇਨ (ਖ਼ਾਸ ਤਬੀ, ਕਾਨੂੰਨੀ, ਇੰਜੀਨੀਅਰਿੰਗ)\n- ਨਵੀਂ ਜਾਣਕਾਰੀ (ਹਾਲੀਆ ਰਿਸਰਚ, ਬਦਲੇ ਨਿਯਮ)\n- ਅਜਿਹੇ ਫਾਰਮੈਟ (ਕਸਟਮ schema, proprietary jargon)

ਜਦੋਂ ਪ੍ਰਾਂਪਟ ਪਛਾਣਯੋਗ ਪੈਟਰਨਾਂ ਤੋਂ ਹਟਦਾ ਹੈ, ਮਾਡਲ ਫਿਰ ਵੀ ਇੱਕ ਜਵਾਬ ਦੇਣਾ ਹੈ। ਸਹੀ ਮੇਲ ਨਾ ਹੋਣ 'ਤੇ, ਇਹ ਆਪਣੇ ਸਭ ਤੋਂ ਨੇੜੇ ਪੈਟਰਨ ਤੋਂ improvisation ਕਰਦਾ ਹੈ। ਉਹ improvisation fluent ਲੱਗਦੀ ਹੈ ਪਰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਘੜੀ ਹੋ ਸਕਦੀ ਹੈ।\n\nਸੰਖੇਪ ਵਿੱਚ, ਜਿਵੇਂ-ਜਿਵੇਂ ਮਾਡਲ ਸੁਧਰਦੇ ਹਨ, ਹੈਲੂਸੀਨੇਸ਼ਨ ਮਿਟਦੇ ਨਹੀਂ—ਉਹ ਘੱਟ ਹੁੰਦਿਆਂ ਹੋਏ ਵੀ ਹੋਰ ਨਿੱਪੁੰਨ ਬਣ ਜਾਂਦੀਆਂ ਹਨ, ਅਤੇ ਇਸ ਲਈ ਉਨ੍ਹਾਂ ਨੂੰ ਪਛਾਣਨਾ ਅਤੇ ਸੰਭਾਲਣਾ ਹੋਰ ਜ਼ਰੂਰੀ ਹੋ ਜਾਂਦਾ ਹੈ।\n\n## ਹੈਲੂਸੀਨੇਸ਼ਨਾਂ ਦੇ ਰੀਅਲ-ਵਰਲਡ ਖਤਰੇ ਅਤੇ ਨਤੀਜੇ\n\nLLM ਹੈਲੂਸੀਨੇਸ਼ਨ ਸਿਰਫ਼ ਤਕਨੀਕੀ ਗੜਬੜੀਆਂ ਨਹੀਂ ਹਨ; ਉਹ ਲੋਕਾਂ ਅਤੇ ਸੰਗਠਨਾਂ ਲਈ ਸਿੱਧੇ ਨਤੀਜੇ ਰੱਖਦੀਆਂ ਹਨ।\n\n### ਰੋਜ਼ਮਰਾ ਦੇ ਉਦਾਹਰਣ ਜੋ ਚੁੱਪਚਾਪ ਨੁਕਸਾਨ ਪਹੁੰਚਾਉਂਦੇ ਹਨ\n\nਸਧਾਰਨ, ਨੀਵੇਂ ਸਵਾਲ ਵੀ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਗਲਤ ਰਾਹ ਤੇ ਲੈ ਜਾ ਸਕਦੇ ਹਨ:\n\n- ਮਾਡਲ ਵਿਸ਼ਵਾਸ ਨਾਲ ਅਜਿਹੀ ਲੈਪਟਾਪ ਸੁਝਾਅ ਦੇ ਸਕਦਾ ਹੈ ਜੋ ਮੌਜੂਦ ਨਹੀਂ ਹੈ ਜਾਂ ਕਿਸੇ ਡਿਵਾਈਸ ਦੀਆਂ ਖ਼ਾਸੀਅਤਾਂ ਗਲਤ ਦਰਸਾ ਦਿੰਦਾ ਹੈ। ਖਰੀਦਦਾਰ ਘੰਟਿਆਂ ਤੱਕ ਐਸੀ ਚੀਜ਼ ਦੀ ਖੋਜ ਕਰਦੇ ਰਹਿੰਦੇ ਹਨ ਜੋ ਹੋਈ ਹੀ ਨਹੀਂ।\n- ਕੋਈ ਘਰ ਦਾ ਰਾਊਟਰ ਰਿਸੈਟ ਕਰਨਾ ਜਾਂ ਟੈਕਸ ਸਾਫਟਵੇਅਰ ਸੰਰਚਨਾ ਬਾਰੇ ਪੁੱਛਦਾ ਹੈ—ਮਾਡਲ ਉਹਨਾਂ ਮੈਨੂ ਵਿਕਲਪ ਘੜਦਾ ਹੈ ਜੋ ਮੌਜੂਦ ਨਹੀਂ, ਇਸ ਲਈ ਯੂਜ਼ਰ ਸੋਚਦਾ ਹੈ ਕਿ ਉਹ "ਗਲਤ ਕਰ ਰਹੇ" ਹਨ ਅਤੇ ਪ੍ਰੋਡਕਟ ਤੇ ਆਪਣੇ ਭਰੋਸੇ ਨੂੰ ਖੋ ਦੇਂਦਾ ਹੈ।\n- ਇੱਕ ਵਿਦਿਆਰਥੀ ਇੱਕ ਨਿੱਛੇ ਖੇਤਰ ਲਈ "ਸਰੇਸ਼ਠ" ਯੂਨੀਵਰਸਿਟੀ ਪ੍ਰੋਗਰਾਮ ਬਾਰੇ ਪੁੱਛਦਾ ਹੈ; LLM ਰੈਂਕਿੰਗ ਅਤੇ ਸਕਾਲਰਸ਼ਿਪਾਂ ਨੂੰ ਘੜਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਚੋਣਾਂ ਐਸੇ ਜਾਣਕਾਰੀਆਂ 'ਤੇ ਆਧਾਰਿਤ ਹੁੰਦੀਆਂ ਹਨ ਜਿਨ੍ਹਾਂ ਦਾ ਕੋਈ ਆਧਾਰ ਨਹੀਂ।\n\nਇਹ ਗਲਤੀਆਂ ਅਕਸਰ ਸ਼ਾਂਤ, ਪ੍ਰਧਾਨ-ਅਵਾਜ਼ ਵਾਲੀ ਟੋਨ ਵਿੱਚ ਦਿੱਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਜੋ ਨਹੀਂ ਜਾਣਦੇ ਵਰਗੇ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਬਿਸ਼ਵਾਸਯੋਗ ਹੋਣ ਨਾਲ ਆਸਾਨੀ ਨਾਲ ਮੰਨੀਆਂ ਜਾਂਦੀਆਂ ਹਨ।\n\n### ਉੱਚ-ਖਤਰੇ ਵਾਲੇ ਖੇਤਰ: ਦਵਾਈ, ਕਾਨੂੰਨ, ਫਾਇਨੈਂਸ, ਸੁਰੱਖਿਆ\n\nਜਦੋਂ ਨਿਰਦੇਸ਼ਣ ਨਿਯਮਕ ਜਾਂ ਸੁਰੱਖਿਆ-ਲੜੀ ਵਾਲਾ ਹੋਵੇ ਤਾਂ ਸਟੇਕਸ ਕਾਫੀ ਵੱਧ ਜਾਂਦੇ ਹਨ:\n\n- ਮਾਡਲ off-label ਦਵਾਈ ਵਰਤੋਂ, ਘੜੇ ਡੋਜ਼ ਰੇਂਜ, ਜਾਂ ਅਸਲ-ਨਹੀਂ ਹੋਈ clinical trials ਬਾਰੇ ਸੁਝਾਅ ਦੇ ਸਕਦਾ ਹੈ। ਮਰੀਜ਼ ਡਾਕਟਰ ਦੇ ਕੋਲ ਜਾਣ ਦੀ ਥਾਂ ਮਾਡਲ 'ਤੇ ਭਰੋਸਾ ਕਰਕੇ ਗਲਤ ਫੈਸਲੇ ਲੈ ਸਕਦੇ ਹਨ।\n- ਹੈਲੂਸੀਨੇਟ ਕੈਸ ਸਿਟੇਸ਼ਨਾਂ ਅਤੇ ਗਲਤ-ਉਦਾਸੀਕ ਨਤੀਆਂ ਅਸਲ ਕੋਰਟ ਫਾਈਲਿੰਗਜ਼ ਵਿੱਚ ਆ ਚੁੱਕੀਆਂ ਹਨ, ਜਿਸ ਨਾਲ ਵਕੀਲਾਂ ਖ਼ਿਲਾਫ਼ ਸਜ਼ਾ ਜਾਂ ਗ੍ਰੇਸ਼-ਨਤੀਜੇ ਆ ਸਕਦੇ ਹਨ।\n- ਇਕ LLM ਕੰਪਨੀ ਦੀ ਆਮਦਨੀ ਦਾ सार ਦੇ ਕੇ ਅੰਕਾਂ ਦਾ ਅਨੁਮਾਨ ਲਾ ਸਕਦਾ ਹੈ, ਜਾਂ ਲੇਖਾ-ਕਾਨੂੰਨ ਦੇ ਕਾਇਦੇ ਘੜ ਸਕਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਨਿਵੇਸ਼ਕ ਫੈਸਲੇ ਅਤੇ ਅਨੁਪਾਲਨ ਪ੍ਰਭਾਵਿਤ ਹੋ ਸਕਦੇ ਹਨ।\n- ਇੱਕ ਘੜਾ ਹੋਇਆ ਸੁਰੱਖਿਆ-ਪੈਚ ਪ੍ਰਕਿਰਿਆ ਜਾਂ ਗਲਤ encryption ਸੈਟਿੰਗ ਦੀ ਵਰਣਨਾ ਸਿਸਟਮਾਂ ਨੂੰ ਘਾਟੇ ਵਿੱਚ ਛੱਡ ਸਕਦੀ ਹੈ, ਜਦਕਿ ਟੀਮਾਂ ਨੂੰ ਝੂਠਾ ਭਰੋਸਾ ਮਿਲਦਾ ਹੈ।\n\n### ਸੰਗਠਨਾਤਮਕ, ਨੈਤਿਕ ਅਤੇ ਕੰਪਲਾਇੰਸ ਨਤੀਜੇ\n\nਕੰਪਨੀਆਂ ਲਈ, ਹੈਲੂਸੀਨੇਸ਼ਨ ਚੇਨ-ਰਿਆਕਸ਼ਨ ਪੈਦਾ ਕਰ ਸਕਦੇ ਹਨ: \n- ਜਦੋਂ ਯੂਜ਼ਰ ਗਲਤ ਜਵਾਬਾਂ 'ਤੇ ਅਮਲ ਕਰਦੇ ਹਨ ਤਾਂ ਉਹ ਬਰਾਂਡ ਨੂੰ ਦੋਸ਼ ਦਿੰਦੇ ਹਨ, ਮਾਡਲ ਨੂੰ ਨਹੀਂ।\n- ਸਿਹਤ, ਫਾਇਨੈਂਸ, ਜਾਂ ਰੋਜ਼ਗਾਰ ਸੰਬੰਧੀ ਗਲਤ ਸਲਾਹ ਖੇਤਰ-ਨਿਰਧਾਰਿਤ ਕਾਨੂੰਨਾਂ ਜਾਂ ਉਪਭੋਗਤਾ ਸੁਰੱਖਿਆ ਨਿਯਮਾਂ ਦੀ ਉਲੰਘਣਾ ਕਰ ਸਕਦੀ ਹੈ।\n- ਐਸੇ ਹੈਲੂਸੀਨੇਸ਼ਨ ਜੋ ਰੱਖੇ ਹੋਏ ਲੱਛਣਾਂ (ਜਿਵੇਂ ਅਪਰਾਧੀ ਇਤਿਹਾਸ ਜਾਂ ਮੈਡੀਕਲ ਹਾਲਤਾਂ) ਨੂੰ ਘੜਦੇ ਹਨ, ਪੱਖਪਾਤ ਅਤੇ ਨੁਕਸਾਨ ਨੂੰ ਵਧਾ ਸਕਦੇ ਹਨ।\n\nਜੋ ਸੰਗਠਨ LLMs ਦੀ ਤਾਇਨਾਤੀ ਕਰਦੇ ਹਨ ਉਨ੍ਹਾਂ ਨੂੰ ਹੈਲੂਸੀਨੇਸ਼ਨਾਂ ਨੂੰ ਇੱਕ ਮੁੱਖ ਖ਼ਤਰੇ ਵਜੋਂ ਲੈਣਾ ਚਾਹੀਦਾ ਹੈ: ਉਹਨਾਂ ਨੂੰ ਵਰਕਫਲੋਅਜ਼, ਖੰਡੇ-ਨੋਟਿਸਾਂ, ਨਿਰੀਖਣ ਅਤੇ ਮਾਨੀਟਰਿੰਗ ਇਤਿਆਦੀ ਨਾਲ ਡਿਜ਼ਾਈਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਭਰੋਸੇਯੋਗ, ਵਿਸਥਾਪਨ-ਪੂਰਨ ਜਵਾਬ ਵੀ ਜ਼ਰੂਰੀ ਨਹੀਂ।\n\n## ਹੈਲੂਸੀਨੇਸ਼ਨਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਅਤੇ ਮਾਪਣ ਦੇ ਤਰੀਕੇ\n\nਹੈਲੂਸੀਨੇਸ਼ਨਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣਾ ਆਸਾਨ ਨਹੀਂ, ਕਿਉਂਕਿ ਮਾਡਲ fluent ਅਤੇ ਭਰੋਸੇਯੋਗ ਲੱਗ ਸਕਦਾ ਹੈ ਜਦੋਂ ਕਿ ਉਹ ਪੂਰੀ ਤਰ੍ਹਾਂ ਗਲਤ ਹੋਵੇ। ਇਸਨੂੰ ਭਰੋਸੇਯੋਗ ਤਰੀਕੇ ਨਾਲ ਵੱਡੀ ਪੱਧਰ 'ਤੇ ਮਾਪਣਾ ਇੱਕ ਖੁੱਲ੍ਹਾ ਰਿਸਰਚ ਮੁੱਦਾ ਹੈ, ਨ ਕਿ ਇੱਕ ਹੱਲ ਹੋਇਆ ਇੰਜੀਨੀਅਰਿੰਗ ਟਾਸਕ।\n\n### ਆਟੋਮੈਟਿਕ ਪਛਾਣ ਕਿਉਂ ਮੁਸ਼ਕਲ ਹੈ\n\nਹੈਲੂਸੀਨੇਸ਼ਨ ਸੰਦਰਭ-ਨਿਰਭਰ ਹੁੰਦੀਆਂ ਹਨ: ਇੱਕ ਵਾਕ ਇੱਕ ਸਥਿਤੀ ਵਿੱਚ ਸਹੀ ਹੋ ਸਕਦਾ ਹੈ ਅਤੇ ਦੂਜੀ ਵਿੱਚ ਗਲਤ। ਮਾਡਲ ਨਕਲੀ ਪਰ ਮੰਨਣਯੋਗ ਸਰੋਤ ਬਣਾਉਂਦਾ ਹੈ, ਸੱਚ ਅਤੇ ਝੂਠ ਨੂੰ ਮਿਲਾ-ਝੁਲਾ ਕਰਦਾ ਹੈ, ਅਤੇ ਤੱਥਾਂ ਨੂੰ ਅਜਿਹਾ ਤਰੀਕੇ ਨਾਲ ਪੇਸ਼ ਕਰਦਾ ਹੈ ਜੋ ਸਨੁਹਪਤਾ ਨਾਲ reference ਡੇਟਾ ਨਾਲ ਤੁਲਨਾ ਕਰਨਾ ਔਖਾ ਬਣਾਂਦਾ ਹੈ।\n\nਉੱਪਰ ਓਸਤਰੇ: \n- ਬਹੁਤ ਸਾਰੇ ਟਾਸਕਾਂ ਲਈ ਇੱਕ-ਹੀ "ਸਹੀ" ਜਵਾਬ ਨਹੀਂ ਹੋਂਦਾ।\n- ground truth ਅਧੂਰਾ ਜਾਂ ਮਹਿੰਗਾ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।\n- ਮਾਡਲ ਕਈ ਵਾਰੀ ਇਹ ਵੀ ਕਹਿ ਸਕਦਾ ਹੈ ਕਿ ਕੋਈ ਅਧਿਐਨ ਮੌਜੂਦ ਨਹੀਂ ਹੈ, ਜਦੋਂ ਕਿ ਉਹ ਮੌਜੂਦ ਹੈ—ਇਸਕਾ ਪਤਾ ਲਗਾਉਣਾ ਕਠਿਨ ਹੈ।\n\nਇਸ ਲਈ, ਪੂਰੀ ਤਰ੍ਹਾਂ ਆਟੋਮੈਟਿਕ ਹੈਲੂਸੀਨੇਸ਼ਨ ਡਿਟੇਕਸ਼ਨ ਅਜੇ ਵੀ ਅਨਪ੍ਰਮਾਣਿਤ ਹੈ ਅਤੇ ਅਕਸਰ ਮਨੁੱਖੀ ਸਮੀਖਿਆ ਨਾਲ ਜੋੜੀ ਜਾਂਦੀ ਹੈ।\n\n### ਅਮਲੀ ਮੁੱਲਾਂਕਣ ਤਰੀਕੇ\n\n ਰਿਸਰਚਰ curated datasets ਵਰਤਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਸਵਾਲ ਅਤੇ ਜਾਣੇ-ਪਛਾਣੇ ਉੱਤਰ ਹੁੰਦੇ ਹਨ (ਉਦਾਹਰਣ ਵਜੋਂ QA ਜਾਂ fact-checking ਬੈਂਚਮਾਰਕ)। ਮਾਡਲ ਨੂੰ exact match, similarity ਜਾਂ correctness ਲੇਬਲ 'ਤੇ ਸਕੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। Benchmarks ਮਾਡਲਾਂ ਦੀ ਤੁਲਨਾ ਲਈ ਲਾਭਦਾਇਕ ਹਨ, ਪਰ ਉਹ ਤੁਹਾਡੇ ਖ਼ਾਸ use-case ਨੂੰ ਬਹੁਤ ਘੱਟ ਸਮਝਦੇ ਹਨ।\n\n ਮਾਹਿਰ ਲੇਬਲਰ ਆਉਟਪੁੱਟਸ ਨੂੰ correct, partially correct, ਜਾਂ incorrect ਦੇ ਤੌਰ 'ਤੇ ਲੇਬਲ ਕਰਦੇ ਹਨ। ਇਹ ਖ਼ਾਸ ਤੌਰ 'ਤੇ ਦਵਾਈ, ਕਾਨੂੰਨ ਅਤੇ ਫਾਇਨੈਂਸ ਵਰਗੇ ਖੇਤਰਾਂ ਵਿੱਚ ਸੋਨੇ ਦਾ ਮਿਆਰ ਹੈ।\n\n ਟੀਮਾਂ ਅਕਸਰ ਇੱਕ ਹਿੱਸਾ ਆਉਟਪੁੱਟਸ ਦਾ ਮੈਨੁਅਲ ਨਿਰੀਖਣ ਕਰਦੀਆਂ ਹਨ—ਯਾ ਤਾਂ random ਜਾਂ ਉਹਨਾਂ ਉੱਚ-ਖਤਰੇ ਪ੍ਰਾਂਪਟਸ ਨੂੰ ਤਰਜੀਹ ਦੇ ਕੇ। ਇਹ ਉਹ ਫੇਲਯੂਰ ਮੋਡਜ਼ ਦਿਖਾਉਂਦਾ ਹੈ ਜੋ benchmarks ਨਹੀਂ ਫੜਦੇ।\n\n### ਤੱਥਤਾ ਸਕੋਰ ਅਤੇ ਰੈਫਰੈਂਸ-ਅਧਾਰਿਤ ਜਾਂਚਾਂ\n\nਬਾਇਨਰੀ "ਸਹੀ/ਗਲਤ" ਤੋਂ ਅੱਗੇ ਵੱਧਣ ਲਈ, ਕਈ ਮੁੱਲਾਂਕਣ ਵਰਤਦੇ ਹਨ—ਨੰਬਰਾਤਮਕ ਰੇਟਿੰਗ ਕਿ ਜਵਾਬ ਕਿੰਨਾ ਟ੍ਰੱਸਟਡ ਸਬੂਤਾਂ ਨਾਲ ਮਿਲਦਾ ਹੈ।\n\nਦੋ ਆਮ ਤਰੀਕੇ: \n- ਮਾਡਲ ਦੇ ਦਾਅਵਿਆਂ ਨੂੰ ਇੱਕ ਰੈਫਰੈਂਸ ਦਸਤਾਵੇਜ਼ ਜਾਂ ਡੇਟਾਸੈੱਟ (ਜਿਵੇਂ ਸੋర్స్ ਆਰਟੀਕਲ) ਦੇ ਖਿਲਾਫ ਤੁਲਨਾ ਕਰਦੇ ਹਨ। ਇਹ summarization, doc-over-QA ਜਾਂ structured data ਲਈ ਚੰਗਾ ਕੰਮ ਕਰਦਾ ਹੈ।\n- ਇੱਕ ਦੂਜਾ ਮਾਡਲ, ਜਾਂ ਉਨ੍ਹਾਂ ਹੀ ਮਾਡਲ ਨੂੰ ਵੱਖਰੇ ਪ੍ਰਾਂਪਟ ਨਾਲ, ਨਿਰੀਖਣਕ/ਜਜ ਵਜੋਂ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਨੂੰ ਸੰਦ-ਭਰੋਸੇਯੋਗ ਨਹੀਂ ਸਮਝਿਆ ਜਾ ਸਕਦਾ—ਕਿਉਂਕਿ ਜੱਜ ਮਾਡਲ ਵੀ ਹੈਲੂਸੀਨੇਟ ਕਰ ਸਕਦਾ ਹੈ—ਪਰ ਇਹ ਪੂਰੇ ਮਨੁੱਖੀ ਸਮੀਖਿਆ ਨਾਲੋਂ ਜ਼ਿਆਦਾ ਸਕੇਲ ਕਰਨਯੋਗ ਹੁੰਦਾ ਹੈ।\n\n### ਟੂਲਿੰਗ ਅਤੇ automated cross-checks\n\nਆਧੁਨਿਕ ਟੂਲਿੰਗ ਵਧਤ ਤੋਂ ਵਧਤ ਬਾਹਰੀ ਸਰੋਤਾਂ 'ਤੇ ਨਿਰਭਰ ਰਹਿ ਕੇ ਹੈਲੂਸੀਨੇਸ਼ਨ ਨੂੰ ਫੜਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੀ ਹੈ: \n- ਵੈੱਬ ਜਾਂ ਅੰਦਰੂਨੀ ਗਿਆਨ-ਬੇਸ ਨੂੰ query ਕਰਕੇ ਮੁੱਖ ਇਲੈਕਟਸ, ਤਾਰੀਖਾਂ ਅਤੇ ਦਾਅਵਿਆਂ ਦੀ ਜਾਂਚ ਕਰਦੇ ਹਨ।\n- ਪੁਸ਼ਟੀ ਕਰਦੇ ਹਨ ਕਿ ਜਿਸ ਸਰੋਤ ਨੂੰ attribution ਦਿੱਤੀ ਗਈ ਹੈ ਉਹ ਹਕੀਕਤ ਵਿੱਚ ਉਸ ਬਿਆਨ ਨੂੰ ਸਮਰਥਨ ਕਰਦਾ ਹੈ।\n- ਆਉਟਪੁੱਟਸ ਨੂੰ ਸਰਕਾਰੀ ਡੇਟਾਬੇਸ ਜਾਂ APIs (ਉਦਾਹਰਣ ਲਈ product catalog, ICD codes, stock tickers) ਨਾਲ ਤੁਲਨਾ ਕਰਦੇ ਹਨ।\n\nਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ, ਟੀਮਾਂ ਆਮ ਤੌਰ 'ਤੇ ਇਨ੍ਹਾਂ ਟੂਲਾਂ ਨੂੰ ਬਿਜ਼ਨਸ ਨਿਯਮਾਂ ਨਾਲ ਜੋੜਦੀਆਂ ਹਨ: ਉਹਨਾਂ ਜਵਾਬਾਂ ਨੂੰ flag ਕਰਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਕੋਲ ਸਿਟੇਸ਼ਨ ਨਹੀਂ, ਜੋ ਅੰਦਰੂਨੀ ਰਿਕਾਰਡਾਂ ਦੇ ਵਿਰੁੱਧ ਹੋ, ਜਾਂ automated checks ਫੇਲ ਹੋਣ 'ਤੇ ਮਨੁੱਖੀ ਸਮੀਖਿਆ ਲਈ ਰੂਟ ਕਰਦੇ ਹਨ।\n\n## ਯੂਜ਼ਰਾਂ ਲਈ ਅਮਲੀ ਤਰੀਕੇ ਜਿਨ੍ਹਾਂ ਨਾਲ ਹੈਲੂਸੀਨੇਸ਼ਨ ਘਟ ਸਕਦੇ ਹਨ\n\nਮਾਡਲ ਨੂੰ ਬਦਲਣ ਦੇ ਬਿਨਾਂ ਵੀ, ਉਪਭੋਗਤਾ ਆਪਣੇ ਸਵਾਲ ਪੁੱਛਣ ਦੇ ਢੰਗ ਅਤੇ ਉੱਤਰਾਂ ਨੂੰ ਵਰਤ ਕੇ ਹੈਲੂਸੀਨੇਸ਼ਨਾਂ ਨੂੰ ਕਾਫ਼ੀ ਘਟਾ ਸਕਦੇ ਹਨ।\n\n### ਤੰਗ, ਸਪਸ਼ਟ ਪ੍ਰਾਂਪਟ ਡਿਜ਼ਾਈਨ ਕਰੋ\n\nਢਿੱਲੇ ਪ੍ਰਾਂਪਟ ਮਾਡਲ ਨੂੰ ਅਨੁਮਾਨ ਲਾਉਣ ਲਈ ਮੌਕਾ ਦਿੰਦੇ ਹਨ। ਤੁਸੀਂ ਜ਼ਿਆਦਾ ਭਰੋਸੇਯੋਗ ਜਵਾਬਾਂ ਪ੍ਰਾਪਤ ਕਰੋਂਗੇ ਜੇ ਤੁਸੀਂ: \n- "Tell me everything about X" ਦੀ ਥਾਂ "X ਦੇ 3 ਫਾਇਦੇ ਅਤੇ 3 ਨੁਕਸਾਨ ਛੋਟੇ ਟੀਮਾਂ ਲਈ" ਵਰਗਾ ਪ੍ਰਸ਼ਨ ਕਰੋ।\n- ਉਦਾਹਰਣ: "5 ਬੁਲੇਟ ਪਾਇੰਟਸ ਵਿੱਚ ਜਵਾਬ ਦਿਓ, ਹਰ ਇੱਕ ਵਿੱਚ ਇੱਕ ਸੈਂਟੈਂਸ ਅਤੇ ਇੱਕ ਸਰੋਤ ਦੇਵੋ।"\n- ਸੰਬੰਧਤ ਵੇਰਵੇ (ਡੋਮੇਨ, ਦਰਸ਼ਕ, ਪਾਬੰਦੀਆਂ) ਸ਼ਾਮਿਲ ਕਰੋ ਤਾਂ ਕਿ ਮਾਡਲ ਕੋਲ ਘੱਟ ਖਾਲੀ ਥਾਂ ਹੋਵੇ।\n- ਹੁਕਮ ਸ਼ਾਮਿਲ ਕਰੋ ਜਿਵੇਂ "ਜੇ ਤੁਹਾਨੂੰ ਯਕੀਨ ਨਹੀਂ, ਤਾਂ 'ਮੈਨੂੰ ਯਕੀਨ ਨਹੀਂ' ਕਹੋ ਅਤੇ ਦੱਸੋ ਕਿਉਂ।"\n\n### ਅਣਿਸ਼ਚਿਤਤਾ, ਸਰੋਤ ਤੇ ਤਰਕ ਮੰਗੋ\n\nਮਾਡਲ ਨੂੰ polished ਜਵਾਬ ਦੇਣ ਦੀ ਥਾਂ ਆਪਣਾ ਕੰਮ ਦਿਖਾਉਣ ਲਈ ਪ੍ਰਾਂਪਟ ਕਰੋ: \n- "ਆਪਣਾ ਜਵਾਬ ਦਿਓ ਅਤੇ ਆਪਣੀ ਭਰੋਸੇਯੋਗਤਾ 1–10 'ਤੇ ਦਰਜ ਕਰੋ। ਜੋ ਕੁਝ ਤੁਹਾਨੂੰ ਅਣਪੱਕਾ ਲੱਗਦਾ ਹੈ ਉਹ ਵੀ ਦੱਸੋ।"

• "ਆਖ਼ਰੀ ਜਵਾਬ ਦੇਣ ਤੋਂ ਪਹਿਲਾਂ ਆਪਣੀ ਤਰਕ-ਕਦਮ ਵੱਖ-ਵੱਖ ਦਿਖਾਓ।"

2. ਹਰ ਕੁਐਰੀ ਲਈ ਸੰਦੇਸ਼ਤ ਖੋਜ ਨਾਲ ਸੰਦਰਭ ਰਿਟਰੀਵ ਕਰੋ।
3. ਪ੍ਰਾਂਪਟ ਨੂੰ ਰਿਟਰੀਵ ਕੀਤੇ ਗਏ ਟੁਕੜਿਆਂ ਨਾਲ augment ਕਰੋ।
4. ਜਵਾਬ ਪੈਦਾ ਕਰੋ ਜੋ ਉਹ ਸੰਦਰਭ ਹਵਾਲਾ ਕਰਦੇ ਹੋਣ।\n\nਐਫੈਕਟਿਵ RAG ਸੈਟਅਪ: \n- ਮਾਡਲ ਨੂੰ ਕੇਵਲ ਦਿੱਤੇ ਗਏ ਸੰਦਰਭ ਤੋਂ ਜਵਾਬ ਦੇਣ 'ਤੇ ਸੀਮਤ ਕਰੋ ਅਤੇ ਜਦੋਂ ਸਬੂਤ ਨਹੀਂ ਮਿਲਦਾ ਤਾਂ "ਮੈਨੂੰ ਪਤਾ ਨਹੀਂ" ਕਹਿਣ ਦੀ ਨਿਰਦੇਸ਼ ਦਿਓ।