12 ਅਕਤੂ 2025·8 ਮਿੰਟ
Ilya Sutskever: ਜਿਸ ਖੋਜਕਾਰ ਨੇ LLMs ਦੇ ਰੂਪ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕੀਤਾ
ਸਧਾਰਨ ਭਾਸ਼ਾ ਵਿੱਚ Ilya Sutskever ਦੀ ਯਾਤਰਾ — ਡੀਪ ਲਰਨਿੰਗ ਦੀਆਂ ਉਪਲਬਧੀਆਂ ਤੋਂ OpenAI ਤੱਕ—ਅਤੇ ਕਿਵੇਂ ਉਸਦੇ ਵਿਚਾਰ ਆਧੁਨਿਕ ਵੱਡੇ ਭਾਸ਼ਾਈ ਮਾਡਲਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੇ ਹਨ।
ਸਧਾਰਨ ਭਾਸ਼ਾ ਵਿੱਚ Ilya Sutskever ਦੀ ਯਾਤਰਾ — ਡੀਪ ਲਰਨਿੰਗ ਦੀਆਂ ਉਪਲਬਧੀਆਂ ਤੋਂ OpenAI ਤੱਕ—ਅਤੇ ਕਿਵੇਂ ਉਸਦੇ ਵਿਚਾਰ ਆਧੁਨਿਕ ਵੱਡੇ ਭਾਸ਼ਾਈ ਮਾਡਲਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੇ ਹਨ।
Ilya Sutskever ਉਹਨਾਂ ਨਾਮਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ ਜੋ ਅਕਸਰ ਆਉਂਦੇ ਹਨ ਜਦੋਂ ਲੋਕ ਵੇਖਦੇ ਹਨ ਕਿ ਆਧੁਨਿਕ AI—ਖਾਸ ਕਰਕੇ ਵੱਡੇ ਭਾਸ਼ਾਈ ਮਾਡਲ (LLMs)—ਕਿਵੇਂ ਪ੍ਰਯੋਗਯੋਗ ਬਣੇ। ਇਹ ਇਸ ਲਈ ਨਹੀਂ ਕਿ ਉਸਨੇ ਇੱਕੱਲਾ LLM “ਅਵਿਸਕਾਰ” ਕੀਤਾ, ਪਰ ਕਿਉਂਕਿ ਉਸਦਾ ਕੰਮ ਇਹ ਮੰਨਣ ਵਿੱਚ ਮਦਦਗਾਰ ਰਿਹਾ ਕਿ: ਜੇ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਸਹੀ ਪੈਮਾਨੇ ਤੇ ਅਤੇ ਸਹੀ ਤਰੀਕਿਆਂ ਨਾਲ ਟ੍ਰੇਨ ਕੀਤੇ ਜਾਣ, ਤਾਂ ਉਹ ਹੈਰਾਨ ਕਰਨ ਵਾਲੀ ਦੌਰ-ਵਿਆਪਕ ਕੌਸ਼ਲ ਸਿੱਖ ਸਕਦੇ ਹਨ।
ਇਹ ਜੋੜ—ਉਮੀਦਵਾਰ ਸਕੇਲ ਅਤੇ ਹੱਥ-ਅਨੁਭਵੀ ਟ੍ਰੇਨਿੰਗ ਅਨੁਸ਼ਾਸਨ—ਅਜਿਹੇ ਕਈ ਮੀਲ-ਪੱਥਰਾਂ 'ਤੇ ਵਾਪਰਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੇ ਅੱਜ ਦੇ LLMs ਤਕ ਦਾ ਰਸਤਾ ਬਣਾਇਆ।
ਵੱਡਾ ਭਾਸ਼ਾਈ ਮਾਡਲ ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਹੈ ਜੋ ਬਹੁਤ ਜ਼ਿਆਦਾ ਟੈਕਸਟ 'ਤੇ ਅਗਲੇ ਸ਼ਬਦ (ਜਾਂ ਟੋਕਨ) ਦੀ ਭਵਿੱਖਵਾਣੀ ਕਰਨ ਲਈ ਟ੍ਰੇਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਹ ਸਧਾਰਨ ਲਕਸ਼ ਵੱਡੀ ਚੀਜ਼ ਬਣ ਜਾਂਦੀ ਹੈ: ਮਾਡਲ ਵਿਆਕਰਨ, ਤੱਥ, ਅੰਦਾਜ਼ ਅਤੇ ਸਮੱਸਿਆ-ਹੱਲ ਕਰਨ ਦੇ ਰੋਜ਼ਾਂਦਾਨ ਸਿੱਖ ਲੈਂਦਾ ਹੈ—ਇਨਾ ਚੰਗੀ ਤਰ੍ਹਾਂ ਕਿ ਉਹ ਲਿਖ ਸਕਦਾ ਹੈ, ਸੰਖੇਪ ਕਰ ਸਕਦਾ ਹੈ, ਅਨੁਵਾਦ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਪ੍ਰਸ਼ਨਾਂ ਦੇ ਜਵਾਬ ਦੇ ਸਕਦਾ ਹੈ।
LLMs “ਵੱਡੇ” ਦੋ ਅਰਥਾਂ ਵਿੱਚ ਹੁੰਦੇ ਹਨ:
ਇਹ ਲੇਖ Sutskever ਦੇ ਕਰੀਅਰ ਨੂੰ LLM ਇਤਿਹਾਸ ਵਿੱਚ ਕਿਉਂ ਬਾਰ-ਬਾਰ ਦੇਖਿਆ ਜਾਂਦਾ ਹੈ, ਇਸ ਦੀ ਇੱਕ ਮਾਰਗਦਰਸ਼ਕ ਯਾਤਰਾ ਹੈ। ਤੁਸੀਂ ਪ੍ਰਾਪਤ ਕਰੋਗੇ:
ਤੁਹਾਨੂੰ ਇੰਜੀਨੀਅਰ ਹੋਣ ਦੀ ਲੋੜ ਨਹੀਂ। ਜੇ ਤੁਸੀਂ ਨਿਰਮਾਤਾ, ਪ੍ਰੋਡਕਟ ਲੀਡ, ਜਾਂ ਜਾਣਨ-ਚਾਹੁਣ ਵਾਲੇ ਪਾਠਕ ਹੋ ਜੋ ਸਮਝਣਾ ਚਾਹੁੰਦੇ ਹੋ ਕਿ LLMs ਕਿਵੇਂ ਉਭਰੇ—ਅਤੇ ਕਿਉਂ ਕੁਝ ਨਾਂਮ ਵਾਪਸ-ਵਾਪਸ ਆ ਰਹੇ ਹਨ—ਤਾਂ ਇਹ ਸਧਾਰਨ ਸ਼ਬਦਾਂ ਵਿੱਚ ਕਹਾਣੀ ਸਪਸ਼ਟ ਕਰਦਾ ਹੈ ਬਿਨਾਂ ਜ਼ਿਆਦਾ ਗਣਿਤ ਵਿੱਚ ਡੁੱਬਾਏ।
Ilya Sutskever ਆਮ ਤੌਰ 'ਤੇ ਜਾਣੇ ਜਾਂਦੇ ਹਨ ਕਿ ਉਨ੍ਹਾਂ ਨੇ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਅਕਾਦਮਿਕ ਵਿਚਾਰ ਤੋਂ ਲੈ ਕੇ ਆਧੁਨਿਕ AI ਸਿਸਟਮਾਂ ਦੀ ਵਰਤੋਂ ਜੋੜਨ ਵਿੱਚ ਮਦਦ ਕੀਤੀ।
ਇਹ ਲੇਬਲ ਕੁਝ ਹੱਦ ਤੱਕ ਮਿਲਦੇ-ਜੁਲਦੇ ਹਨ, ਪਰ ਜ਼ੋਰ ਵੱਖਰਾ ਹੁੰਦਾ ਹੈ:
ਇਨ੍ਹਾਂ ਭੂਮਿਕਾਵਾਂ 'ਚ ਇੱਕ ਸਥਿਰ ਥੀਮ ਇਹ ਹੈ: ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਸਕੇਲ ਕਰਨਾ ਤੇ ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਵਿਹਾਰਿਕ ਬਣਾਉਣਾ—ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਟ੍ਰੇਨ ਕਰਨਾ ਕਿ ਉਹ ਅਸਥਿਰ, ਅਣਪੜਤਲ ਜਾਂ ਮਹਿੰਗੇ ਨਾ ਪੈਣ।
2010 ਤੋਂ ਪਹਿਲਾਂ, “ਡੀਪ ਲਰਨਿੰਗ” ਮੁਸ਼ਕਲ ਸਮੱਸਿਆਵਾਂ ਲਈ ਡਿਫਾਲਟ ਉੱਤਰ ਨਹੀਂ ਸੀ। ਬਹੁਤ ਸਾਰੇ ਖੋਜਕਾਰ ਹੱਥ-ਨਿਰਮਿਤ ਫੀਚਰਾਂ 'ਤੇ ਜ਼ਿਆਦਾ ਭਰੋਸਾ ਕਰਦੇ ਸਨ। ਨਿਊਰਲ ਨੈੱਟ ਵੱਸ ਹੁੰਦੀਆਂ ਸਨ, ਪਰ ਬਹੁਤ ਵਾਰੀ ਛੋਟੇ ਡੈਮੋ ਤੋਂ ਬਾਅਦ ਅਮੂਮਨ ਜਨਰਲਾਈਜ਼ ਨਾ ਕਰ ਪਾਉਂਦੀਆਂ।
ਤੀਨ ਪ੍ਰਾਇਕਟਿਕ ਬੋਤਲਨੇਕਸ ਨੇ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਸਕੇਲ 'ਤੇ ਚਮਕਣ ਤੋਂ ਰੋਕਿਆ:
ਇਹ ਸੀਮਾਵਾਂ ਨੇ ਨੈੱਟਵਰਕਸ ਨੂੰ ਹੋਰ ਸਰਲ ਤਰੀਕਿਆਂ ਨਾਲ ਤੁਲਨਾ ਕਰਦੀਆਂ ਅਣਵਿਖਰ ਲੋਕ-ਭਰੋਸੇਯੋਗ ਬਣਾਇਆ।
ਕੁਝ ਧਾਰਨਾਵਾਂ ਇਸ ਯੁੱਗ ਤੋਂ ਅਗੇ ਆ ਕੇ LLM ਕਹਾਣੀ ਵਿੱਚ ਬਾਰ-ਬਾਰ ਆਉਂਦੀਆਂ ਹਨ:
ਕਿਉਂਕਿ ਨਤੀਜੇ ਬਹੁਤ ਪ੍ਰਯੋਗਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਸਨ, ਖੋਜਕਾਰਾਂ ਨੂੰ ਉਹਨਾ ਥਾਂਵਾਂ ਦੀ ਲੋੜ ਸੀ ਜਿੱਥੇ ਉਹ ਬਹੁਤ ਸਾਰੇ ਟ੍ਰਾਇਲ ਚਲਾ ਸਕਣ, ਸਿਖੀ ਹੋਈਆਂ ਤਕਨੀਕਾਂ ਸਾਂਝੀਆਂ ਕਰ ਸਕਣ ਅਤੇ ਧਾਰਣਾਵਾਂ ਨੂੰ ਚੁਣੌਤੀ ਦੇ ਸਕਣ। ਮਜ਼ਬੂਤ mentorship ਅਤੇ ਸਹਾਇਕ ਲੈਬਾਂ ਨੇ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਇੱਕ ਅਣਸ਼ੁਦਧ ਸ਼ਰਤ ਤੋਂ ਦੁਹਰਾਏ ਯੋਗ ਖੋਜ ਕਾਰਜਕ੍ਰਮ ਵਿੱਚ ਬਦਲਣ ਵਿੱਚ ਮਦਦ ਕੀਤੀ—ਜੋ ਅਗਲੇ ਬ੍ਰੇਕਥਰੂਜ਼ ਲਈ ਮੈਦਾਨ ਤਿਆਰ ਕਰਦਾ ਹੈ।
AlexNet ਅਕਸਰ ImageNet 'ਚ ਜਿੱਤ ਵਾਲਾ ਮਾਡਲ ਵਜੋਂ ਯਾਦ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਜ਼ਿਆਦਾ ਮਹੱਤਵਪੂਰਨ ਗੱਲ ਇਹ ਸੀ ਕਿ ਇਸਨੇ ਸਰਵਜਨਿਕ, ਮਾਪਣਯੋਗ ਪ੍ਰਦਰਸ਼ਨ ਦਿਖਾਇਆ ਕਿ ਨਿਊਰਲ ਨੈੱਟਵਰਕਸ ਸਿਧਾਂਤ ਵਿੱਚ ਕੰਮ ਕਰਨ ਤੋਂ ਇਲਾਵਾ ਵਧੀਆ ਨਤੀਜੇ ਵੇਖਾ ਸਕਦੇ ਹਨ ਜੇ ਉਨ੍ਹਾਂ ਨੂੰ ਕਾਫੀ ਡਾਟਾ ਅਤੇ ਕੰਪਿਊਟ ਦਿੱਤਾ ਜਾਵੇ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਧਿਆਨ ਨਾਲ ਕੀਤੀ ਜਾਵੇ।
2012 ਤੋਂ ਪਹਿਲਾਂ, ਕਈ ਖੋਜਕਾਰ ਗਹਿਰੇ ਨੈੱਟਵਰਕਸ ਨੂੰ ਦਿਲਚਸਪ ਪਰ ਅਣਭਰੋਸੇਯੋਗ ਸੋਚਦੇ ਸਨ। AlexNet ਨੇ ਇਹ ਕਹਾਣੀ ਬਦਲੀ ਤੇ ਇੱਕ ਨਿਰਣਾਇਕ ਕੂਦ ਦਿੱਤਾ।
ਮੁੱਖ ਸੁਨੇਹਾ ਇਹ ਨਹੀਂ ਸੀ ਕਿ “ਇਹ ਖਾਸ ਆਰਕੀਟੈਕਚਰ ਜਾਦੂਈ ਹੈ।” ਸਿੱਖਣਯੋਗ ਮੈਸੇਜ ਸੀ:
ਜਦੋਂ ਖੇਤਰ ਨੇ ਦੇਖਿਆ ਕਿ ਡੀਪ ਲਰਨਿੰਗ ਇੱਕ ਉੱਚ-ਪ੍ਰੋਫਾਈਲ ਬੈਂਚਮਾਰਕ 'ਤੇ ਛਾ ਗਿਆ, ਤਾਂ ਇਹ ਮੰਨਣਾ ਆਸਾਨ ਹੋ ਗਿਆ ਕਿ ਹੋਰ ਖੇਤਰ—ਜਿਵੇਂ speech, translation ਅਤੇ ਬਾਅਦ ਵਿੱਚ language modeling—ਵੀ ਇਸੇ ਰਾਹ ਦੀ ਪਾਲਣਾ ਕਰ ਸਕਦੇ ਹਨ।
ਇਹ ਭਰੋਸਾ ਬਦਲਾਅ ਮਹੱਤਵਪੂਰਨ ਸੀ: ਇਸਨੇ ਵੱਡੇ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਬਣਾਉਣ, ਵੱਡੇ ਡੈਟਾ ਇਕੱਠੇ ਕਰਨ ਅਤੇ ਉਸ ਇਨਫ੍ਰਾਸਟਰੱਕਚਰ ਵਿੱਚ ਨਿਵੇਸ਼ ਕਰਨ ਨੂੰ ਜਾਇਜ਼ ਕੀਤਾ ਜੋ ਬਾਅਦ ਵਿੱਚ LLMs ਲਈ ਆਮ ਹੋ ਗਿਆ।
AlexNet ਨੇ ਇੱਕ ਸਧਾਰਨ ਪਰ ਦੁਹਰਾਏ ਯੋਗ ਨੁਸਖੇ ਦੀ ਸੁਝਾਵ ਦਿੱਤੀ: ਸਕੇਲ ਵਧਾਓ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਵਿੱਚ ਸੁਧਾਰ ਲਿਆਓ ਤਾਂ ਕਿ ਵੱਡਾ ਮਾਡਲ ਅਸਲ ਵਿੱਚ ਸਿੱਖੇ।
LLM ਲਈ ਸਮਾਨ ਪਾਠ ਇਹ ਹੈ ਕਿ ਜਦ ਕੰਪਿਊਟ ਅਤੇ ਡਾਟਾ ਇਕੱਠੇ ਵਧਾਏ ਜਾਂਦੇ ਹਨ, ਤਰੱਕੀ ਮਿਲਣ ਦੀ ਸੰਭਾਵਨਾ ਵਧਦੀ ਹੈ। ਕੇਵਲ ਵੱਧ ਕੰਪਿਊਟ ਬਿਨਾ ਕਾਫੀ ਡਾਟਾ ਦੇ ਓਵਰਫਿਟ ਹੋ ਸਕਦਾ; ਬਿਨਾ ਕਾਫੀ ਕੰਪਿਊਟ ਦੇ ਵੱਧ ਡਾਟਾ ਅੰਡਰ-ਟ੍ਰੇਨ ਹੋ ਸਕਦਾ। AlexNet ਯੁੱਗ ਨੇ ਉਸ ਜੋੜ ਨੂੰ ਜੋखिम ਤੋਂ empirical ਰਣਨੀਤੀ ਬਣਾਉ ਦਿੱਤਾ।
ਇੱਕ ਵੱਡਾ ਬਦਲਾਅ ਇਮੇਜ ਪਹਿਚਾਣ ਤੋਂ ਆਧੁਨਿਕ ਭਾਸ਼ਾਈ AI ਤੱਕ ਦਾ ਇਹ ਸੀ ਕਿ ਭਾਸ਼ਾ ਨੂੰ ਕੁਦਰਤੀ ਤੌਰ ਤੇ ਇਕ "ਲੜੀ" ਸਮੱਸਿਆ ਸਮਝਿਆ ਗਿਆ। ਇੱਕ ਵਾਕ ਇੱਕ ਇਕਲ ਇੰਪੁੱਟ ਵਾਂਗ ਨਹੀਂ ਹੁੰਦਾ; ਇਹ ਟੋਕਨਾਂ ਦੀ ਲੜੀ ਹੈ ਜਿੱਥੇ ਅਰਥ ਕ੍ਰਮ, ਸੰਦਰਭ ਅਤੇ ਪਹਿਲਾਂ ਆਏ ਹਿੱਸਿਆਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ।
ਪਹਿਲਾਂ ਭਾਸ਼ਾ ਕੰਮਾਂ ਲਈ ਅਕਸਰ ਹੱਥ-ਬਣਾਏ ਫੀਚਰ ਜਾਂ ਕਠੋਰ ਨਿਯਮ ਵਰਤੇ ਜਾਂਦੇ ਸਨ। ਸਿੱਕਵੈਂਸ ਮਾਡਲਿੰਗ ਨੇ ਟਾਸਕ ਨੂੰ ਇਸ ਤਰੀਕੇ ਨਾਲ ਮੁੜ-ਦਰਸਾਇਆ: ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਨੂੰ ਸਮੇਂ-ਪਾਰ ਕੀਤਾ-ਗਿਆ ਅੰਤਰ-ਸੰਬੰਧ ਸਿਖਾਉਣ ਦਿਓ—ਕਿਵੇਂ ਸ਼ਬਦ ਪਹਿਲੇ ਸ਼ਬਦਾਂ ਨਾਲ ਜੁੜਦੇ ਹਨ, ਅਤੇ ਵਾਕ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਕੋਈ ਫਰੇਜ਼ ਆਖਿਰ ਵਿੱਚ ਅਰਥ ਨੂੰ ਬਦਲ ਸਕਦਾ ਹੈ।
ਇੱਥੇ Ilya Sutskever ਉਸ ਅਹੰਕਾਰਪੂਰਣ ਵਿਚਾਰ ਨਾਲ ਗਹਿਰਾਈ ਨਾਲ ਸੰਬੰਧਿਤ ਹਨ: ਸ਼੍ਰੇਣੀ-ਤੋਂ-ਸ਼੍ਰੇਣੀ (seq2seq) ਸਿੱਖਣ ਖਾਸ ਤੌਰ 'ਤੇ ਮਸ਼ੀਨ ਅਨੁਵਾਦ ਵਰਗੇ ਕੰਮਾਂ ਲਈ।
Seq2seq ਮਾਡਲ ਕੰਮ ਨੂੰ ਦੋ ਸਹਿਯੋਗੀ ਭਾਗਾਂ ਵਿੱਚ ਵੰਡਦੇ ਹਨ:
ਧਾਰਨਾਤਮਕ ਤੌਰ 'ਤੇ, ਇਹ ਸੁਣਨ-ਤੋਂ ਲੈ ਕੇ ਅੰਤਾਂਕ-ਤਕ ਦਾ ਪ੍ਰਕਿਰਿਆ ਵਾਂਗ ਹੈ: ਇੱਕ ਵਾਕ ਨੂੰ ਸੋਚੋ, ਇੱਕ ਮਨੋਵੈਜ্ঞানਿਕ ਸੰਖੇਪ ਬਣਾਓ, ਫਿਰ ਉਸ ਸੰਖੇਪ ਦੇ ਆਧਾਰ 'ਤੇ ਅਨੁਵਾਦ ਬੋਲੋ।
ਇਹ ਦ੍ਰਿਸ਼ਟਕੋਣ ਜੇਕਰ ਅਨੁਵਾਦ ਨੂੰ "ਤਿਆਰ ਕਰਨਾ" ਮੰਨਦਾ ਹੈ ਨਾ ਕਿ ਸਿਰਫ ਵਰਗੀਕਰਨ, ਤਾਂ ਮਾਡਲ ਇੱਕਤਰਫਾ ਫਲੂਇਡ ਆਉਟਪੁੱਟ ਬਣਾਉਣਾ ਸਿੱਖਦਾ ਹੈ।
ਹਾਲਾਂਕਿ ਬਾਅਦ ਵਾਲੀਆਂ ਉਪਲਬਧੀਆਂ (ਖ਼ਾਸ ਕਰਕੇ attention ਅਤੇ transformers) ਨੇ ਲੰਬੇ ਸੰਦਰਭ ਨੂੰ ਸੰਭਾਲਣ ਦੇ ਢੰਗ ਵਿੱਚ ਸੁਧਾਰ ਕੀਤਾ, seq2seq ਨੇ ਇੱਕ ਨਵਾਂ ਮਨਸੂਬਾ ਸਧਾਰਨ ਕੀਤਾ: ਐਂਡ-ਟੂ-ਐਂਡ ਇਕਲ ਮਾਡਲ ਨੂੰ ਕਾਫੀ ਟੈਕਸਟ 'ਤੇ ਟ੍ਰੇਨ ਕਰੋ ਅਤੇ ਇਹ ਇਕ ਲੜੀ ਤੋਂ ਦੂਜੀ ਲੜੀ ਦੀ ਮੈਪਿੰਗ ਖੁਦ ਸਿੱਖ ਲਿਆਏਗਾ। ਇਹ ਫਰੇਮਵਰਕ ਅਜਿਹੇ ਕਈ “ਟੈਕਸਟ ਇਨ, ਟੈਕਸਟ ਆਉਟ” ਪ੍ਰਣਾਲੀਆਂ ਲਈ ਰਸਤਾ ਖੋਲ੍ਹਦਾ ਹੈ ਜੋ ਅੱਜ ਕੁਦਰਤੀ ਲੱਗਦੇ ਹਨ।
Google Brain ਇਸ ਅਸਲ ਬੇਟ 'ਤੇ ਬਣਿਆ ਸੀ: ਬਹੁਤ ਸਾਰੀਆਂ ਸਭ ਤੋਂ ਰੁਚਿਕਰ ਮਾਡਲ ਸੁਧਾਰ ਉਹਨਾਂ ਦਿੱਖਦੇ ਹਨ ਜਦੋਂ ਤੁਸੀਂ ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਇਕ-ਮਸ਼ੀਨ ਜਾਂ ਛੋਟੀ ਕਲਸਟਰ ਤੋਂ ਕਾਫੀ ਦੂਰ ਧੱਕੋ। Sutskever ਵਰਗੇ ਖੋਜਕਾਰਾਂ ਲਈ, ਉਹ ਵਾਤਾਵਰਣ ਉਹਨਾਂ ਵਿਚਾਰਾਂ ਨੂੰ ਤਵੱਜੋ ਦਿੰਦਿਆਂ ਸਨ ਜੋ ਸਕੇਲ ਕਰਦੇ—ਨਾ ਕਿ ਸਿਰਫ ਉਹ ਜੋ ਛੋਟੇ ਡੈਮੋ ਵਿੱਚ ਵਧੀਆ ਲੱਗਦੇ।
ਇੱਕ ਵੱਡੀ ਲੈਬ ਮਹੱਤਵਪੂਰਨ ਟ੍ਰੇਨਿੰਗ ਦੌੜਾਂ ਨੂੰ ਇੱਕ ਦੁਹਰਾਏ ਯੋਗ ਰੁਟੀਨ ਵਿੱਚ ਬਦਲ ਸਕਦੀ ਹੈ। ਇਸਦਾ ਆਮ ਤੌਰ 'ਤੇ ਮਤਲਬ ਸੀ:
ਜਦੋਂ ਕੰਪਿਊਟ ਕਾਫੀ ਹੈ ਪਰ ਅਸੀਮ ਨਹੀਂ, ਰੁਕਾਵਟ ਬਣ ਜਾਂਦੀ ਹੈ ਇਹ ਫ਼ੈਸਲਾ ਕਰਨਾ ਕਿ ਕਿਹੜੇ ਪ੍ਰਯੋਗ ਇੱਕ ਸਲਾਟ ਦੇ ਯੋਗ ਹਨ, ਉਨ੍ਹਾਂ ਨੂੰ ਕਿਵੇਂ ਨਪਣਾ ਜਾਏ ਅਤੇ ਉਹ ਗਲਤੀਆਂ ਜੋ ਸਿਰਫ ਸਕੇਲ 'ਤੇ ਆਉਂਦੀਆਂ ਹਨ, ਉਹ ਕਿਵੇਂ ਡਿਬੱਗ ਕੀਤੀਆਂ ਜਾਣ।
ਇੱਕ ਰਿਸਰਚ ਗਰੁੱਪ ਵਿੱਚ ਵੀ, ਮਾਡਲਾਂ ਨੂੰ ਭਰੋਸੇਯੋਗ ਤਰੀਕੇ ਨਾਲ ਟ੍ਰੇਨ ਕਰਨਾ, ਸਹਿ-ਕਰਮੀ ਦੁਆਰਾ ਦੁਹਰਾਏ ਜਾਣ ਯੋਗ ਬਣਾਉਣਾ ਅਤੇ ਸਾਂਝੀ ਇਨਫ੍ਰਾਸਟਰਕਚਰ ਨਾਲ ਮੇਲ ਖਾਣਾ ਲਾਜ਼ਮੀ ਹੁੰਦਾ ਹੈ। ਇਹ ਪ੍ਰਯੋਗਿਕ ਅਨੁਸ਼ਾਸਨ ਲਿਆਉਂਦਾ ਹੈ: ਮੋਨੀਟਰਿੰਗ, ਫੇਲਯਰ ਰਿਕਵਰੀ, ਸਥਿਰ ਮੁਲਿਆਕੰਨ ਸੈੱਟ ਅਤੇ ਲਾਗਤ-ਅਨੁਭਵ। ਇਹ ਵੀ ਦੁਹਰਾਏ ਯੋਗ ਟੂਲਿੰਗ ਨੂੰ ਉਤਸ਼ਾਹਤ ਕਰਦਾ ਹੈ—ਕਿਉਂਕਿ ਹਰ ਪੇਪਰ ਲਈ ਪਾਈਪਲਾਈਨ ਨੂੰ ਦੁਬਾਰਾ ਬਣਾਉਣਾ ਧੀਮਾ ਕਰ ਦੇਂਦਾ ਹੈ।
ਆਧੁਨਿਕ LLMs ਆਉਣ ਤੋਂ ਕਾਫ਼ੀ ਪਹਿਲਾਂ, ਟ੍ਰੇਨਿੰਗ ਸਿਸਟਮਾਂ ਵਿੱਚ ਕਠਿਨ ਤਜ਼ਰਬਾ—ਡਾਟਾ ਪਾਇਪਲਾਈਨ, ਡਿਸਟ੍ਰਿਬਿਊਟਡ ਆਪਟੀਮਾਈਜ਼ੇਸ਼ਨ, ਐਕਸਪੇਰੀਮੈਂਟ ਪ੍ਰਬੰਧ—ਪੈਦਾ ਹੋ ਰਿਹਾ ਸੀ। ਜਦ LLMs ਆਏ, ਉਹ ਇਨф੍ਰਾਸਟਰਕਚਰ ਸਿਰਫ਼ ਮਦਦਗਾਰ ਨਾ ਰਹੀ; ਇਹ ਇੱਕ ਮੁਕਾਬਲਾਤੀ ਫ਼ਾਇਦਾ ਬਣ ਗਈ ਜੋ ਟੀਮਾਂ ਨੂੰ ਜੋ ਸਕੇਲ ਕਰ ਸਕਦੀਆਂ ਸਨ ਅਤੇ ਜੋ ਸਿਰਫ ਪ੍ਰੋਟੋਟਾਈਪ ਤਿਆਰ ਕਰ ਸਕਦੀਆਂ ਸਨ, ਵਿੱਚ ਵੱਖ ਕਰ ਦਿੱਤਾ।
OpenAI ਇਕ ਅਸਾਧਾਰਨ ਸਾਦਾ, ਉੱਚ-ਸਤਹ ਦਾ ਟੀਕਾ ਨਾਲ ਸਥਾਪਿਤ ਹੋਇਆ: ਕৃত੍ਰਿਮ ਬੁੱਧੀ ਖੋਜ ਨੂੰ ਅੱਗੇ ਵਧਾਓ ਅਤੇ ਇਸਦੇ ਫਾਇਦੇ ਸਮਾਜ ਤੱਕ ਪਹੁੰਚਾਉ—ਨਾ ਕਿ ਸਿਰਫ਼ ਇਕ ਉਤਪਾਦ ਲਾਈਨ ਤੱਕ। ਉਹ ਮਕਸਦ ਮਹਤੱਵਪੂਰਨ ਸੀ ਕਿਉਂਕਿ ਇਸਨੇ ਮਹਿੰਗੇ, ਲੰਬੇ-ਹੋਰਾਈਜ਼ਨ ਅਤੇ ਅਣਿਸ਼ਚਿਤ ਕੰਮਾਂ ਨੂੰ ਪ੍ਰੇਰਿਤ ਕੀਤਾ—ਜੋ LLMs ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਚਕਚਕਾ ਡੈਮੋ ਤੋਂ ਅੱਗੇ ਲੈ ਜਾਣ ਲਈ ਲੋੜੀਂਦੇ ਸਨ।
Ilya Sutskever ਨੇ OpenAI ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਸ਼ਾਮਿਲ ਹੋ ਕੇ ਇੱਕ ਮੁੱਖ ਰਿਸਰਚ ਆਗੂ ਦਾ ਕੰਮ ਕੀਤਾ। ਇਸਨੂੰ ਇੱਕ ਇਕੱਲੇ ਆਵਿਸਕਾਰਕ ਦੀ ਕਥਾ ਬਣਾਉਣਾ ਆਸਾਨ ਹੈ, ਪਰ ਜਿਆਦਾ ਸਹੀ ਤਸਵੀਰ ਇਹ ਹੈ: ਉਹ ਰਿਸਰਚ ਪ੍ਰਾਥਮਿਕਤਾਵਾਂ ਨਿਰਧਾਰਤ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੇ, ਮੁਸ਼ਕਲ ਸਵਾਲ ਪੁੱਛਦੇ ਅਤੇ ਟੀਮਾਂ ਨੂੰ ਵੱਡੇ ਪੈਮਾਨੇ 'ਤੇ ਵਿਚਾਰਾਂ ਦੀ ਪਰਖ ਕਰਨ ਲਈ ਧੱਕਦੇ ਰਹਿੰਦੇ।
ਆਧੁਨਿਕ AI ਲੈਬਾਂ ਵਿੱਚ, ਲੀਡਰਸ਼ਿਪ ਅਕਸਰ ਇਹ ਚੁਣਨਾ ਹੁੰਦਾ ਹੈ ਕਿ ਕਿਹੜੀਆਂ ਸ਼ਰਤਾਂ ਮਹੀਨਿਆਂ ਦੇ ਕੰਪਿਊਟ ਦੇ ਯੋਗ ਹਨ, ਕਿਹੜੇ ਨਤੀਜੇ ਅਸਲੇ ਹਨ ਬਨਾਮ ਯਾਦਿ-ਤ੍ਰੁੱਟੀ, ਅਤੇ ਕਿਹੜੀਆਂ ਤਕਨੀਕੀ ਰੁਕਾਵਟਾਂ ਅਗਲੇ ਦੌਰ ਲਈ ਲਿਆਉਣ ਯੋਗ ਹਨ।
LLM ਵਿਕਾਸ ਅਕਸਰ ਕ੍ਰਮਿਕ ਹੁੰਦਾ ਹੈ: ਡਾਟਾ ਛੰਟਾਈ ਵਿੱਚ ਸੁਧਾਰ, ਜ਼ਿਆਦਾ ਸਥਿਰ ਟ੍ਰੇਨਿੰਗ, ਹੋਸ਼ਿਆਰ ਮੁਲਿਆਕੰਨ, ਅਤੇ ਉਹ ਇੰਜੀਨੀਅਰਿੰਗ ਜੋ ਮਾਡਲਾਂ ਨੂੰ ਲੰਮਾ ਸਮਾਂ ਟ੍ਰੇਨ ਕਰਨ ਯੋਗ ਬਣਾਉਂਦੀ ਹੈ। ਇਹ ਸੁਧਾਰ ਥੋੜੇ ਬੇਮੋਹਰੀ ਲੱਗ ਸਕਦੇ ਹਨ, ਪਰ ਉਹ ਇਕੱਠੇ ਹੋ ਕੇ ਮਹੱਤਵਪੂਰਨ ਨਤੀਜੇ ਲਿਆਉਂਦੇ ਹਨ।
ਕੇਵਲ-ਕਈ ਵਾਰੀ, ਇੱਕ ਤਕਨੀਕ ਜਾਂ ਸਕੇਲ ਛਾਲ ਨਵੀਆਂ ਜ਼ੁਬਾਨਦਾਰੀ ਖੋਲ੍ਹ ਦਿੰਦੀ ਹੈ। ਇਹ ਬਦਲਾਅ "ਇਕ ਅਜੀਬ ਚਾਲ" ਨਹੀਂ ਹੁੰਦੇ; ਇਹ ਸਾਲਾਂ ਦੀ ਬੀਜੇ ਬੁਹਤ ਅਤੇ ਵੱਡੇ ਪ੍ਰਯੋਗਾਂ ਚਲਾਉਣ ਦੀ ਤਿਆਰੀ ਦਾ ਨਤੀਜਾ ਹੁੰਦੇ ਹਨ।
ਆਧੁਨਿਕ LLM ਪ੍ਰੋਗਰਾਮਾਂ ਦੇ ਪਿੱਛੇ ਇਕ ਨਿਰਧਾਰਤ ਰੁਪ ਇਹ ਹੈ: GPT-ਸਟਾਈਲ ਪ੍ਰੀਟ੍ਰੇਨਿੰਗ। ਸੋਚ ਸਧਾਰਨ ਹੈ: ਮਾਡਲ ਨੂੰ ਬਹੁਤ ਮਾਤਰਾ ਵਿੱਚ ਟੈਕਸਟ ਦਿਓ ਅਤੇ ਉਸਨੂੰ ਅਗਲਾ ਟੋਕਨ ਭਵਿੱਖਵਾਣੀ ਕਰਨਾ ਸਿਖਾਓ। ਇਸ ਸਧਾਰਨ ਟਾਸਕ ਨੂੰ ਦੋਹਰਾਉਂਦੇ ਹੋਏ, ਮਾਡਲ ਵਿਆਕਰਨ, ਤੱਥ, ਅੰਦਾਜ਼ ਅਤੇ ਹੋਰ ਬਹੁਤ ਸਾਰੀਆਂ ਪੈਟਰਨ ਬੇਹੱਦ ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਸਿੱਖ ਲੈਂਦਾ ਹੈ।
ਪ੍ਰੀਟ੍ਰੇਨਿੰਗ ਤੋਂ ਬਾਅਦ, ਉਹੀ ਮਾਡਲ prompting ਜਾਂ ਵਧੇਰੇ ਟ੍ਰੇਨਿੰਗ ਰਾਹੀਂ ਸੰਖੇਪ, Q&A ਜਾਂ ਡਰਾਫਟਿੰਗ ਵਰਗੇ ਟਾਸਕਾਂ ਲਈ ਅਨੁਕੂਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ "ਸਰਵ-ਪਹਿਲਾਂ, ਵਿਸ਼ੇਸ਼-ਬਾਦ" ਰੈਸਪੀ ਨੇ ਭਾਸ਼ਾ ਮਾਡਲਿੰਗ ਨੂੰ ਕਈ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਇੱਕ ਆਪਣੇ ਆਪ ਵਿੱਚ ਮੌਜੂਦ ਨੀਂਹ ਬਣਾ ਦਿੱਤਾ।
ਵੱਡੇ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਨਾ ਸਿਰਫ ਹੋਰ GPUs ਕਿਰाए 'ਤੇ ਲੈਣਾ ਨਹੀਂ ਹੈ। ਜਿਵੇਂ-ਜਿਵੇਂ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਗਿਣਤੀ ਵਧਦੀ ਹੈ, "ਇੰਜੀਨੀਅਰਿੰਗ ਮਾਰਜਿਨ" ਘਟਦਾ ਹੈ: ਡਾਟਾ, ਆਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਜਾਂ ਮੁਲਿਆਕੰਨ ਵਿੱਚ ਛੋਟੀ ਸਮੱਸਿਆ ਮਹਿੰਗੀਆਂ ਅਸਫਲਤਾਂ ਵਿੱਚ ਬਦਲ ਸਕਦੀ ਹੈ।
ਡਾਟਾ ਗੁਣਵੱਤਾ ਪਹਿਲਾ ਹਥੌੜਾ ਹੈ ਜੋ ਟੀਮਾਂ ਕੰਟਰੋਲ ਕਰ ਸਕਦੀਆਂ ਹਨ। ਵੱਡੇ ਮਾਡਲ ਜੋ ਕੁਝ ਸਿੱਖਦੇ ਹਨ, ਉਹ ਤੁਹਾਡੇ ਦਿੱਤੇ ਚੰਗੇ-ਬੁਰੇ ਦੋਹਾਂ ਸਿੱਖਦੇ ਹਨ। ਪ੍ਰਯੋਗੀ ਕਦਮ ਜੋ ਮੈਟਰ:
ਆਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਸਥਿਰਤਾ ਦੂਜਾ ਹਥੌੜਾ ਹੈ। ਸਕੇਲ 'ਤੇ, ਟ੍ਰੇਨਿੰਗ ਅਜਿਹੀਆਂ ਤਰੀਕਿਆਂ ਨਾਲ ਅਸਫਲ ਹੋ ਸਕਦੀ ਹੈ ਜੋ ਬੇਤਰਤੀਬੀ ਦਿਸ ਸਕਦੀਆਂ ਹਨ ਜੇ ਤਕਨੀਕੀ ਨਿਗਰਾਨੀ ਨਹੀਂ ਹੋਵੇ। ਆਮ ਅਭਿਆਸਾਂ ਵਿੱਚ ਧਿਆਨ ਦੇਣ ਜੋਗੇ ਹਨ: ਸਾਵਧਾਨ ਲਰਨਿੰਗ-ਰੇਟ ਸਕੈਜੂਲ, ਗਰੇਡੀਐਂਟ ਕਲਿੱਪਿੰਗ, ਮਿਕਸਡ ਪ੍ਰਿਸੀਜ਼ਨ ਨਾਲ ਲਾਸ ਸਕੇਲਿੰਗ, ਅਤੇ ਨਿਯਮਤ ਚੈਕਪੌਇਂਟਿੰਗ। ਇੰਨ੍ਹਾਂ ਤੋਂ ਇਲਾਵਾ: ਲਾਸ ਸਪਾਈਕਸ, NaNs ਅਤੇ ਟੋਕਨ ਵੰਡ ਵਿੱਚ ਅਚਾਨਕ ਬਦਲਾਅ ਲਈ ਮੋਨੀਟਰਿੰਗ ਕਰਨਾ ਬਹੁਤ ਜ਼ਰੂਰੀ ਹੈ।
ਇਵੈਲੂਏਸ਼ਨ ਤੀਜਾ ਅੰਗ ਹੈ—ਅਤੇ ਇਹ ਲਗਾਤਾਰ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਇੱਕ "ਅੰਤਿਮ ਬੈਂਚਮਾਰਕ" ਦੇਖ ਕੇ ਬਾਅਦ 'ਚ ਪਤਾ ਲੱਗਣਾ ਬਹੁਤ ਦੇਰ ਹੋਵੇਗੀ। ਹਰ ਕੁਝ ਹਜ਼ਾਰ ਸਟੈਪਾਂ 'ਤੇ ਇੱਕ ਛੋਟੀ ਤੇਜ਼ ਇਵੈਲ ਸੂਟ ਵਰਤੋ ਅਤੇ ਰੋਜ਼ਾਨਾ ਵੱਡੀ ਸੂਟ ਚਲਾਓ, ਜਿਸ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋ ਸਕਦਾ ਹੈ:
ਅਸਲ ਪ੍ਰોજੈਕਟਾਂ ਲਈ, ਸਭ ਤੋਂ ਨਿਆੰਤਰਯੋਗ ਜਿੱਤ ਇੱਕ ਅਨੁਸ਼ਾਸਿਤ ਡਾਟਾ ਪਾਇਪਲਾਈਨ, ਕਠੋਰ ਮੋਨੀਟਰਿੰਗ, ਅਤੇ ਉਹ ਇਵੈਲੂਏਸ਼ਨ ਹਨ ਜੋ ਮਾਡਲ ਦੇ ਵਰਤੇ ਜਾਣ ਸੰਦਭ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ—ਸਿਰਫ਼ ਲੀਡਰਬੋਰਡ ਵਾਂਗ ਨਹੀਂ।
ਜਿਵੇਂ-जਿਵੇਂ ਭਾਸ਼ਾਈ ਮਾਡਲ ਸਿਰਫ਼ autocomplete ਤੋਂ ਅੱਗੇ ਵਧ ਕੇ—ਕੋਡ ਲਿਖਣਾ, ਸਲਾਹ ਦੇਣਾ, ਕਈ ਕਦਮੀ ਹਿਦਾਇਤਾਂ ਲੈਣਾ—ਲੋਕਾਂ ਨੇ ਸਮਝਿਆ ਕਿ ਸਖਤ ਯੋਗਤਾ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਵੱਖ-ਵੱਖ ਚੀਜ਼ਾਂ ਹਨ। ਏਥੇ "AI ਸੇਫਟੀ" ਅਤੇ "ਅਲਾਇਨਮੈਂਟ" ਆਗੂ ਲੈਬਾਂ ਅਤੇ ਖੋਜਕਾਰਾਂ ਲਈ ਕੇਂਦਰੀ ਵਿਸ਼ੇ ਬਣ ਗਏ, ਜਿਸ ਵਿੱਚ Ilya Sutskever ਵੀ ਸ਼ਾਮਿਲ ਹਨ।
ਸੁਰੱਖਿਆ ਦਾ ਮਤਲਬ ਨੁਕਸਾਨਦਾਇਕ ਵਰਤਾਰਿਆਂ ਨੂੰ ਘਟਾਉਣਾ ਹੈ: ਮਾਡਲ ਗੈਰਕਾਨੂੰਨੀ ਕਾਰਵਾਈਆਂ ਦੀ ਹਦਾਇਤ ਨਾ ਦੇਵੇ, ਖਤਰਨਾਕ ਨਿਰਦੇਸ਼ ਨਾ ਜਨਰੇਟ ਕਰੇ, ਜਾਂ ਪਾਤਰਤਾ ਨੂੰ ਵਧਾਉਂਦਾ ਜਬਰ ਨਾ ਕਰੇ।
ਅਲਾਇਨਮੈਂਟ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਸਿਸਟਮ ਦਾ ਵਰਤਾਰਾ ਸੰਦਰਭ ਵਿੱਚ ਲੋਕਾਂ ਦੀ ਪਹਿਲ ਅਤੇ ਮੁੱਲਾਂ ਨਾਲ ਮਿਲਦਾ-ਜੁਲਦਾ ਹੋਵੇ। ਇੱਕ ਮਦਦਗਾਰ ਸਹਾਇਕ ਤੁਹਾਡੇ ਲਕਸ਼ ਨੂੰ ਪਾਲੇ, ਸੀਮਾਵਾਂ ਦਾ ਆਦਰ ਕਰੇ, ਅਨਿਸ਼ਚਿਤਤਾ ਨੂੰ ਸਵੀਕਾਰ ਕਰੇ ਅਤੇ ਨੁਕਸਾਨਦਾਇਕ "ਰਚਨਾਤਮਕ" ਛਲਾਂ ਤੋਂ ਬਚੇ।
ਜਿਵੇਂ-ਜਿਵੇਂ ਮਾਡਲ ਹੁਨਰਵਾਨ ਹੋਏ, ਘਟਨਾ ਖਤਰੇ ਵੀ ਵਧੇ। ਇੱਕ ਕਮਜ਼ੋਰ ਮਾਡਲ ਘੁੰਮਾਫਿਰਮ ਕੀਤਾ ਨonsense ਪੈਦਾ ਕਰ ਸਕਦਾ; ਪਰ ਇੱਕ ਤਾਕਤਵਰ ਮਾਡਲ ਪ੍ਰਾਜ਼ੇਕੀ, ਕਾਰਜਯੋਗ ਅਤੇ ਬਹੁਤ ਨਿੱਜीक ਨਤੀਜੇ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ। ਇਸ ਨਾਲ ਹੇਠਾਂ ਦੀਆਂ ਮੁਸ਼ਕਿਲਾਂ ਪੈਦਾ ਹੁੰਦੀਆਂ ਹਨ:
ਯੋਗਤਾ ਵਿੱਚ ਹੋਏ ਫਾਇਦੇ ਨਾਲ ਬਹਿਤਰੀਨ ਗਾਰਡਰੇਲਜ਼, ਸਾਫ਼ ਮੁਲਿਆਕੰਨ ਅਤੇ ਮਜ਼ਬੂਤ ਓਪਰੇਸ਼ਨਲ ਅਨੁਸ਼ਾਸਨ ਦੀ ਲੋੜ ਵੱਧਦੀ ਹੈ।
ਸੁਰੱਖਿਆ ਇਕ ਸਵਿੱਚ ਨਹੀਂ—ਇਹ ਤਰੀਕਿਆਂ ਅਤੇ ਜਾਂਚ-ਪੜਤਾਲਾਂ ਦਾ ਸਮੂਹ ਹੈ, ਜਿਵੇਂ:
ਅਲਾਇਨਮੈਂਟ ਜੋਖਮ ਪ੍ਰਬੰਧਨ ਹੈ, ਨਰਮਤਾ ਨਹੀਂ। ਕਸੇ ਹੋਰ ਪਾਬੰਦੀਆਂ ਨੁਕਸਾਨ ਘਟਾ ਸਕਦੀਆਂ ਹਨ ਪਰ ਉਪਯੋਗਿਤਾ ਅਤੇ ਯੂਜ਼ਰ ਫ੍ਰੀਡਮ ਨੂੰ ਘਟਾ ਸਕਦੀਆਂ ਹਨ। ਢਿੱਲੀਆਂ ਪਲਿਸੀਆਂ ਜ਼ਿਆਦਾ ਖੁੱਲ੍ਹੀਆਂ ਲੱਗਦੀਆਂ ਹਨ, ਪਰ ਉਨ੍ਹਾਂ ਨਾਲ ਗਲਤ ਉਪਯੋਗ ਜਾਂ ਅਸੁਰੱਖਿਅਤ ਸਲਾਹ ਦਾ ਖਤਰਾ ਵੱਧ ਜਾਂਦਾ ਹੈ। ਚੁਣੌਤੀ ਇੱਕ ਵਰਤਣਯੋਗ ਸੰਤੁਲਨ ਖੋਜਣ ਅਤੇ ਮਾਡਲ ਬੇਹੱਤਰੀ ਨਾਲ ਅਪਡੇਟ ਕਰਨ ਦੀ ਹੈ।
ਇੱਕ ਵੱਡੇ ਆਦਮੀ ਨੂੰ ਇੱਕ ਨਾਂਹ ਨਾਲ ਜੋੜਨਾ ਆਸਾਨ ਹੈ, ਪਰ ਆਧੁਨਿਕ AI ਤਰੱਕੀ ਆਮ ਤੌਰ 'ਤੇ ਕਈ ਲੈਬਾਂ ਦੇ ਦੁਹਰਾਏ ਕੰਮ ਦਾ ਨਤੀਜਾ ਹੁੰਦੀ ਹੈ। ਫਿਰ ਵੀ, ਕੁਝ ਥੀਮਾਂ Sutskever ਦੇ ਰਿਸਰਚ ਯੁੱਗ ਨਾਲ ਅਕਸਰ ਵਿਚਾਰਨਯੋਗ ਹਨ—ਅਤੇ ਉਹ LLMs ਦੇ ਵਿਕਾਸ ਨੂੰ ਸਮਝਣ ਲਈ ਔਜ਼ਾਰ ਦੇਂਦੀਆਂ ਹਨ।
Seq2seq ਮਾਡਲ "encoder, ਫਿਰ decoder" ਪੈਟਰਨ ਨੂੰ ਲੋਕਪ੍ਰਿਯ ਬਣਾਉਂਦੇ ਹਨ: ਇੱਕ ਇਨਪੁੱਟ ਲੜੀ (ਜਿਵੇਂ ਇੱਕ ਵਾਕ) ਨੂੰ ਅੰਦਰੂਨੀ ਪ੍ਰਤੀਨਿਧੀ ਵਿੱਚ ਬਦਲੋ, ਫਿਰ ਇੱਕ ਆਉਟਪੁੱਟ ਲੜੀ ਜੈਨਰੇਟ ਕਰੋ। ਇਹ ਸੋਚ ਅਨੁਵਾਦ, ਸੰਖੇਪ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਵਰਗੇ ਟਾਸਕਾਂ ਲਈ ਸਹਾਇਕ ਰਹੀ, ਵੀਦ ਦੀਆਂ ਆਰਕੀਟੈਕਚਰਾਂ RNNs/LSTMs ਤੋਂ attention ਅਤੇ transformers ਵੱਲ ਬਦਲੀ।
ਡੀਪ ਲਰਨਿੰਗ ਦੀ ਖੂਬਸੂਰਤੀ ਇਹ ਸੀ ਕਿ ਸਿਸਟਮ ਡਾਟਾ ਤੋਂ ਖੁਦ ਸਿੱਖੇ ਜੁੜੀਆਂ ਫੀਚਰਾਂ ਨੂੰ ਖੋਜ ਸਕਦੇ ਹਨ, ਬਜਾਏ ਹੱਥ-ਨਿਰਮਿਤ ਨਿਯਮਾਂ ਦੇ। ਇਹ ਧਾਰਨਾ—ਮਜ਼ਬੂਤ ਆਂਤਰਿਕ ਪ੍ਰਤੀਨਿਧੀਆਂ ਸਿੱਖੋ, ਫਿਰ ਉਨ੍ਹਾਂ ਨੂੰ ਬਹੁਤ ਸਾਰੇ ਟਾਸਕਾਂ 'ਚ ਦੁਬਾਰਾ ਵਰਤੋ—ਅੱਜ ਵੀ ਪ੍ਰੀਟ੍ਰੇਨਿੰਗ + ਫਾਈਨ-ਟਿਊਨਿੰਗ, ਐਮਬੈਡਿੰਗਸ ਅਤੇ ਟ੍ਰਾਂਸਫਰ ਲਰਨਿੰਗ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ।
2010 ਦੇ ਦਹਾਕੇ ਵਿੱਚ ਇੱਕ ਵੱਡਾ ਥ੍ਰੇਡ ਇਹ ਸੀ ਕਿ ਵੱਡੇ ਮਾਡਲ, ਵੱਧ ਡਾਟਾ ਅਤੇ ਬਾਰੀਕੀ ਨਾਲ ਸੋਚਿਆ ਟ੍ਰੇਨਿੰਗ ਇਕਠੇ ਹੋਣ ਤੇ ਲਗਾਤਾਰ ਸੁਧਾਰ ਦਿੰਦੇ ਹਨ। "ਸਕੇਲਿੰਗ" ਸਿਰਫ ਆਕਾਰ ਨਹੀਂ; ਇਸਦਾ ਮਤਲਬ ਟ੍ਰੇਨਿੰਗ ਸਥਿਰਤਾ, ਬੈਚਿੰਗ, ਪੈਰਲੇਲਿਜ਼ਮ ਅਤੇ ਇਵੈਲੂਏਸ਼ਨ ਅਨੁਸ਼ਾਸਨ ਵੀ ਹੈ।
ਖੋਜਕ ਪੁਸਤਕ ਉਤਪਾਦਾਂ ਨੂੰ ਬੈਂਚਮਾਰਕ, ਖੁੱਲ੍ਹੇ ਤਰੀਕੇ ਅਤੇ ਸਾਂਝੇ ਬੇਸਲਾਈਨਾਂ ਰਾਹੀਂ ਪ੍ਰਭਾਵਿਤ ਕਰਦੇ ਹਨ: ਟੀਮਾਂ ਮੁਲਿਆਕੰਨ ਸੈਟ-ਅਪ ਦੀ ਮ<|endoftext|>
ਉਹ ਇਕੱਲਾ ਆਵਿਸਕਾਰਕ ਨਹੀਂ ਸੀ, ਪਰ ਉਸਦਾ ਕੰਮ ਇੱਕ ਅਹੰਕਾਰਪੂਰਣ ਨੁਸਖੇ ਨੂੰ ਮਨਜ਼ੂਰ ਕਰਨ ਵਿੱਚ ਮਦਦਗਾਰ ਰਿਹਾ: ਸਕੇਲ + ਸਰੁਪਤਰੀ ਤਰੀਕਿਆਂ ਨਾਲ ਟ੍ਰੇਨਿੰਗ। ਉਸਦੇ ਯੋਗਦਾਨ ਐਲਗੋਰਿਦਮਿਕ ਅਤੇ ਢਾਂਚਾਗਤ ਮੋੜਾਂ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ—ਜਿਵੇਂ ਕਿ AlexNet (ਗਹਿਰੇ ਨੈੱਟਵਰਕ ਸਕੇਲ ਤੇ ਕੰਮ ਕਰ ਸਕਦੇ ਹਨ), seq2seq (ਇੰਡ-ਟੂ-ਇੰਡ ਟੈਕਸਟ ਜੈਨਰੇਸ਼ਨ ਨੂੰ ਨਾਰਮਲ ਬਣਾਉਣਾ), ਅਤੇ ਉਸਦੀ ਰਿਸਰਚ ਲੀਡਰਸ਼ਿਪ ਜਿਸ ਨੇ ਵੱਡੇ ਟ੍ਰੇਨਿੰਗ ਦੌਰ ਕਰਨ ਨੂੰ ਦੁਹਰਾਏ ਯੋਗ ਅਭਿਆਸਾਂ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ।
ਇੱਕ ਵੱਡਾ ਭਾਸ਼ਾਈ ਮਾਡਲ ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਹੁੰਦਾ ਹੈ ਜੋ ਬਹੁਤ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਟੈਕਸਟ 'ਤੇ ਟ੍ਰੇਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਤਾਂ ਜੋ ਅਗਲਾ ਟੋਕਨ ਭਵਿੱਖਵਾਣੀ ਕੀਤਾ ਜਾਵੇ। ਇਸ ਸਧਾਰਨ ਲਕਸ਼ ਦੇ ਨਾਲ ਮਾਡਲ ਵਿਆਕਰਨ, ਅੰਦਾਜ਼, ਤੱਥਾਂ ਅਤੇ ਕੁਝ ਸਮੱਸਿਆ-ਸੁਝਾਅ ਹੁਨਰ ਸਿੱਖ ਲੈਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਸੰਖੇਪ ਲਿਖਣਾ, ਅਨੁਵਾਦ, ਡਰਾਫਟਿੰਗ ਅਤੇ Q&A ਵਰਗੇ ਕੰਮ ਹੋ ਸਕਦੇ ਹਨ।
~2010 ਤੋਂ ਪਹਿਲਾਂ deep learning ਅਕਸਰ ਹੱਥ-ਨਿਰਮਿਤ ਫੀਚਰਾਂ ਨੂੰ ਹਾਰ ਜਾਂ ਦਿੰਦੀ ਸੀ ਕਿਉਂਕਿ ਤਿੰਨ ਮੁੱਖ ਰੁਕਾਵਟਾਂ ਸਨ:
ਜਦ ਇਹ ਪਾਬੰਦੀਆਂ ਘਟੀਆਂ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਪ੍ਰਥਾਵਾਂ ਪੱਕੀਆਂ ਹੋਈਆਂ, ਤਾਂ ਅਧੁਨਿਕ LLMs ਸੰਭਵ ਹੋਏ।
AlexNet ਇਹ ਦਿਖਾਉਂਦਾ ਸੀ ਕਿ ਵੱਡੇ ਨੈੱਟਵਰਕ + GPUs + ਚੰਗੇ ਟ੍ਰੇਨਿੰਗ ਵੇਰਵਿਆਂ ਨਾਲ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਵੱਡਾ ਛਾਲ ਆ ਸਕਦਾ ਹੈ। ਇਹ ਸਿਰਫ ImageNet ਦੀ ਜਿੱਤ ਨਹੀਂ ਸੀ—ਇਸਨੇ ਇਹ ਦਿਖਾਇਆ ਕਿ “ਸਕੇਲਿੰਗ ਕੰਮ ਕਰਦੀ ਹੈ” ਅਤੇ ਹੋਰ ਖੇਤਰ ਵੀ ਇਸ ਤਰੀਕੇ ਨੂੰ ਅਪਣਾ ਸਕਦੇ ਹਨ।
ਭਾਸ਼ਾ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਇੱਕ ਲੜੀ-ਸਬੰਧੀ ਸਮੱਸਿਆ ਹੈ: ਅਰਥ ਕ੍ਰਮ ਅਤੇ ਪਿਛਲੇ ਸੰਦਰਭ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ। Seq2seq ਨੇ ਅਨੁਵਾਦ ਜਿਹੇ ਕੰਮਾਂ ਨੂੰ ਜਨਰੇਸ਼ਨ ਵਜੋਂ ਮੁੜ-ਪੇਸ਼ ਕੀਤਾ: encoder–decoder ਡਿਜ਼ਾਈਨ ਨਾਲ ਇਕ ਇਨਪੁਟ ਲੜੀ ਨੂੰ ਪੜ੍ਹ ਕੇ ਇੱਕ ਅੰਦਰੂਨੀ ਪ੍ਰਤੀਨਿਧੀ ਬਣਾਈ ਜਾਂਦੀ ਹੈ, ਫਿਰ decoder Token-ਦਰ-Token ਆਉਟਪੁਟ ਬਣਾਉਂਦਾ। ਇਹ ਸੋਚ ਅੰਤ-ਤੱਕ ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਸਧਾਰਨ ਬਣਾਉਂਦੀ ਹੈ ਅਤੇ ਆਧੁਨਿਕ LLM ਵਰਕਫਲੋਜ਼ ਲਈ ਰਾਹ ਖੋਲ੍ਹਦੀ ਹੈ।
ਵੱਡੇ ਪੈਮਾਨੇ 'ਤੇ, ਇੱਕ ਲੈਬ ਦਾ ਫਾਇਦਾ ਅਕਸਰ ਓਪਰੇਸ਼ਨਲ ਹੁੰਦਾ ਹੈ:
ਇਹ ਇਸ ਲਈ ਜਰੂਰੀ ਹੈ ਕਿਉਂਕਿ ਬਹੁਤ ਵੱਡੇ ਮਾਡਲਾਂ ਅਤੇ ਡੈਟਾਸੈੱਟਾਂ 'ਤੇ ਕਈ ਫੇਲ੍ਹਯਾ ਕੇਸ ਸਿਰਫ ਉਸ ਸਮੇਂ ਨਜ਼ਰ ਆਉਂਦੇ ਹਨ—ਅਤੇ ਜਿਹੜੀਆਂ ਟੀਮਾਂ ਉਹਨਾਂ ਨੂੰ ਡਿਬੱਗ ਕਰ ਸਕਦੀਆਂ ਹਨ, ਉਹ ਅੱਗੇ ਰਹਿੰਦੀ ਹਨ।
GPT-ਸ਼ੈਲੀ ਪ੍ਰੀਟ੍ਰੇਨਿੰਗ ਵਿੱਚ ਇਹ ਧਾਰਨਾ ਹੈ: ਮਾਡਲ ਨੂੰ ਬਹੁਤ ਵੱਡੀ ਟੈਕਸਟ ਕੋਰਪਸ 'ਤੇ ਅਗਲਾ ਟੋਕਨ ਭਵਿੱਖਵਾਣੀ ਲਈ ਟ੍ਰੇਨ ਕਰੋ। ਇਸ ਆਮ ਟ੍ਰੇਨਿੰਗ ਨਾਲ ਮਾਡਲ ਬਹੁਤ ਸਾਰੀਆਂ ਗੁਣਵੱਤਾਵਾਂ ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਸਿੱਖ ਲੈਂਦਾ ਹੈ। ਪ੍ਰੀਟ੍ਰੇਨਿੰਗ ਤੋਂ ਬਾਅਦ, ਮਾਡਲ ਨੂੰ prompting, ਫਾਈਨ-ਟਿਊਨਿੰਗ ਜਾਂ instruction training ਰਾਹੀਂ ਵਿਸ਼ੇਸ਼ ਕੰਮਾਂ ਲਈ ਅਨੁਕੂਲਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ—ਇਸ ਲਈ ਵੱਖ-ਵੱਖ ਟਾਸਕਾਂ ਲਈ ਵੱਖ-ਵੱਖ ਮਾਡਲ ਬਣਾਉਣ ਦੀ ਲੋੜ ਘੱਟ ਹੋ ਜਾਂਦੀ ਹੈ।
ਤਿੰਨ ਵਿਸ਼ੇਸ਼ ਲਿਵਰ ਜ਼ਿਆਦਾ ਅਹੰਕਾਰ ਰੱਖਦੇ ਹਨ:
ਇਹਨਾਂ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਮਹਿੰਗੀਆਂ ਗਲਤੀਆਂ—ਜਿਵੇਂ ਸਿਖਲਾਈ ਦੀ ਅਸਫਲਤਾ, ਓਵਰਫਿਟਿੰਗ ਜਾਂ ਰੀਗ੍ਰੈਸ਼ਨ—ਕੰਨਟਰੋਲ ਕੀਤੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ।
ਜਦੋਂ ਮਾਡਲ ਕਿਸੇ ਕੰਮ 'ਚ ਨਿਪੁੰਨ ਹੋ ਜਾਂਦੇ ਹਨ—ਕੋਡ ਲਿਖਣਾ, ਸਲਾਹ ਦੇਣਾ, ਕਈ ਕਦਮੀ ਹਿਦਾਇਤਾਂ ਲੈਣਾ—ਤਾਂ ਲੋਕਾਂ ਨੇ ਸਮਝਿਆ ਕਿ ਸਿਰਫ ਯੋਗਤਾ ਕਾਫੀ ਨਹੀਂ ਹੈ; ਭਰੋਸੇਯੋਗਤਾ ਵੀ ਲਾਜ਼ਮੀ ਹੈ।
ਪ੍ਰਯੋਗ ਵਿੱਚ, ਇਹ ਇਵੈਲੂਏਸ਼ਨ, ਰੈੱਡ-ਟੀਮਿੰਗ, ਅਤੇ ਨੀਤੀ-ਚਲਿਤ ਟ੍ਰੇਨਿੰਗ/ਟੈਸਟਿੰਗ ਵਰਗੀਆਂ ਕੈਚਾਂਦੀ ਤਕਨੀਕਾਂ ਨਾਲ ਲਾਗੂ ਹੁੰਦਾ ਹੈ।
ਸਿੰਪਲ ਪਾਠ: ਉਪਲੇਖ ਇਨਸਾਈਟ ਇਹ ਹੈ ਕਿ ਸਧਾਰਨ ਆਈਡੀਆਜ਼ ਨੂੰ ਵੱਡੇ ਪੈਮਾਨੇ ਤੇ ਬੜੀ ਨਿਭਰਤਾ ਨਾਲ ਲਾਗੂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਉਤਪਾਦ ਟੀਮਾਂ ਲਈ ਸਲਾਹ ਇਹ ਹੈ ਕਿ ਅਧਿਕ ਅਨੁਸੰਦਾਨ ਕਰਨ ਦੀ ਥਾਂ ਐਕਸਪਰਟਿਮੈਂਟਸ ਘੱਟ ਕਰੋ: ਛੋਟੇ ਪ੍ਰਯੋਗ ਚਲਾਓ, ਸਾਫ ਮੈਟ੍ਰਿਕਸ ਚੁਣੋ, ਤੇ ਤੇਜ਼ੀ ਨਾਲ ਇਟਰੇਟ ਕਰੋ।
ਮੁੱਖ ਨੁਕਤੇ: