ਪڑ੍ਹੋ ਕਿ ਗੂਗਲ ਨੇ Transformer ਤਕਨੀਕ ਕਿਵੇਂ ਬਣਾਈ ਜਿਹੜੀ GPT ਦੀ ਬੁਨਿਆਦ ਸੀ, ਪਰ OpenAI ਨੇ ਉਸਨੂੰ ਉਤਪਾਦ ਵਿੱਚ ਬਦਲ ਕੇ ਜਨਰੇਟਿਵ AI ਦੀ ਅਗਵਾਈ ਕਿਵੇਂ ਕਰ ਲਈ — ਅਤੇ ਨਿਰਮਾਤਿਆਂ ਲਈ ਇਸਦਾ ਕੀ ਮਤਲਬ ਹੈ।
ਗੂਗਲ ਨੇ AI "ਚ ਗਲਤੀ" ਨਹੀਂ ਕੀਤੀ — ਉਸਨੇ ਉਸ ਲਹਿਰ ਦੀ ਇੱਕ ਵੱਡੀ ਹਿੱਸਾ ਅਵিষਕਾਰ ਕੀਤਾ ਜੋ ਮੌਜੂਦਾ ਜਨਰੇਟਿਵ ਲਹਿਰ ਨੂੰ ਸੰਭਵ ਬਣਾਉਂਦੀ ਹੈ—ਅਤੇ ਫਿਰ ਕਿਸੇ ਹੋਰ ਨੂੰ ਇਸਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਉਤਪਾਦ ਬਣਾਉਣ ਦਿੱਤਾ।
ਗੂਗਲ ਦੇ ਰਿਸਰਚਰਾਂ ਨੇ Transformer ਆਰਕੀਟੇਕਚਰ ਬਣਾਇਆ, ਜੋ GPT ਮਾਡਲਾਂ ਦੇ ਪਿੱਛੇ ਮੁੱਖ ਖ਼ਿਆਲ ਹੈ। 2017 ਦਾ ਪੇਪਰ, “Attention Is All You Need,” ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਕਿਵੇਂ ਬਹੁਤ ਵੱਡੇ ਮਾਡਲਸ ਨੂੰ ਟ੍ਰੇਨ ਕਰਕੇ ਭਾਸ਼ਾ ਨੂੰ ਸੁਘੜਤਾ ਨਾਲ ਸਮਝਿਆ ਅਤੇ ਉਤਪੰਨ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਉਸ ਕੰਮ ਦੇ ਬਿਨਾਂ ਵਰਤਮਾਨ GPT ਮੰਡਲ ਹੋਰ ਰੂਪ ਵਿੱਚ ਨਹੀਂ ਹੁੰਦਾ।
OpenAI ਦੀ ਸਫਲਤਾ ਕੋਈ ਜਾਦੂਈ ਨਵੀਂ ਅਲਗੋਰਿਦਮ ਨਹੀਂ ਸੀ। ਇਹ ਇੱਕ ਕਈ ਰਣਨੀਤੀਆਂ ਦਾ ਨਤੀਜਾ ਸੀ: Transformers ਨੂੰ ਉਨ੍ਹਾਂ ਵਿਸ਼ਾਲ ਪੱਧਰ 'ਤੇ ਸਕੇਲ ਕਰਨਾ, ਲੰਬੀਆਂ ਟ੍ਰੇਨਿੰਗ ਰਨਜ਼ ਕਰਵਾਉਣਾ, ਅਤੇ ਨਤੀਜੇ ਨੂੰ ਆਸਾਨ-ਵਰਤੋਂ APIs ਅਤੇ ਆਖ਼ਿਰਕਾਰ ChatGPT ਵਜੋਂ ਪੈਕ ਕਰਨਾ—ਇੱਕ ਉਪਭੋਗਤਾ ਉਤਪਾਦ ਜਿਸ ਨੇ ਸੈਂਕੜਿਆਂ ਮਿਲੀਅਨਾਂ ਲੋਕਾਂ ਲਈ AI ਨੂੰ ਹਕੀਕਤ ਬਣਾਇਆ।
ਇਹ ਲੇਖ ਉਹਨਾਂ ਫੈਸਲਿਆਂ ਅਤੇ ਵਿਵਾਦਾਂ ਬਾਰੇ ਹੈ, ਨ ਕਿ ਕੋਈ ਰਾਜ਼ੀਨੁਮਾ ਡਰਾਮਾ ਜਾਂ ਨਿੱਜੀ ਹੀਰੋ-ਵਿਲੇਨ। ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਗੂਗਲ ਦੀ ਖੋਜ-ਸਭਿਆਚਾਰ ਅਤੇ ਕਾਰੋਬਾਰੀ ਮਾਡਲ ਨੇ ਕਿਵੇਂ BERT-ਸਮਰੱਥ ਮਾਡਲਾਂ ਅਤੇ ਖੋਜ ਵਿੱਚ ਕਦਮ-ਬ-ਕਦਮ ਸੁਧਾਰਾਂ ਨੂੰ ਤਰਜੀਹ ਦਿੱਤੀ, ਜਦਕਿ OpenAI ਨੇ ਜਨਰਲ-ਉਦੇਸ਼ ਜਨਰੇਟਿਵ ਸਿਸਟਮਾਂ 'ਤੇ ਕਾਫ਼ੀ ਜੋਖ਼ਮ ਭਰਿਆ ਦਾਅ ਲਾਇਆ।
ਅਸੀਂ ਵੇਖਾਂਗੇ:
ਜੇ ਤੁਸੀਂ AI ਰਣਨੀਤੀ—ਕਿਵੇਂ ਖੋਜ ਉਤਪਾਦਾਂ ਵਿੱਚ ਬਦਲਦੀ ਹੈ, ਅਤੇ ਉਤਪਾਦ ਦੀ ਲੰਬੀ ਚਲਣਯੋਗ ਫ਼ਾਇਦਾ ਕਿਵੇਂ ਬਣਦੀ ਹੈ—ਚ ਰੁਚੀ ਰੱਖਦੇ ਹੋ, ਤਾਂ ਇਹ ਕਹਾਣੀ ਇਹ ਸਿਖਾਉਂਦੀ ਹੈ ਕਿ ਸਭ ਤੋਂ ਵਧੀਆ ਪੇਪਰ ਹੋਣ ਦੇ ਬਾਵਜੂਦ, ਸਭ ਤੋਂ ਜ਼ਰੂਰੀ ਚੀਜ਼ ਸਪਸ਼ਟ ਦਾਅ ਅਤੇ ਜਾਰੀ ਕਰਨ ਦਾ ਹੌਂਸਲਾ ਹੁੰਦਾ ਹੈ।
ਗੂਗਲ ਨੇ ਆਧੁਨਿਕ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਵਿਚ ਦਾਖ਼ਲ ਹੋਣ ਸਮੇਂ ਦੋ ਵੱਡੇ ਢਾਂਚਾਗਤ ਫ਼ਾਇਦਿਆਂ ਨਾਲ ਜੋੜਿਆ: ਅਣਕਹੀਆਂ ਪੱਧਰ ਦੀ ਡੇਟਾ ਅਤੇ ਵੱਡੇ ਵੰਡੇ ਹੋਏ ਸਿਸਟਮਾਂ ਲਈ ਪਹਿਲਾਂ ਹੀ ਅਨੁਕੂਲ ਇੰਜੀਨੀਅਰਿੰਗ ਸਭਿਆਚਾਰ। ਜਦੋਂ ਉਸਨੇ ਉਹ ਮਸ਼ੀਨਰੀ AI ਵੱਲ ਮੋੜੀ, ਉਹ ਤੇਜ਼ੀ ਨਾਲ ਖੇਤਰ ਦਾ ਕੇਂਦਰ ਬਣ ਗਿਆ।
Google Brain 2011–2012 ਦੇ ਆਲੇ-ਦੁਆਲੇ ਇੱਕ ਸਾਈਡ ਪ੍ਰੋਜੈਕਟ ਵਜੋਂ ਸ਼ੁਰੂ ਹੋਇਆ, Jeff Dean, Andrew Ng ਅਤੇ Greg Corrado ਦੇ ਨੇਤ੍ਰਿਤਵ ਹੇਠ। ਟੀਮ ਨੇ ਵੱਡੇ ਪੱਧਰ ਦੇ ਡੀਪ ਲਰਨਿੰਗ 'ਤੇ ਧਿਆਨ ਦਿੱਤਾ, Google ਦੇ ਡੇਟਾ ਸੈਂਟਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਉਹ ਮਾਡਲ ਟ੍ਰੇਨ ਕੀਤੇ ਜੋ ਜ਼ਿਆਦਾਤਰ ਯੂਨੀਵਰਸਿਟੀਆਂ ਲਈ ਪਹੁੰਚ ਵਿੱਚ ਨਹੀਂ ਸਨ।
DeepMind 2014 ਵਿੱਚ ਇੱਕ ਉੱਚ-ਪ੍ਰੋਫ਼ਾਈਲ ਖਰੀਦਦਾਰੀ ਰਾਹੀਂ ਜੁੜਿਆ। ਜਿੱਥੇ Google Brain ਦੇ ਨੇੜੇ-ਨਜ਼ਦੀਕ ਪ੍ਰੋਡਕਟ ਅਤੇ ਇੰਫਰਾਸਟ੍ਰਕਚਰ ਸੀ, DeepMind ਨੇ ਲੰਬੇ ਅਵਧੀ ਵਾਲੀ ਖੋਜ—রিকੱਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ, ਗੇਮਜ਼ ਅਤੇ ਜਨਰਲ-ਪਰਪਜ਼ ਲਰਨਿੰਗ ਪ੍ਰਣਾਲੀ—ਤੇ ਜ਼ੋਰ ਦਿੱਤਾ।
ਇਕੱਠੇ, ਇਹਨਾਂ ਨੇ ਗੂਗਲ ਨੂੰ ਇੱਕ ਬੇਮਿਸਾਲ AI ਇੰਜਿਨ ਰੂਮ ਦਿੱਤਾ: ਇੱਕ ਗਰੁੱਪ ਜੋ Google ਦੇ ਪ੍ਰੋਡਕਟ ਸਟੈਕ ਵਿੱਚ ਬੌਤਲੜਿਆ ਹੋਇਆ ਸੀ, ਦੂਜਾ ਜੋ ਚੰਨ ਦੀਆਂ ਖੋਜਾਂ 'ਤੇ ਕੰਮ ਕਰ ਰਿਹਾ ਸੀ।
ਕਈ ਜਨਤਕ ਮੀਲਾਂ ਨੇ ਗੂਗਲ ਦੀ ਸਥਿਤੀ ਨੂੰ ਪੱਕਾ ਕੀਤਾ:
ਇਹ ਜਿੱਤਾਂ ਨੇ ਬਹੁਤ ਸਾਰੇ ਰਿਸਰਚਰਾਂ ਨੂੰ ਮਨਾਇਆ ਕਿ ਜੇ ਤੁਸੀਂ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ AI ਸਮੱਸਿਆਵਾਂ 'ਤੇ ਕੰਮ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ Google ਜਾਂ DeepMind ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।
ਗੂਗਲ ਨੇ ਦੁਨੀਆ ਦੇ ਅਨੇਕ ਪ੍ਰਮੁੱਖ AI ਟੈਲੈਂਟ ਨੂੰ ਇਕੱਠਾ ਕੀਤਾ। Geoffrey Hinton ਜਿਹੇ Turing Award ਵਿ ਜੀਤਣ ਵਾਲੇ ਅਤੇ Jeff Dean, Ilya Sutskever (ਉਸ ਦੇ OpenAI ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ), Quoc Le, Oriol Vinyals, Demis Hassabis, David Silver ਵਰਗੇ ਸੀਨੀਅਰ ਅਕੜੇ ਕਈ ਦਫ਼ਤਰਾਂ 'ਚ ਮੌਜੂਦ ਸਨ।
ਇਸ ਟੈਲੈਂਟ ਡੈਂਸੀਟੀ ਨੇ ਤਾਕਤਵਰ feedback loops ਬਣਾਏ:
ਇਹ ਨਿਰਮਾਣ ਅਤੇ ਭਾਰੀ ਇੰਫਰਾਸਟ੍ਰਕਚਰ ਨਿਵੇਸ਼ ਗੂਗਲ ਨੂੰ ਅਕਸਰ ਫਰੰਟੀਅਰ AI ਖੋਜ ਦਾ ਮੂਲ ਬਣਾਉਂਦੇ।
ਗੂਗਲ ਦਾ AI ਸਭਿਆਚਾਰ ਬਹੁਤ ਹੱਦ ਤੱਕ ਪ੍ਰਕਾਸ਼ਨ ਅਤੇ ਪਲੇਟਫਾਰਮ ਬਣਾਉਣ ਵਲ ਝੁਕਿਆ ਹੋਇਆ ਸੀ।
ਖੋਜੀ ਪਾਸੇ, ਨਿਯਮ ਇਹ ਰਹਿੰਦਾ ਸੀ:
ਇੰਜੀਨੀਅਰਿੰਗ ਪਾਸੇ, ਗੂਗਲ ਨੇ ਢਾਂਚੇ 'ਚ ਸੰਸਾਧਨਾਂ ਦਾ ਬੜਾ ਰੁਝਾਨ ਕੀਤਾ:
ਇਹ ਚੋਣਾਂ Google ਦੇ ਮੂਲ ਕਾਰੋਬਾਰਾਂ ਨਾਲ ਬਹੁਤ ਮਿਲਦੀਆਂ ਸਨ। ਬਿਹਤਰ ਮਾਡਲ ਅਤੇ ਟੂਲਿੰਗ ਸਿੱਧਾ Search ਦੀ ਪ੍ਰਸੰਗਤਾ, ad ਟਾਰਗੇਟਿੰਗ, ਅਤੇ ਸਮਗਰੀ ਸੁਝਾਅ ਵਿੱਚ ਸੁਧਾਰ ਲਿਆਉਂਦੇ। AI ਨੂੰ ਇੱਕ ਸਾਰਥਕ ਸਮਰੱਥਾ ਪਰਤ ਵਜੋਂ ਵਰਤਿਆ ਗਿਆ, ਨਾ ਕਿ ਇੱਕ ਅਲੱਗ ਉਤਪਾਦ ਸ਼੍ਰੇਣੀ ਵਜੋਂ।
ਨਤੀਜਾ ਇਹ ਸੀ ਕਿ ਕੰਪਨੀ ਨੇ ਵਿਗਿਆਨ ਅਤੇ ਇਨਫਰਾਸਟ੍ਰਕਚਰ 'ਤੇ ਹੁਕਮ ਕੀਤਾ, ਇਸਨੂੰ ਮੌਜੂਦਾ ਸੇਵਾਵਾਂ ਵਿੱਚ ਗਹਿਰਾਈ ਨਾਲ ਜੋੜਿਆ, ਅਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਖੋਜ ਰਾਹੀਂ ਆਪਣੀ ਤਰੱਕੀ ਦਾ ਪ੍ਰਚਾਰ ਕੀਤਾ—ਪਰ ਨਵੇਂ, ਉਪਭੋਗਤਾ-ਮੁਖੀ AI ਅਨੁਭਵਾਂ ਨੂੰ ਉਤਪਾਦ ਰੂਪ ਵਿੱਚ ਬਣਾਉਣ ਵਿੱਚ ਸਾਵਧਾਨ ਰਹੀ।
2017 ਵਿੱਚ, ਇੱਕ ਛੋਟੀ Google Brain ਅਤੇ Google Research ਟੀਮ ਨੇ ਇੱਕ ਪੇਪਰ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਜਿਸਨੇ ਪੂਰੇ ਖੇਤਰ ਨੂੰ ਮੁੜ ਲਿਖ ਦਿੱਤਾ: “Attention Is All You Need” ਲਿਖਣ ਵਾਲੇ Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser, Illia Polosukhin ਸਨ।
ਮੁੱਖ ਖ਼ਿਆਲ ਸੀ ਸادہ ਪਰ ਬਹਿਸਤਰੀ: ਤੁਸੀਂ ਰਿਕਰਨਸ ਅਤੇ ਕਨਵੋਲੁਸ਼ਨ ਨੂੰ ਛੱਡ ਕੇ ਸਿਰਫ attention ਵਰਤ ਕੇ ਸੀਕਵੈਂਸ ਮਾਡਲ ਬਣਾ ਸਕਦੇ ਹੋ। ਉਸ ਆਰਕੀਟੇਕਚਰ ਨੂੰ Transformer ਨਾਮ ਦਿੱਤਾ ਗਿਆ।
Transformer ਦੇ ਆਉਣ ਤੋਂ ਪਹਿਲਾਂ, ਭਾਸ਼ਾਈ ਸਿਸਟਮ RNNs ਅਤੇ LSTMs 'ਤੇ ਆਧਾਰਤ ਸਨ। ਉਨ੍ਹਾਂ ਨੂੰ ਦੋ ਵੱਡੀਆਂ ਸਮੱਸਿਆਵਾਂ ਦਾ ਸਾਹਮਣਾ ਸੀ:
Transformer ਨੇ ਇਹ ਦੋਹਾਂ ਮੁੱਦੇ ਹੱਲ ਕੀਤੇ:
ਕ੍ਰਮ ਦੀ ਜਾਣਕਾਰੀ ਨੂੰ positional encodings ਰਾਹੀਂ ਜੋੜਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਜੋ ਮਾਡਲ ਨੂੰ ਕ੍ਰਮ ਦੀ ਸਮਝ ਮਿਲੇ ਬਿਨਾਂ ਰਿਕਰਨਸ ਦੀ ਲੋੜ ਹੋਏ।
ਕਿਉਂਕਿ ਸਾਰੇ ਓਪਰੇਸ਼ਨ ਸਮਾਂਤਰ ਹਨ ਅਤੇ ਘਣ ਮੈਟ੍ਰਿਕਸ ਗੁਣਨਾਂ 'ਤੇ ਆਧਾਰਤ ਹਨ, Transformers ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਸਕੇਲ ਕਰਦੇ ਹਨ ਜੇ ਅਸੀਂ ਹੋਰ ਡੇਟਾ ਅਤੇ ਕੰਪਿਊਟ ਜੋੜੀਏ। ਇਹੀ ਸਕੇਲਿੰਗ ਗੁਣ GPT, Gemini ਅਤੇ ਹੋਰ ਅੱਗੇ-ਆਉਂਦੇ ਮਾਡਲਾਂ ਦੀ ਆਧਾਰਸ਼ੀਲਾ ਹੈ।
ਉਹੀ attention ਮਕੈਨਿਜ਼ਮ ਟੈਕਸਟ ਤੋਂ ਪਰੇ ਵੀ ਲਾਗੂ ਹੁੰਦਾ ਹੈ: ਤੁਸੀਂ Transformer ਨੂੰ ਇਮੇਜ ਪੈਚਾਂ, ਆਡੀਓ ਫਰੇਮਾਂ, ਵੀਡੀਓ ਟੋਕਨਾਂ 'ਤੇ ਵੀ ਲਾਗੂ ਕਰ ਸਕਦੇ ਹੋ। ਇਸ ਨੇ ਆਰਕੀਟੇਕਚਰ ਨੂੰ ਮਲਟੀਮੋਡਲ ਮਾਡਲਾਂ ਲਈ ਕੁਦਰਤੀ ਨਿਰਧਾਰਕ ਬਣਾ ਦਿੱਤਾ।
ਸਭ ਤੋਂ ਮੁੱਖ ਗੱਲ, ਗੂਗਲ ਨੇ ਪੇਪਰ ਖੁੱਲ੍ਹਾ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਅਤੇ (ਅਗਲੇ ਕੰਮ ਅਤੇ Tensor2Tensor ਵਰਗੇ ਲਾਇਬ੍ਰੇਰੀਜ਼ ਰਾਹੀਂ) ਆਰਕੀਟੇਕਚਰ ਨੂੰ ਦੁਹਰਾਉਣਾ ਆਸਾਨ ਬਣਾਇਆ। ਸੰਸਾਰ ਭਰ ਦੇ ਰਿਸਰਚਰ ਅਤੇ ਸਟਾਰਟਅਪ ਇਸਨੂੰ ਪੜ੍ਹਕੇ, ਡਿਜ਼ਾਈਨ ਨੱਕਲ ਕਰਕੇ, ਅਤੇ ਇਸਨੂੰ ਸਕੇਲ ਕਰਨ ਲੱਗੇ।
OpenAI ਨੇ ਇਹ ਠੀਕ ਕੀਤਾ। GPT‑1 ਆਰਕੀਟੈਕਚਰਿਕਲ ਤੌਰ 'ਤੇ ਇੱਕ Transformer decoder stack ਸੀ ਜੋ ਲੈਂਗਵੇਜ-ਮਾਡਲਿੰਗ ਉਦੇਸ਼ ਨਾਲ ਟ੍ਰੇਨ ਕੀਤਾ ਗਿਆ। GPT ਦਾ ਸੀਧਾ ਤਕਨੀਕੀ ਪੁਰਖ Transformer ਹੈ: ਉਥੇ ਉਹੀ core self-attention ਬਲਾਕਸ, positional encodings, ਅਤੇ ਸਕੇਲ 'ਤੇ ਦਾਅ—ਸਿਰਫ ਵੱਖ-ਵੱਖ ਉਤਪਾਦਕ ਸੰਦੇਸ਼ ਅਤੇ ਸੰਗਠਨਕ ਸੰਦਰਭ ਵਿੱਚ ਲਾਗੂ ਕੀਤਾ ਗਿਆ।
ਜਦੋਂ OpenAI ਨੇ GPT ਲਾਂਚ ਕੀਤਾ, ਇਹ ਨਵੀਂ ਦਿਸ਼ਾ ਦਾ ਆਵਿਸਕਾਰ ਨਹੀਂ ਸੀ। ਇਹ ਗੂਗਲ ਦੇ Transformer ਨਕਸ਼ੇ ਨੂੰ ਲੈ ਕੇ ਉਹਦੇ ਨਾਲੋਂ ਵੱਧ ਅੱਗੇ ਧੱਕਣ ਦਾ ਮਾਮਲਾ ਸੀ—ਜੋ ਸੱਭਿਆਚਾਰਕ ਅਤੇ ਸੰਸਥਾਵਾਂ ਵੀਰ ਕਰਨਾ ਤੈਅ ਨਹੀਂ ਹੁੰਦੇ ਸਨ।
ਮੂਲ GPT (2018) ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ Transformer decoder ਸੀ ਜੋ ਸਧਾਰਨ ਉਦੇਸ਼ 'ਤੇ ਟ੍ਰੇਨ ਕੀਤਾ ਗਿਆ: ਲੰਮੇ ਟੈਕਸਟ ਦੇ ਹਿੱਸਿਆਂ ਵਿੱਚ ਅਗਲਾ ਟੋਕਨ ਅਨੁਮਾਨ ਲਗਾਓ। ਇਹ ਖ਼ਿਆਲ ਸੀਧਾ 2017 Transformer ਆਰਕੀਟੇਕਚਰ ਤੋਂ ਆਉਂਦਾ ਸੀ, ਪਰ ਜਿੱਥੇ ਗੂਗਲ ਟਰਾਂਸਲੇਸ਼ਨ ਬੈਂਚਮਾਰਕ 'ਤੇ ਫੋਕਸ ਕਰ ਰਿਹਾ ਸੀ, OpenAI ਨੇ "ਨੇxt-word prediction at scale" ਨੂੰ ਇੱਕ ਜਨਰਲ-ਪਰਪਜ਼ ਟੈਕਸਟ-ਜਨਰੇਟਰ ਨੁੰ ਬਣਾਇਆ।
GPT-2 (2019) ਨੇ ਇੱਕੋ ਹੀ ਨੁਸਖੇ ਨੂੰ 1.5B ਪੈਰਾਮੀਟਰਾਂ ਅਤੇ ਬਹੁਤ ਵੱਧ ਵੈੱਬ ਕੋਰਪਸ 'ਤੇ ਸਕੇਲ ਕੀਤਾ। GPT-3 (2020) ਨੇ 175B ਪੈਰਾਮੀਟਰਾਂ ਤੱਕ ਕਦਮ ਚੁੱਕਿਆ, trilions ਟੋਕਨਾਂ 'ਤੇ massive GPU ਕਲੱਸਟਰਾਂ ਨਾਲ ਟ੍ਰੇਨ ਹੋਇਆ। GPT-4 ਨੇ ਇਸ ਪੈਟਰਨ ਨੂੰ ਹੋਰ ਵਧਾਇਆ: ਹੋਰ ਪੈਰਾਮੀਟਰ, ਹੋਰ ਡੇਟਾ, ਵਧੀਆ ਕ੍ਰੂਸ਼ਨ, ਅਤੇ RLHF ਵਰਗੇ ਸੁਰੱਖਿਆ ਪੜਾਵਾਂ ਜੋ ਮਾਡਲ ਦੇ ਵਿਹਾਰ ਨੂੰ ਗੱਲਬਾਤੀ ਅਤੇ ਉਪਯੋਗੀ ਬਣਾ ਦਿੰਦੇ ਹਨ।
ਇਸ ਪੂਰੇ ਪ੍ਰਗਟਾਊ ਵਿੱਚ, ਆਲਗੋਰਿਦਮਿਕ ਕੋਰ ਗੂਗਲ ਦੇ Transformer ਦੇ ਬਹੁਤ ਨੇੜੇ ਰਿਹਾ: self-attention ਬਲਾਕਸ, positional encodings, ਅਤੇ stacked layers। ਬਹੁਤ ਵੱਡਾ ਫਰਕ ਸ਼ੁੱਕਰਾਨਾ ਅਤੇ ਲਗਾਤਾਰ ਇੰਜੀਨੀਅਰਿੰਗ ਵਿੱਚ ਸੀ।
ਜਿੱਥੇ ਗੂਗਲ ਦੇ ਪਹਿਲੇ ਭਾਸ਼ਾਈ ਮਾਡਲ (ਜਿਵੇਂ BERT) ਸਮਝਦਾਰੀ ਕਾਰਜਾਂ—ਕਲਾਸੀਫਿਕੇਸ਼ਨ, ਖੋਜ ਰੈਂਕਿੰਗ, ਸਵਾਲ-ਜਵਾਬ—ਤੇ ਕੇਂਦਰਤ ਸਨ, OpenAI ਨੇ ਖੁੱਲ੍ਹੇ-ਅंत ਤਿਆਰ-ਕਰਨ ਅਤੇ ਡਾਇਲਾਗ ਲਈ ਉਪਕਰਣ ਤਿਆਰ ਕੀਤਾ। ਗੂਗਲ ਨੇ ਰਾਜੇ ਬੰਨ੍ਹੇ state-of-the-art ਮਾਡਲ ਪੇਪਰ ਜਾਰੀ ਕੀਤੇ ਅਤੇ ਅਗਲੇ ਪੇਪਰ 'ਤੇ ਧਿਆਨ ਕੇਂਦ੍ਰਿਤ ਕੀਤਾ। OpenAI ਨੇ ਇੱਕ ਹੀ ਖਿਆਲ ਨੂੰ ਉਤਪਾਦ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ।
ਗੂਗਲ, DeepMind ਅਤੇ ਅਕਾਦਮਿਕ ਲੈਬਾਂ ਦੀ ਖੁੱਲ੍ਹੀ ਖੋਜ ਨੇ ਸਿੱਧੇ ਤੌਰ 'ਤੇ GPT ਨੂੰ ਖੁਰਾਕ ਦਿੱਤੀ: Transformer ਵੈਰੀਐਂਟ, ਆਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਟ੍ਰਿਕਸ, ਲਰਨਿੰਗ-ਰੇਟ ਸ਼ਡਿਊਲ, ਸਕੇਲਿੰਗ ਕਾਨੂੰਨ, ਅਤੇ ਵਧੀਆ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ। OpenAI ਨੇ ਇਹਨਾਂ ਸਰਬਜਨਿਕ ਨਤੀਜਿਆਂ ਨੂੰ ਸੋਖਿਆ, ਫਿਰ ਪ੍ਰੋਪਰਾਇਟਰੀ ਟ੍ਰੇਨਿੰਗ ਦੌੜਾਂ ਅਤੇ ਇੰਫਰਾਸਟ੍ਰਕਚਰ 'ਤੇ ਭਾਰੀ ਨਿਵੇਸ਼ ਕੀਤਾ।
ਇੰਟੈਲੈਕਚੁਅਲ ਚਿੰਗਾ—Transformers—ਗੂਗਲ ਤੋਂ ਆਇਆ। ਇੱਕਵਾਰ ਇਸ ਆਧਾਰ 'ਤੇ ਕੰਪਨੀ ਦੀਆਂ ਸਾਫਟ, APIs ਅਤੇ ਫਿਰ ਉਪਭੋਗਤਾ ਚੈਟ ਉਤਪਾਦ ਉਧਮ ਦਿਓ ਕਰਨ ਦਾ ਫੈਸਲਾ OpenAI ਦਾ ਸੀ।
ਗੂਗਲ ਦੀਆਂ ਸ਼ੁਰੂਆਤੀ ਵਪਾਰਕ ਕਾਮਯਾਬੀਆਂ ਡੀਪ ਲਰਨਿੰਗ ਨੂੰ ਉਸਦੇ ਕੋਰ ਪੈਸਾ ਬਣਾਉਣ-ਮਸ਼ੀਨ—Search ਅਤੇ ads—ਨੂੰ ਹੋਰ ਚੰਗਾ ਬਣਾਉਣ 'ਤੇ ਕੇਂਦਰਿਤ ਕਰਨ ਤੋਂ ਆਈਆਂ। ਇਹ ਸੰਦਰਭ ਨਿੱਕੇ ਢੰਗ ਨਾਲ ਨਿਰਣੇ ਕਰਦਾ ਕਿ ਉਸਨੇ Transformer ਵਰਗੀਆਂ ਨਵੀਂ ਆਰਕੀਟੈਕਚਰਾਂ ਨੂੰ ਕਿਵੇਂ ਅੰਦਾਜ਼ਾ ਕੀਤਾ। GPT-ਸਟਾਈਲ ਤਨਿਆਨ-ਉਤਪਾਦਾਂ ਦੀ ਦੌੜ ਦੇ ਬਦਲੇ, ਗੂਗਲ ਨੇ ਉਹ ਮਾਡਲ ਆਪਣੀਆਂ ਰੈਂਕਿੰਗ, ਪ੍ਰਸੰਗਤਾ ਅਤੇ ਗੁਣਵੱਤਾ ਵਿੱਚ ਸੁਧਾਰ ਜਾਣ ਵਾਲੇ BERT-ਜਿਹੇ ਮਾਡਲਾਂ 'ਤੇ ਜੋਰ ਦਿੱਤਾ।
BERT (Bidirectional Encoder Representations from Transformers) ਇੱਕ encoder-only ਮਾਡਲ ਹੈ ਜੋ masked language modeling ਨਾਲ ਟ੍ਰੇਨ ਹੁੰਦਾ ਹੈ: ਇਕ ਸੇਂਟੈਂਸ ਦੇ ਹਿੱਸੇ ਲੁਕਾਏ ਜਾਂਦੇ ਹਨ, ਅਤੇ ਮਾਡਲ ਨੂੰ ਪੂਰੇ ਪਰਿਪ੍ਰੇਸ਼ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਗੁੰਮ ਸ਼ਬਦਾਂ ਦਾ ਅਨੁਮਾਨ ਲਗਾਉਣਾ ਪੈਂਦਾ ਹੈ।
ਉਹ ਟ੍ਰੇਨਿੰਗ ਉਦੇਸ਼ ਗੂਗਲ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨਾਲ ਬਹੁਤ ਖਿੱਚ ਮਾਰਦਾ ਸੀ:
ਇਹ encoder-ਸਟਾਈਲ ਮਾਡਲ Google ਦੇ ਮੌਜੂਦਾ retrieval ਅਤੇ ranking ਸਟੈਕ ਵਿੱਚ ਆਸਾਨੀ ਨਾਲ ਫਿੱਟ ਹੋ ਗਏ। ਉਹ ਸੈਂਕੜਿਆਂ ਹੋਰ ਫੀਚਰਾਂ ਦੇ ਨਾਲ ਇੱਕ relevance signal ਵਜੋਂ ਕਾਲ ਕੀਤੇ ਜਾ ਸਕਦੇ, ਜਿਸ ਨਾਲ Search ਬਿਨਾਂ ਮੁਲਭੂਤ ਤਰੀਕੇ ਨਾਲ ਬਦਲੇ ਹੀ ਸੁਧਰ ਸਕਦੀ।
Google ਨੂੰ ਉੱਤਰ ਚਾਹੀਦੇ ਸਨ ਜੋ ਭਰੋਸੇਯੋਗ, ਟ੍ਰੇਸ-ਯੋਗ, ਅਤੇ ਮੋਨੇਟਾਈਜ਼ੇਬਲ ਹੋਣ:
BERT ਨੇ ਇਹਨਾਂ ਤਿੰਨਾਂ ਨੂੰ ਬਿਨਾਂ Search UI ਜਾਂ ads ਮਾਡਲ ਨੂੰ ਮੁੜ ਲਿਖੇ ਬਿਹਤਰ ਕੀਤਾ। GPT-ਸਟਾਈਲ ਆਟੋਰੇਗ੍ਰੈਸੀਵ ਜਨਰੇਟਰਾਂ ਨੇ, ਵਿਰੁੱਧ ਤੌਰ 'ਤੇ, ਮੌਜੂਦਾ ਕਾਰੋਬਾਰ ਲਈ ਘੱਟ ਸਪਸ਼ਟ ਤਰ੍ਹਾਂ ਦਾ ਤੁਰੰਤ ਮੁੱਲ ਦਿੱਤਾ।
ਖੁੱਲ੍ਹੀ-ਅੰਤ ਜਨਰੇਸ਼ਨ ਨੇ ਤੇਜ਼ ਅੰਦਰੂਨੀ ਚਿੰਤਾਵਾਂ ਕੱਢੀਆਂ:
ਜਿਥੇ ਅੰਦਰੂਨੀ ਕੇਸ ਨੀਤੀ-ਸਮੀਖਿਆ 'ਚੋ́n ਪਾਸ ਹੋਏ, ਉਹ ਸਧਾਰਨ ਅਤੇ ਸੀਮਤ ਪ੍ਰਯੋਗ ਹੋਏ: Gmail ਵਿੱਚ ਆਟੋ-ਕੰਪਲੀਟ, ਸਮਾਰਟ reply, ਅਨੁਵਾਦ, ਅਤੇ ranking ਨੂੰ ਬਢ਼ਾਵਾ। Encoder-ਸਟਾਈਲ ਮਾਡਲ jਨ-ਨਿਰੀਖਣ ਅਤੇ ਨਿਆਜ਼ ਕਰਨ ਲਈ ਆਸਾਨ ਸਨ ਮੁਕਾਬਲੇ ਵਿੱਚ ਇੱਕ ਜਨਰਲ conversational ਸਿਸਟਮ ਨਾਲ।
ਜਦੋਂ ਗੂਗਲ ਕੋਲ conversational prototypes ਹਨ, ਇੱਕ ਮੁੱਖ ਸਵਾਲ ਰਹਿੰਦਾ ਸੀ: ਕੀ ਵਧੀਆ ਸਿੱਧੇ ਉੱਤਰ search ਕੁਐਰਿਆਂ ਅਤੇ ad ਕਲਿੱਕਾਂ ਨੂੰ ਘਟਾ ਦੇਣਗੇ?
ਇੱਕ ਚੈਟ ਅਨੁਭਵ ਜੋ ਇੱਕ-ਸ਼ਟ ਵਿੱਚ ਤੁਹਾਨੂੰ ਪੂਰਾ ਉੱਤਰ ਦਿੰਦਾ ਹੈ, ਉਪਭੋਗਤਾ ਵਿਹਾਰ ਬਦਲ ਸਕਦਾ ਹੈ:
ਨੇਤৃত্ব ਦਾ ਰੁਝਾਨ AI ਨੂੰ search ਨੁੰ ਸੁਧਾਰਕ ਵਜੋਂ ਏਨ੍ਹੈਂਸਰ ਦੇ ਤੌਰ ਤੇ ਸ਼ਾਮਲ ਕਰਨਾ ਸੀ, ਨ ਕਿ ਮੁੱਢਲਾ ਤੌਰ 'ਤੇ ਇਸਨੂੰ ਬਦਲਣਾ। ਇਸਦਾ ਮਤਲਬ ਸੀ ranking tweaks, ਰਿਚ ਸਨਿੱਪੇਟ ਅਤੇ क्रमਾਤਮਕ ਸਮਝ—ਜਿੱਥੇ BERT ਮਹਿਰਤ ਰੱਖਦਾ ਸੀ—ਬਜਾਏ ਇੱਕ ਮੁਕਾਬਲਾ-ਭਰੀ, standalone conversational ਉਤਪਾਦ ਦੇ, ਜਿਸ ਨਾਲ ਕੋਰ ਕਾਰੋਬਾਰ ਮਾਡਲ ਖਤਰੇ 'ਚ ਪੈ ਸਕਦੇ।
ਇਕੱਲੀਆਂ ਚੋਣਾਂ ਤਰਕਸੰਗਤ ਸਨ:
ਇਨਾਂ ਨੇ ਮਿਲ ਕੇ ਗੂਗਲ ਨੂੰ GPT-ਸਟਾਈਲ ਆਟੋਰੇਗ੍ਰੈਸੀਵ ਜਨਰੇਟਿਵ ਮਾਡਲਾਂ ਨੂੰ ਲੋਕ-ਮੁਖੀ ਰੂਪ ਵਿੱਚ ਉਤਪਾਦੀਕਰਨ ਵਿੱਚ ਘੱਟ ਨਿਵੇਸ਼ ਕਰਨ ਤੇ ਮਜਬੂਰ ਕੀਤਾ। ਖੋਜ ਟੀਮਾਂ ਡਿਕੋਡਰ ਮਾਡਲਾਂ ਅਤੇ ਡਾਇਲਾਗ ਪ੍ਰਣਾਲੀਆਂ 'ਤੇ ਕੰਮ ਕਰਦੀਆਂ ਰਹੀਆਂ, ਪਰ ਪ੍ਰੋਡਕਟ ਟੀਮਾਂ ਕੋਲ ਇੱਕ ਐਸਾ ਚੈਟਬੋਟ ਜਾਰੀ ਕਰਨ ਲਈ کمਜ਼ੋਰ ਪ੍ਰੇਰਣਾ ਸੀ ਜੋ:
OpenAI, ਜਿਸਦੇ ਕੋਲ ਕੋਈ search ਸਾਮਰਾਜ ਨਹੀਂ ਸੀ, ਨੇ ਉਲਟ ਦਾਅ ਲਾਇਆ: ਕਿ ਇਕ ਬਹੁਤ ਸਮਰੱਥ, ਖੁੱਲ੍ਹੇ-ਪਹੁੰਚ ਵਾਲਾ ਚੈਟ ਇੰਟਰਫੇਸ—ਭਾਵੇਂ ਖਾਮੀਆਂ ਹੋਣ—ਨਵੀਂ ਮੰਗ ਪੈਦਾ ਕਰੇਗਾ ਅਤੇ ਵੱਡੇ ਪੈਮਾਨੇ 'ਤੇ ਸਵੀਕਾਰਿਆ ਜਾਵੇਗਾ। ਇਸ ਫੈਸਲੇ ਨੇ Google ਦੇ consumer-facing generative ਉਤਪਾਦਾਂ ਵਿੱਚ ਦੇਰੀ ਦਾ ਰਸਤਾ ਖੋਲ੍ਹ ਦਿੱਤਾ, ਜਦੋਂ ChatGPT ਨੇ ਇਸ ਖੇਤਰ ਨੂੰ ਪਹਿਲਾਂ ਪਰਿਭਾਸ਼ਿਤ ਕੀਤਾ।
OpenAI 2015 ਵਿੱਚ ਇੱਕ ਨੌਨ-ਪ੍ਰਾਫਿਟ ਰਿਸਰਚ ਲੈਬ ਵਜੋਂ ਸ਼ੁਰੂ ਹੋਈ, ਕੁਝ ਟੈਕ ਫਾਊਂਡਰਾਂ ਦੁਆਰਾ ਫੰਡ ਕੀਤੀ ਗਈ ਜੋ AI ਨੂੰ ਮੌਕੇ ਅਤੇ ਖ਼ਤਰੇ ਦੋਹਾਂ ਵਜੋਂ ਦੇਖਦੇ ਸੀ। ਸ਼ੁਰੂਆਤੀ ਸਾਲਾਂ ਵਿੱਚ, ਇਹ Google Brain ਜਾਂ DeepMind ਵਰਗੀ ਲਗਦੀ ਸੀ: ਪੇਪਰ ਜਾਰੀ ਕਰੋ, ਕੋਡ ਰੀਲੀਜ਼ ਕਰੋ, ਵਿਗਿਆਨ ਨੂੰ ਅੱਗੇ ਵਧਾਓ।
2019 ਤੱਕ ਲੀਡਰਸ਼ਿਪ ਨੇ ਸਮਝਿਆ ਕਿ frontier ਮਾਡਲ ਬਹੁਤ ਬੜੀ ਰਕਮ ਦਾ compute ਅਤੇ ਇੰਜੀਨੀਅਰਿੰਗ ਮੰਗਾਂਗੇ। ਇੱਕ ਪਿਉਰੇ ਨੌਨ-ਪ੍ਰਾਫਿਟ ਲਈ ਉਹ ਰਕਮ ਉਠਾਉਣਾ ਮੁਸ਼ਕਿਲ ਸੀ। ਹੱਲ ਸੀ ਇੱਕ ਸੰਰਚਨਾਤਮਕ ਨਵੀਨਤਾ: OpenAI LP, ਇੱਕ “capped-profit” ਕੰਪਨੀ ਜੋ ਨਾਨ-ਪ੍ਰਾਫਿਟ ਦੇ ਹੇਠ ਬੈਠਦੀ ਸੀ।
ਨਿਵੇਸ਼ਕ ਹੁਣ ਮੁਨਾਫ਼ਾ ਕਮਾ ਸਕਦੇ ਸਨ (ਇੱਕ ਸਿਮਤ ਤੱਕ), ਜਦਕਿ ਬੋਰਡ ਨੇ AGI ਦੇ ਲਾਭਕਾਰੀ ਮਿਸ਼ਨ 'ਤੇ ਧਿਆਨ ਰੱਖਿਆ। ਇਹ ਸੰਰਚਨਾ OpenAI ਨੂੰ ਵੱਡੀਆਂ ਫ਼ਾਇਨੈਂਸਿੰਗ ਅਤੇ ਕਲਾਊਡ compute ਡੀਲਾਂ ਸਾਇਨ ਕਰਨ ਯੋਗ ਬਣਾਇਆ।
ਬਹੁਤ ਸਾਰੀਆਂ ਲੈਬਾਂ ਜਿੱਥੇ-ਕਿੱਥੇ ਕਲੇਵਰ ਆਰਕੀਟੈਕਚਰਾਂ ਜਾਂ ਖਾਸ ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਭਾਲ ਕਰਦੀਆਂ, OpenAI ਨੇ ਸਾਫ਼ ਦਾਅ ਕੀਤਾ: ਇੱਕ ਐਸਾ ਦ੍ਰਿੜ ਨਿਭਾ ਜੋ ਕਹਿੰਦਾ ਕਿ ਬੜੇ, ਜਨਰਲ-ਪਰਪਜ਼ ਭਾਸ਼ਾਈ ਮਾਡਲ ਅਚਾਨਕ ਕਾਫ਼ੀ ਯੋਗ ਹੋ ਸਕਦੇ ਹਨ ਜੇ ਤੁਸੀਂ ਸਿਰਫ਼ ਡੇਟਾ, ਪੈਰਾਮੀਟਰ ਅਤੇ ਕੰਪਿਊਟ ਨੂੰ ਲਗਾਤਾਰ ਵਧਾਓ।
GPT‑1, GPT‑2, GPT‑3 ਨੇ ਇੱਕ ਸਾਦਾ ਫਾਰਮੂਲਾ ਫਾਲੋ ਕੀਤਾ: ਬਹੁਤ ਹੱਦ ਤੱਕ ਮਿਆਰੀ Transformer ਆਰਕੀਟੇਕਚਰ, ਪਰ ਵੱਡਾ, ਲੰਮਾ ਟ੍ਰੇਨ, ਅਤੇ ਵੱਖ-ਵੱਖ ਟੈਕਸਟ 'ਤੇ। ਇੱਕ-ਵੱਡਾ-ਮਾਡਲ-ਬਹੁਤ-ਵਰਤੋਂ ਦੀ ਸੋਚ ਦਾ ਨਤੀਜਾ ਸੀ ਕਿ prompting ਅਤੇ fine-tuning ਰਾਹੀਂ ਕਈ ਉਪਯੋਗ ਬਣ ਸਕਦੇ।
ਇਹ ਸਿਰਫ਼ ਰਿਸਰਚ ਨਹੀਂ ਸੀ; ਇਹ ਵਪਾਰਕ ਰਣਨੀਤੀ ਸੀ: ਇੱਕ API ਜੇਕਰ ਹਜ਼ਾਰਾਂ ਉਪਯੋਗਾਂ ਨੂੰ ਸਾਂਭ ਸਕਦਾ, ਤਾਂ OpenAI ਇੱਕ ਪਲੈਟਫਾਰਮ ਬਣ ਸਕਦਾ ਸੀ, ਸਿਰਫ਼ ਰਿਸਰਚ ਲੈਬ ਨਹੀਂ।
GPT‑3 API, 2020 'ਚ ਲਾਂਚ ਹੋ ਕੇ ਉਸ ਰਣਨੀਤੀ ਨੂੰ ਵਾਸਤਾ ਦਿੱਤਾ। ਭਾਰੀ-ਉਪਨ-ਪ੍ਰੇਮਿਸ ਸੌਫਟਵੇਅਰ ਜਾਂ ਤੰਗ ਰੂਪ ਵਾਲੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਉਤਪਾਦਾਂ ਦੀ ਥਾਂ, OpenAI ਨੇ ਸਧਾਰਨ ਕਲਾਊਡ API ਪ੍ਰਦਾਨ ਕੀਤਾ:
ਇਹ "API-ਫਰਸਟ" ਪਹੁੰਚ ਸਟਾਰਟਅਪਾਂ ਅਤੇ ਕਾਰੋਬਾਰਾਂ ਨੂੰ UX, ਅਨੁਕੂਲਤਾ, ਅਤੇ ਡੋਮੇਨ ਵਿਸ਼ੇਸ਼ਤਾ ਸੰਭਾਲਨ ਦੀ ਆਜ਼ਾਦੀ ਦਿੱਤੀ, ਜਦਕਿ OpenAI ਵੱਡੀਆਂ ਮਾਡਲਾਂ ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ ਅਤੇ alignment ਤੇ ਧਿਆਨ ਰੱਖਣ।
API ਨੇ ਇਕ ਸਾਫ਼ ਆਮਦਨੀ ਮਾਡਲ ਵੀ ਬਣਾਇਆ। OpenAI ਨੇ ਪਰਫੈਕਟ, ਪੂਰੇ-ਫੀਚਰ ਵਾਲੇ ਉਤਪਾਦ ਦੀ ਉਡੀਕ ਨਹੀਂ ਕੀਤੀ; ਇਸਨੇ ਇਕੋ ਪਲੇਟਫਾਰਮ ਰਾਹੀਂ ਪਰਿਸਰ ਦੀ ਖੋਜ ਨੂੰ ਛੱਡ ਦਿੱਤਾ।
OpenAI ਨੇ ਅਕਸਰ ਅਪਰਿਪੱਕ ਉਤਪਾਦ ਜਾਰੀ ਕੀਤੇ। GPT‑2 ਖੁਲਾਸਾ ਸੁਰੱਖਿਆ ਚਿੰਤਾਵਾਂ ਨਾਲ ਕੀਤਾ; GPT‑3 ਇੱਕ ਕੰਟਰੋਲਡ ਬੇਟਾ ਰੂਪ ਵਿੱਚ ਆਇਆ ਜਿਸ ਵਿੱਚ ਖਾਚ-ਖਾਮੀਆਂ ਸਪੱਸ਼ਟ ਸਨ—ਹੱਲੂਸੀਨੇਸ਼ਨ, ਪੱਖਪਾਤ, ਅਸਥਿਰਤਾ।
ਇਸ ਦਰਸ਼ਨ ਦਾ ਸਭ ਤੋਂ ਸਪਸ਼ਟ ਨਤੀਜਾ ChatGPT (2022 ਦੇ ਅੰਤ) ਸੀ। ਇਹ ਸਭ ਤੋਂ ਅਡਵਾਂਸ ਮਾਡਲ ਨਹੀਂ ਸੀ, ਅਤੇ ਨਾ ਹੀ काफी ਪੱਕਾ। ਪਰ:
ਗੋਪਨੀਅਤ ਵਿੱਚ ਮਾਡਲ ਨੂੰ ਬੇਨਤੀ ਕਰਕੇ ਟਿਊਨ ਕਰਨ ਦੀ ਥਾਂ, OpenAI ਨੇ ਜਨਤਕ ਨੂੰ ਇਕ ਵੱਡਾ ਫੀਡਬੈਕ ਇੰਜਨ ਮੰਨਿਆ। ਗਾਰਡਰੇਲ, ਮਾਡਰੇਸ਼ਨ, ਅਤੇ UX ਹफ्तਿਆਂ ਵਿੱਚ ਬਹਿੱਤਰ ਹੁੰਦੇ ਗਏ, ਸਾਰੇ ਜੀਵੰਤ ਵਰਤੋਂ ਦੇ ਆਧਾਰ 'ਤੇ।
OpenAI ਦਾ ਸਕੇਲ ਦਾ ਦਾਅ ਬਹੁਤ ਵੱਡੀ compute ਬਜਟ ਮੰਗਦਾ ਸੀ। Microsoft ਭਾਈਚਾਰਾ ਇੱਥੇ ਨਿਰਣায়ਕ ਬਣਿਆ।
2019 ਤੋਂ ਸ਼ੁਰੂ ਹੋ ਕੇ ਅਤੇ ਅੱਪਰ ਦੌਰਾਨ, Microsoft ਨੇ:
OpenAI ਲਈ, ਇਹ ਮੂਲ ਰਕੱਤ-ਬੰਧਨ ਦਾ ਹੱਲ ਸੀ: ਉਹ ਅਲੱਗ-ਖ਼ਰੀਦਨ ਜਾਂ ਆਪਣੀ ਕਲਾਉਡ ਬਣਾਉਣ ਦੀ ਝੰਜਟ ਤੋਂ ਬਚ ਗਿਆ।
Microsoft ਲਈ, ਇਹ Azure ਨੂੰ ਵੱਖ ਕਰਨ ਅਤੇ Office, GitHub, Windows, Bing ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ AI ਦਾ ਇੰਫਿਊਜ਼ਨ ਕਰਨ ਦਾ ਤਰੀਕਾ ਸੀ।
ਇਨ੍ਹਾਂ ਸਾਰੀਆਂ ਚੋਣਾਂ—ਸਕੇਲ, API-ਫਰਸਟ, ਉਪਭੋਗਤਾ ਚੈਟ, ਅਤੇ Microsoft ਸੌਦੇ—ਨੇ ਇੱਕ ਮਜ਼ਬੂਤ ਰੀਨਫੋਰਸਿੰਗ ਲੂਪ ਬਣਾਇਆ:
OpenAI ਨੇ ਪੇਪਰ ਜਾਂ ਸੰਭਾਲੇ ਹੋਏ ਅੰਦਰੂਨੀ ਪ੍ਰਯੋਗ ਲਈ ਇੰਤਜ਼ਾਰ ਕਰਨ ਦੀ ਥਾਂ ਇਸ ਤਰ੍ਹਾਂ ਦੇ ਜੋੜੇ-ਵਿਖੇ ਉਪਭੋਗਤਾ-ਡ੍ਰਿਵਨ ਲੂਪ 'ਤੇ ਰਣਨੀਤਿਕ ਧਿਆਨ ਦਿੱਤਾ।
ਜਦੋਂ OpenAI ਨੇ 30 ਨਵੰਬਰ 2022 ਨੂੰ ChatGPT ਲਾਂਚ ਕੀਤਾ, ਇਹ ਇੱਕ ਛੋਟੀ ਰਿਸਰਚ ਪ੍ਰੀਵਿਊ ਵਾਂਗ ਦਿਖਾਈ ਦਿੱਤਾ: ਇੱਕ ਸادہ ਚੈਟ ਬਾਕਸ, ਕੋਈ ਪੇਮੈਂਟ ਵਾਲਾ ਰੋਕ, ਅਤੇ ਇੱਕ ਛੋਟਾ ਬਲੌਗ ਪੋਸਟ। ਪੰਜ ਦਿਨਾਂ ਵਿੱਚ, ਇਸਨੇ ਇਕ ਮਿਲੀਅਨ ਯੂਜ਼ਰਾਂ ਨੂੰ ਪਾਰ ਕਰ ਲਿਆ। ਹਫ਼ਤਿਆਂ ਵਿੱਚ, ਸਕਰੀਨਸ਼ਾਟਸ ਅਤੇ ਯੂਜ਼-ਕੇਸ Twitter, TikTok, LinkedIn 'ਤੇ ਫੈਲ ਗਏ। ਲੋਕ ਨਿਬੰਧ ਲਿਖ ਰਹੇ ਸਨ, ਕੋਡ ਡੀਬੱਗ ਕਰ ਰਹੇ ਸਨ, ਕਾਨੂੰਨੀ ਈਮੇਲਾਂ ਡਰਾਫਟ ਕਰ ਰਹੇ ਸਨ, ਅਤੇ ਇੱਕ ਹੀ ਟੂਲ ਨਾਲ వ్యਵਸਾਇਕ ਵਿਚਾਰ-ਬਰਤੀਆਂ ਕਰ ਰਹੇ ਸਨ।
ਉਤਪਾਦ ਨੂੰ ਇਸ ਤਰੀਕੇ ਨਾਲ ਨਹੀਂ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ ਸੀ: "ਇੱਕ Transformer-ਅਧਾਰਤ ਲੈੰਗਵੇਜ ਮਾਡਲ ਦਾ ਡੈਮੋ." ਇਹ ਸਿਰਫ ਸੀ: ਕੁਝ ਵੀ ਪੁੱਛੋ। ਜਵਾਬ ਲਵੋ. ਇਸ ਸਪਸ਼ਟਤਾ ਨੇ ਗੈਰ-ਤਕਨੀਕੀ ਲੋਕਾਂ ਲਈ ਤਕਨੀਕ ਨੂੰ ਅਕਸਮਾਤ ਪੜ੍ਹਨਯੋਗ ਬਣਾ ਦਿੱਤਾ।
ਗੂਗਲ ਦੇ ਅੰਦਰ, ਪ੍ਰਭਾਵ ਕਿਮੇ 'ਤੇਤਰ' ਦੇ ਬਦਲੇ ਚਿੰਤਾ ਜ਼ਿਆਦਾ ਸੀ। ਨੇਤৃত্ব ਨੇ "code red" ਘੋਸ਼ਿਤ ਕੀਤਾ। Larry Page ਅਤੇ Sergey Brin ਨੂੰ ਪ੍ਰੋਡਕਟ ਅਤੇ ਰਣਨੀਤੀ ਵਿਚ ਵਾਪਸ ਖਿੱਚਿਆ ਗਿਆ। ਉਹ ਟੀਮਾਂ ਜਿਨ੍ਹਾਂ ਨੇ ਕਈ ਸਾਲਾਂ ਤੱਕ ਗੱਲਬਾਤੀ ਮਾਡਲਾਂ 'ਤੇ ਕੰਮ ਕੀਤਾ, ਉਹ ਅਚਾਨਕ ਤੇਜ਼ੀ ਨਾਲ ਸਮੀਖਿਆ હેઠળ ਆ ਗਈਆਂ।
ਇੰਜੀਨੀਅਰਾਂ ਨੂੰ ਪਤਾ ਸੀ ਕਿ ਗੂਗਲ ਕੋਲ ChatGPT ਦੇ ਬੁਨਿਆਦੀ ਸਮਰੱਥਾ-ਬਰਾਬਰ ਪ੍ਰਣਾਲੀਆਂ ਨੇੜੇ ਹੀ ਮੌਜੂਦ ਸਨ। LaMDA, PaLM, ਅਤੇ ਪਹਿਲਾਂ ਦੇ Meena ਹੀ ਅੰਦਰੂਨੀ ਬੈਂਚਮਾਰਕ 'ਤੇ ਸੰਵਾਦ ਅਤੇ ਤਰਕਸ਼ੀਲਤਾ ਦਿਖਾ ਚੁਕੇ ਸਨ। ਪਰ ਉਹ gated ਟੂਲਾਂ ਦੇ ਪਿੱਛੇ ਰਹਿ ਗਏ ਅਤੇ ਲੰਬੀਆਂ ਮੰਗਾਂ-ਭਰੀਆਂ ਅਨੁਮਤੀਆਂ 'ਤੇ ਟਿਕੇ ਰਹੇ।
ਬਾਹਰਲੇ ਲੋਕਾਂ ਲਈ, ਇਹ ਐਸਾ ਦਿਖਾ ਕਿ ਗੂਗਲ ਹੈਰਾਨ ਹੋ ਗਿਆ ਸੀ।
ਟੈਕਨੀਕੀ ਪੱਖ ਤੋਂ, ChatGPT ਅਤੇ ਗੂਗਲ ਦੀ LaMDA ਕਜ਼ਿਨਾਂ ਵਰਗੇ ਸਨ: ਵੱਡੇ Transformer-ਅਧਾਰਤ ਭਾਸ਼ਾਈ ਮਾਡਲਾਂ ਜੋ ਡਾਇਲਾਗ ਲਈ ਫਾਈਨ-ਟਿਊਨ ਕੀਤੇ ਗਏ ਸਨ। ਫ਼ਰਕ ਜ਼ਿਆਦਾਤਰ ਉਤਪਾਦ ਫੈਸਲਿਆਂ ਵਿੱਚ ਸੀ।
OpenAI:
ਗੂਗਲ:
ਦਬਾਅ 'ਚ ਆ ਕੇ, Google ਨੇ ਫਰਵਰੀ 2023 ਵਿੱਚ Bard ਦਾ ਐਲਾਨ ਕੀਤਾ। ਪ੍ਰੀਵਿਊ ਡੈਮੋ ChatGPT ਦੀ ਗੱਲਬਾਤੀ ਜਾਦੂ ਦੀ ਨਕਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ: Bard ਨੂੰ ਪੁੱਛੋ, ਉੱਤਰ ਦੇਖੋ।
ਪਰ ਇੱਕ ਮੁੱਖ ਜਵਾਬ — James Webb Space Telescope ਤੋਂ ਖੋਜਾਂ ਬਾਰੇ — ਗਲਤ ਸੀ। ਉਹ ਗਲਤੀ Google ਦੀ ਆਪਣੀ ਮਾਰਕੀਟਿੰਗ ਸਮੱਗਰੀ ਵਿੱਚ ਆ ਗਈ, ਮਿੰਟਾਂ ਵਿੱਚ ਪਾਈ ਗਈ, ਅਤੇ ਇੱਕ ਦਿਨ ਵਿੱਚ Alphabet ਦੀ ਮਾਰਕੀਟ ਕੈਪ ਦੀ কোটি ਰੁਪਏ ਤੋਂ ਵੱਧ ਘਟਾ ਦਿੱਤੀ। ਇਹ ਨੈਰੇਟਿਵ ਨੂੰ ਮਜ਼ਬੂਤ ਕੀਤਾ: ਗੂਗਲ ਦੇਰੀ 'ਚ ਹੈ, ਘਬਰਾਇਆ ਹੋਇਆ ਹੈ, ਅਤੇ ਖ਼ਰਾਬ ਹੈ, ਜਦਕਿ OpenAI ਦ੍ਰਿੜ ਅਤੇ ਤਿਆਰ ਦਿਖਦਾ ਹੈ।
ਇਹ ਗੂਗਲ ਲਈ ਦੁੱਖਦਾਈ ਸੀ। Hallucinations ਅਤੇ ਤੱਥਗਲਤੀਆਂ LLMs ਦੇ ਮਾਮਲੇ 'ਚ ਜਾਣੀਆਂ-ਪਹਚਾਨੀਆਂ ਸਮੱਸਿਆਵਾਂ ਸਨ। ਫ਼ਰਕ ਇਹ ਸੀ ਕਿ OpenAI ਨੇ ਯੂਜ਼ਰਾਂ ਦੇ ਮਨ ਵਿੱਚ ਇਹ ਨੂੰ ਸਧਾਰਨ ਕਰ ਦਿੱਤਾ ਸੀ—ਸਾਫ਼ UI ਸੰਕੇਤ, ਛੋਟੇ ਨੋਟਸ, ਅਤੇ ਪ੍ਰਯੋਗ ਵਾਲਾ framing—ਜਦਕਿ ਗੂਗਲ ਨੇ Bard ਦੇ ਡੈਬਿਊ ਨੂੰ ਉੱਚ-ਦਾਅ ਵਾਲੀ ਬ੍ਰਾਂਡਿੰਗ ਦੇ ਨਾਲ ਕੀਤੇ ਅਤੇ ਫਿਰ ਇੱਕ ਆਸਾਨ ਤੱਥ 'ਤੇ ਹਿੱਲਾ ਹੋ ਗਿਆ।
ChatGPT ਦਾ ਫਾਇਦਾ ਗੂਗਲ ਦੇ ਅੰਦਰੂਨੀ ਪ੍ਰਣਾਲੀਆਂ 'ਤੇ ਹਮੇਸ਼ਾ ਵੱਡਾ ਮਾਡਲ ਜਾਂ ਨਵਾਂ ਅਲਗੋਰਿਦਮ ਨਾ ਸੀ। ਇਹ ਕਾਰਜਕੁਸ਼ਲਤਾ ਅਤੇ ਅਨੁਭਵ ਦੀ ਸਪੀਡ ਸੀ।
OpenAI:
ਗੂਗਲ ਹੌਲੀ ਚਲਿਆ, ਗ਼ਲਤੀਆਂ ਨੂੰ ਜ਼ੀਰੋ ਕਰਨ ਲਈ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ, ਅਤੇ Bard ਨੂੰ ਇੱਕ ਚਮਕਦਾਰ ਲਾਂਚ ਵਜੋਂ ਪੇਸ਼ ਕੀਤਾ ਨਾ ਕਿ ਸਿੱਖਣ ਵਾਲੇ ਚਰਨ ਵਜੋਂ। ਜਦ Bard ਉਪਭੋਗਤਾਵਾਂ ਤਕ ਪਹੁੰਚਿਆ, ChatGPT ਕਈ ਲੋਕਾਂ ਲਈ ਰੋਜ਼ਾਨਾ ਦੀਆੜਤ ਬਣ ਚੁੱਕਾ ਸੀ।
ਗੂਗਲ ਵਿੱਚ ਚੌਂਕ ਮਾਤਰ ਇਹ ਨਹੀਂ ਸੀ ਕਿ OpenAI ਕੋਲ ਵਧੀਆ AI ਸੀ; ਇਹ ਸੀ ਕਿ ਇਕ ਛੋਟੀ ਸੰਸਥਾ ਨੇ ਗੂਗਲ ਦੀ ਖੋਜ ਦੇ ਵਿਚਾਰ ਲੈ ਕੇ ਉਹਨਾਂ ਨੂੰ ਇੱਕ ਐਸੇ ਉਤਪਾਦ ਵਿੱਚ ਪੈਕ ਕੀਤਾ ਜੋ ਆਮ ਲੋਕਾਂ ਨੇ ਪਿਆਰ ਕੀਤਾ, ਅਤੇ ਕੁਝ ਹਫਤਿਆਂ ਵਿੱਚ AI ਦੇ ਆਗੂ ਦੀ ਧਾਰਣਾ ਮੁੜ ਲਿਖ ਦਿੱਤੀ।
ਗੂਗਲ ਅਤੇ OpenAI ਇੱਕੋ ਹੀ ਤਕਨੀਕੀ ਬੁਨਿਆਦ ਤੋਂ ਸ਼ੁਰੂ ਹੋਏ ਪਰ ਬਹੁਤ ਵੱਖ-ਵੱਖ ਸੰਗਠਨਕ ਹਕੀਕਤਾਂ ਨੇ ਉਹਨਾਂ ਦੇ ਹਰ ਫੈਸਲਿਆਂ ਨੂੰ ਬਦਲ ਦਿੱਤਾ।
ਗੂਗਲ ਦਾ ਮੂਲ ਕਾਰੋਬਾਰ Search ਅਤੇ ads ਹੈ। ਇਹ ਇੰਜਣ ਵਿਸ਼ਵਾਸਯੋਗ ਆਮਦਨ ਪੈਦਾ ਕਰਦਾ ਹੈ, ਅਤੇ ਬਹੁਤ ਸਾਰੇ ਸੀਨੀਅਰ ਇੰਸੈਂਟਿਵ ਇਸਨੂੰ ਰੱਖਿਆ ਕਰਨ ਨਾਲ ਜੁੜੇ ਹੋਏ ਹਨ।
ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸੰਵਾਦੀ ਮਾਡਲ ਲਾਂਚ ਕਰਨਾ ਜੋ:
ਇਸ ਲਈ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਖਤਰਾ ਵਜੋਂ ਵੇਖਿਆ ਗਿਆ। ਡਿਫੌਲਟ cautious ਸੀ। ਕਿਸੇ ਵੀ ਨਵੇਂ AI ਉਤਪਾਦ ਨੇ ਇਹ ਸਾਬਤ ਕਰਨਾ ਸੀ ਕਿ ਇਹ search ਜਾਂ ਬ੍ਰਾਂਡ ਨੂੰ ਨੁਕਸਾਨ ਨਹੀਂ ਪਹੁੰਚਾਏਗਾ।
OpenAI, ਇਸਦੇ ਉਲਟ, ਕੋਲ ਕੋਈ ਕੈਸ਼-ਕਾਓ ਨਹੀਂ ਸੀ। ਇਸਦੀ ਮੌਤੁ-ਅਸਥਿਤੀ ਸੀ: ਮੁੱਲਵਾਂ ਮਾਡਲ ਜਾਰੀ ਕਰੋ, ਡੈਵਲਪਰਾਂ ਦਾ ਦਿਮਾਗ ਜਿੱਤੋ, ਵੱਡੇ compute ਡੀਲਾਂ ਸਾਇਨ ਕਰੋ, ਅਤੇ ਹੋਰਾਂ ਤੋਂ ਪਹਿਲਾਂ ਰੀਵਨਿਊ ਬਣਾਉ। ਨਾ ਲਾਂਚ ਕਰਨ ਦਾ ਜੋਖ਼ਮ ਲਾਂਚ ਕਰਨ ਦੇ ਜੋਖ਼ਮ ਨਾਲੋਂ ਵੱਧ ਸੀ।
ਗੂਗਲ ਨੇ ਪਹਿਲਾਂ ਹੀ ਐਂਟੀਟ੍ਰੱਸਟ ਜਾਂ ਗੋਪਨੀਅਤ ਲੜਾਈਆਂ ਦਾ ਸਾਹਮਣਾ ਕੀਤਾ ਸੀ। ਉਹ ਇਤਿਹਾਸ ਇੱਕ ਐਸਾ ਸਭਿਆਚਾਰ ਬਣਾਉਂਦਾ:
OpenAI ਨੇ ਇਹ ਮੰਨਿਆ ਕਿ ਸ਼ਕਤੀਸ਼ਾਲੀ ਮਾਡਲ ਜਨਤਕ ਤੌਰ 'ਤੇ ਗੰਦੇ ਹੋ ਸਕਦੇ ਹਨ। ਕੰਪਨੀ ਨੇ ਗਾਰਡਰੇਲਾਂ ਨਾਲ ਇਤਰੈਸ਼ਨ ਨੂੰ ਲੇ ਕੇ ਚੱਲਦੀਆਂ ਥੀਆਂ। ਇਹ ਹਾਲੇ ਵੀ ਸਾਵਧਾਨ ਸੀ, ਪਰ ਉਤਪਾਦ ਜੋਖ਼ਮ ਲਈ ਸਹਿਣਸ਼ੀਲਤਾ ਕਾਫ਼ੀ ਉਚੀ ਸੀ।
ਗੂਗਲ ਵਿੱਚ ਵੱਡੇ ਲਾਂਚ ਆਮ ਤੌਰ 'ਤੇ ਕਈ ਕਮੇਟੀਆਂ, cross-org sign-offs ਅਤੇ OKR ਨੇਗੋਸ਼ੀਏਸ਼ਨ ਤੋਂ ਲੰਘਦੇ ਹਨ। ਇਹ ਕਿਸੇ ਵੀ ਉਤਪਾਦ ਨੂੰ ਜੋ Search, Ads, Cloud, ਅਤੇ Android ਵਿਚòrd੍ਰ ਉੱਪਰ ਆਉਂਦਾ ਹੈ, ਸੋਲੋ ਵਿੱਚ ਸ্লੋ ਕਰ ਦਿੰਦਾ ਹੈ।
OpenAI ਨੇ ਸ਼ਕਤੀ ਇੱਕ ਛੋਟੀ ਲੀਡਰਸ਼ਿਪ ਗਰੁੱਪ ਅਤੇ ਇੱਕ ਕੇਂਦਰਤ ਉਤਪਾਦ ਟੀਮ ਵਿੱਚ ਕੇਂਦਰਿਤ ਕੀਤੀ। ChatGPT, ਪ੍ਰਾਈਸਿੰਗ, ਅਤੇ API ਦਿਸ਼ਾ ਉੱਤੇ ਫੈਸਲੇ ਤੇਜ਼ੀ ਨਾਲ ਹੋ ਸਕਦੇ ਸਨ ਅਤੇ ਆਸਾਨੀ ਨਾਲ ਵਰਤੋਂ ਦੇ ਆਧਾਰ 'ਤੇ ਠੀਕ ਕੀਤੇ ਜਾ ਸਕਦੇ।
ਸਾਲਾਂ ਤੱਕ ਗੂਗਲ ਦੀ ਬਢ਼ਤ ਖਾਸ ਪੇਪਰ ਅਤੇ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਣ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਨ 'ਤੇ ਟਿਕੀ ਰਹੀ। ਪਰ ਜਦੋਂ ਹੋਰਾਂ ਨੇ ਖੋਜ ਨਕਲ ਕਰ ਲਈ, ਫ਼ਾਇਦਾ ਹੋ ਗਿਆ: ਖੋਜ ਤੇ ਨਾਲ-ਨਾਲ:
OpenAI ਨੇ ਮਾਡਲਾਂ ਨੂੰ ਉਤਪਾਦ ਸਬਸਟ੍ਰੇਟ ਮੰਨਿਆ: ਇੱਕ API ਜਾਰੀ ਕਰੋ, ਇੱਕ ਚੈਟ ਇੰਟਰਫੇਸ ਜਾਰੀ ਕਰੋ, ਯੂਜ਼ਰਾਂ ਤੋਂ ਸਿੱਖੋ, ਫਿਰ ਅਗਲੇ ਮਾਡਲ ਜੇਨੇਰੇਸ਼ਨ 'ਚ ਫੀਡ ਕਰੋ।
ਗੂਗਲ ਨੇ ਆਪਣੇ ਸਭ ਤੋਂ ਸਮਰੱਥ ਸਿਸਟਮਾਂ ਨੂੰ ਅੰਦਰੂਨੀ ਟੂਲ ਜਾਂ ਤੰਗ ਡੈਮੋਜ਼ ਵਜੋਂ ਰੱਖਿਆ। ਜਦ ਇਹਨਾਂ ਨੂੰ ਸਕੇਲ 'ਤੇ ਉਤਪਾਦੀਕ ਕੀਤਾ ਗਿਆ, OpenAI ਪਹਿਲਾਂ ਹੀ GPT ਦੇ ਆਲੇ-ਦੁਆਲੇ ਆਦਤਾਂ, ਉਮੀਦਾਂ ਅਤੇ ਇਕੋਸਿਸਟਮ ਬਣਾ ਚੁੱਕਾ ਸੀ।
ਫ਼ਰਕ ਇਹ ਸੀ ਕਿ ਕੌਣ transformers ਨੂੰ ਸਮਝਦਾ ਸੀ ਇਸ ਨਾਲ ਘੱਟ, ਅਤੇ ਕੌਣ ਉਸ ਸਮਝ ਨੂੰ ਸੈਂਕੜਿਆਂ ਮਿਲੀਅਨਾਂ ਲੋਕਾਂ ਦੇ ਸਾਹਮਣੇ ਉਤਪਾਦ ਵਿੱਚ ਲਿਆ ਕੇ ਜਿੰਨ੍ਹਾਂ ਨੂੰ ਉਹ ਵੀ ਚਾਹੀਦਾ ਸੀ, ਇਸ 'ਤੇ ਹੋਰ ਜ਼ਿਆਦਾ ਨਿਰਭਰ ਸੀ।
ਤਕਨੀਕੀ ਪੱਖ 'ਤੇ, ਗੂਗਲ ਕਦੇ ਵੀ ਪ੍ਰਭਾਵଶਾਲੀ ਰਹਿਆ। ਇਹ ਇਨਫრਾਸਟ੍ਰਕਚਰ 'ਤੇ ਆਗੂ ਰਿਹਾ: ਕਿਸਟਮ TPUs, ਅਡਵਾਂਸਡ ਡੇਟਾ-ਸੈਂਟਰ ਨੈੱਟਵਰਕਿੰਗ, ਅਤੇ ਅੰਦਰੂਨੀ ਟੂਲਿੰਗ ਜਿਸ ਨੇ ਵੱਡੇ ਮਾਡਲ ਸਾਲਾਂ ਪਹਿਲਾਂ ਤੱਕ ਰੋਟੀਨ ਬਣਾਉਣ ਯੋਗ ਕਰ ਦਿੱਤਾ।
ਗੂਗਲ ਰਿਸਰਚਰ ਮਾਡਲ ਆਰਕੀਟેકਚਰ (Transformers, attention variants, mixture-of-experts, retrieval-augmented models), ਸਕੇਲਿੰਗ ਕਾਨੂੰਨਾਂ, ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਕੁਸ਼ਲਤਾ 'ਤੇ ਅੱਗੇ ਰਹੇ। ਬਹੁਤ ਸਾਰੇ ਮੁੱਖ ਪੇਪਰ ਜੋ ਆਧੁਨਿਕ ਵੱਡੇ-ਪੱਧਰ ML ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦੇ ਹਨ Google ਜਾਂ DeepMind ਤੋਂ ਆਏ।
ਪਰ ਇਹ ਨਵੀਨਤਾ ਅਕਸਰ ਦਸਤਾਵੇਜ਼ਾਂ, ਅੰਦਰੂਨੀ ਪਲੇਟਫਾਰਮਾਂ, ਅਤੇ ਖੋਜ, ads ਅਤੇ Workspace ਵਿੱਚ ਤੰਗ-ਪਰਿਸਰਿਤ ਫੀਚਰਾਂ ਤੱਕ ਹੀ ਸੀਮਿਤ ਰਹਿ ਗਈ। ਇਕ ਸਪਸ਼ਟ "AI ਉਤਪਾਦ" ਦੇ ਬਜਾਏ, ਉਪਭੋਗਤਾਵਾਂ ਨੇ ਦਸਾਂ-ਹਜ਼ਾਰਾਂ ਛੋਟੇ, ਜੁੜੇ ਹੋਏ ਸੁਧਾਰ ਵੇਖੇ।
OpenAI ਨੇ ਵੱਖ ਰਾਸਤੇ ਚੁਣੇ। ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ, ਉਸਨੇ ਹੋਰਾਂ ਜਾਰੀ ਕੀਤੇ ਖਿਆਲਾਂ ਉੱਤੇ ਥਾਪਣਾ ਕੀਤੀ—ਗੂਗਲ ਦੇ ਸਮੇਤ। ਇਸਦਾ ਫ਼ਾਇਦਾ ਇਹ ਸੀ ਕਿ ਉਹਨਾਂ ਨੇ ਉਹਨਾਂ ਵਿਚਾਰਾਂ ਨੂੰ ਇੱਕ ਸਾਫ਼ ਉਤਪਾਦ ਰੇਖਾ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ:
ਇਹ ਇਕੱਤਰ ਪੈਕੇਜ ਕੱਚੇ ਮਾਡਲ ਸਮਰੱਥਾ ਨੂੰ ਹਰ ਕੋਈ ਤੇਜ਼ੀ ਨਾਲ ਅਪਨਾਉਣਯੋਗ ਚੀਜ਼ ਬਣਾਉਣ ਵਿੱਚ ਸਹਾਇਕ ਬਣਿਆ। ਜਦਕਿ ਗੂਗਲ ਨੇ ਕਈ ਬ੍ਰਾਂਡਾਂ ਅਤੇ ਸਤਹਾਂ ਹੇਠ ਪੁਸ਼ਤ ਸ਼ਕਤੀਸ਼ਾਲੀ ਮਾਡਲ ਜਾਰੀ ਕੀਤੇ, OpenAI ਨੇ ਤਿਆਰੀ 'ਤੇ ਧਿਆਨ ਕੇਂਦ੍ਰਿਤ ਕੀਤਾ।
ਜਦੋਂ ChatGPT ਚੱਲਿਆ, OpenAI ਨੇ ਉਹ ਚੀਜ਼ ਹਾਸਲ ਕੀਤੀ ਜੋ ਪਹਿਲਾਂ ਗੂਗਲ ਦੀ ਸੀ: ਡਿਫਾਲਟ ਮਾਈਂਡਸ਼ੇਅਰ। ਡੈਵਲਪਰ OpenAI 'ਤੇ ਪਹਿਲਾਂ ਅਜ਼ਮਾਉਂਦੇ ਰਹੇ, ਟਿਊਟੋਰਿਅਲ ਉਸਦੀ API 'ਤੇ ਲਿਖੇ ਗਏ, ਅਤੇ ਸਟਾਰਟਅਪਾਂ ਨੇ "GPT 'ਤੇ ਬਣੇ" ਉਤਪਾਦ ਪਿਚ ਕੀਤੇ।
ਮੂਲ ਮਾਡਲ ਗੁਣਵੱਤਾ-ਫ਼ਰਕ—ਜੇ ਹੋਵੇ—ਉਹਨਾ ਨਾਲੋਂ ਘੱਟ ਮਤਲਬ ਰੱਖਦਾ ਸੀ ਜਿੰਨਾ ਕਿ ਵੰਡ-ਪਹੁੰਚ ਫ਼ਰਕ। ਗੂਗਲ ਦੀ ਤਕਨੀਕੀ ਅਗੂਆਈ ਮਾਡਲਿੰਗ ਅਤੇ ਇੰਫ੍ਰਾਸਟ੍ਰਕਚਰ ਵਿੱਚ ਹੋਣ ਦੇ ਬਾਵਜੂਦ, ਇਹ ਸਿੱਧਾ ਮਾਰਕੀਟ ਲੀਡਰਸ਼ਿਪ ਨਹੀਂ ਬਣੀ ਸਕੀ।
ਸਬਕ: ਖੋਜ ਜਿੱਤਣਾ ਕਾਫ਼ੀ ਨਹੀਂ। ਇੱਕ ਸਪਸ਼ਟ ਉਤਪਾਦ, ਕੀਮਤ, ਕਹਾਣੀ, ਅਤੇ ਇੱਕ ਇੰਟਿਗ੍ਰੇਸ਼ਨ ਰਸਤਾ ਦੇ ਬਿਨਾਂ, ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਰਿਸਰਚ ਇੰਜਨ ਵੀ ਇੱਕ ਕੇਂਦਰਿਤ ਉਤਪਾਦ ਕੰਪਨੀ ਵੱਲੋਂ ਪਿੱਛੇ ਛੱਡੀ ਜਾ ਸਕਦੀ ਹੈ।
ਜਦ(ChatGPT) ਨੇ ਇਹ ਦਰਸਾਇਆ ਕਿ ਗੂਗਲ ਉਤਪਾਦੀਕਰਨ ਵਿੱਚ ਕਿੰਨਾ ਪਿੱਛੇ ਰਹਿ ਗਿਆ ਹੈ, ਕੰਪਨੀ ਨੇ ਬਹੁਤ ਜਨਤਕ "code red" ਚਾਲੂ ਕੀਤਾ। ਇਸਦੇ ਬਾਅਦ ਇੱਕ ਤੇਜ਼, ਕਈ ਵਾਰੀ ਗੁੱਝਲਿਆ ਪਰ ਸੱਚਾ ਰੀਸੈੱਟ ਆਇਆ।
ਗੂਗਲ ਦਾ ਪਹਿਲਾ ਜਵਾਬ Bard ਸੀ, ਜੋ LaMDA ਤੇ ਆਧਾਰਤ ਇੱਕ ਚੈਟ ਇੰਟਰਫੇਸ ਸੀ ਅਤੇ ਫਿਰ PaLM 2 ਨਾਲ ਅੱਪਗ੍ਰੇਡ ਕੀਤਾ ਗਿਆ। Bard ਤੇਜ਼ ਤੇ ਸੰਭਾਲਿਆ ਹੋਇਆ ਲੱਗਿਆ: ਸੀਮਤ ਪਹੁੰਚ, ਹੌਲੀ ਰੋਲਆਉਟ, ਅਤੇ ਸਪਸ਼ਟ ਉਤਪਾਦ ਸੀਮਾਵਾਂ।
ਅਸਲੀ ਰੀਸੈੱਟ Gemini ਨਾਲ ਆਇਆ:
ਇਸ ਬਦਲਾਅ ਨੇ Google ਨੂੰ "search ਕੰਪਨੀ ਜੋ ਚੈਟਬੋਟਾਂ 'ਤੇ ਅਜ਼ਮਾਇਸ਼ ਕਰ ਰਹੀ ਸੀ" ਤੋਂ "AI-first ਪਲੇਟਫਾਰਮ ਜਿਸਦੀ ਫਲੈਗਸ਼ਿਪ ਮਾਡਲ ਪਰਿਵਾਰ ਹੈ" ਵਿੱਚ ਦੁਬਾਰਾ ਪੋਜ਼ਿਸ਼ਨ ਕੀਤਾ—ਹਾਲਾਂਕਿ ਇਹ OpenAI ਦੀ ਬਹੁਤ ਅੱਗੇ ਹੋਈ ਸ਼ੁਰੂਆਤੀ ਸਫਲਤਾ ਤੋਂ ਪਿੱਛੇ ਸੀ।
ਗੂਗਲ ਦੀ ਤਾਕ਼ਤ ਡਿਸਟ੍ਰਿਬਿਊਸ਼ਨ ਹੈ, ਇਸ ਲਈ ਰੀਸੈੱਟ ਨੇ Gemini ਨੂੰ ਉਨ੍ਹਾਂ ਜਗ੍ਹ੍ਹਾਂ 'ਤੇ ਜੋੜਨ 'ਤੇ ਧਿਆਨ ਦਿੱਤਾ ਜਿੱਥੇ ਉਪਭੋਗਤਾ ਪਹਿਲਾਂ ਹੀ ਹੁੰਦੇ ਹਨ:
रणਨੀਤੀ: ਜੇ OpenAI "ਨਵੀਂਨਤਾ" ਅਤੇ ਬ੍ਰਾਂਡ 'ਤੇ ਜਿੱਤਦਾ ਹੈ, Google "ਡਿਫੌਲਟ ਮੌਜੂਦਗੀ" ਅਤੇ ਦਇਨਿਕ ਵਰਕਫਲੋ ਵਿੱਚ ਤੰਗ ਇੰਟਿਗ੍ਰੇਸ਼ਨ 'ਤੇ ਜਿੱਤ ਸਕਦਾ ਹੈ।
ਜਿਵੇਂ-ਜਿਵੇਂ Google ਪਹੁੰਚ ਵਧਾ ਰਿਹਾ ਹੈ, ਇਸਨੇ ਆਪਣੇ AI ਸਿਧਾਂਤ ਅਤੇ ਸੁਰੱਖਿਆ ਰੁੱਖ 'ਤੇ ਭਾਰੀ ਨਿਵੇਸ਼ ਕੀਤਾ:
ਟਰੇਡਫ: ਮਜ਼ਬੂਤ ਗਾਰਡਰੇਲਾਂ ਅਤੇ ਹੌਲੀ ਪ੍ਰਯੋਗ ਦੇ ਬਿਨਾਂ OpenAI ਦੀ ਤੇਜ਼ੀ-ਭਰੀ ਇਟਰੇਸ਼ਨ ਅਤੇ ਅਕਸਰ ਜਨਤਕ ਗਲਤੀਆਂ।
ਖਾਲੀ ਮਾਡਲ ਕਵਾਲਿਟੀ 'ਤੇ, Gemini Advanced ਅਤੇ शीर्ष-ਸਤਹ Gemini ਮਾਡਲਾਂ ਕਈ ਬੈਂਚਮਾਰਕ ਅਤੇ ਡੈਵਲਪਰ ਰਿਪੋਰਟਾਂ 'ਤੇ GPT-4 ਨਾਲ ਮੁਕਾਬਲੇਯੋਗ ਲੱਗਦੇ ਹਨ। ਕੁਝ ਮਲਟੀਮੋਡਲ ਅਤੇ ਕੋਡਿੰਗ ਕਾਰਜਾਂ 'ਚ Gemini ਅੱਗੇ ਵੀ ਆਊਂਦਾ ਹੈ; ਹੋਰਾਂ 'ਚ GPT-4 (ਅਤੇ ਉਸਦੇ ਉੱਤਰਾਧਿਕਾਰੀ) ਅਜੇ ਬਾਰ ਸੈੱਟ ਕਰਦਾ ਹੈ।
ਜਿੱਥੇ ਗੂਗਲ ਹਜੇ ਵੀ ਪਿੱਛੇ ਹੈ ਉਹ ਹੈ ਮਾਈਂਡਸ਼ੇਅਰ ਅਤੇ ਇਕੋਸਿਸਟਮ:
ਗੂਗਲ ਦਾ ਵਿਰੋਧ: ਵੱਡੀ ਡਿਸਟ੍ਰਿਬਿਊਸ਼ਨ (Search, Android, Chrome, Workspace) ਅਤੇ ਡਿੱਪ infra। ਜੇ ਉਹ ਇਹਨਾਂ ਨੂੰ ਬੇਹਤਰ AI-ਨੈਟਿਵ ਤਜਰਬਿਆਂ ਵਿੱਚ ਬਦਲ ਸਕੇ, ਤਾਂ ਧਾਰਣਾ ਗੇਪ ਨੂੰ ਘਟਾ ਸਕਦਾ ਹੈ ਜਾਂ ਉਲਟ ਸਕਦਾ ਹੈ।
ਰੀਸੈੱਟ ਇੱਕ ਖੇਤਰ ਵਿੱਚ ਹੋ ਰਿਹਾ ਹੈ ਜੋ ਹੁਣ ਸਿਰਫ ਗੂਗਲ ਅਤੇ OpenAI ਤੱਕ ਸੀਮਿਤ ਨਹੀਂ ਰਹਿ ਗਿਆ:
ਗੂਗਲ ਦਾ ਦੇਰੀ ਨਾਲ ਪਰ ਗੰਭੀਰ ਰੀਸੈੱਟ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਉਹ ਹੁਣ ਜਨਰੇਟਿਵ AI ਮੌਕੇ ਨੂੰ "ਮਿਸ" ਨਹੀਂ ਕਰ ਰਿਹਾ। ਪਰ ਭਵਿੱਖ ਬਹੁਁ-ਧਰਤੀ ਦਰਸਦਾ ਹੈ: ਕੋਈ ਇਕੱਲਾ ਜੇਤੂ ਨਹੀਂ, ਅਤੇ ਕੋਈ ਇਕ ਕੰਪਨੀ ਮਾਡਲ ਜਾਂ ਉਤਪਾਦ ਨਵੀਨਤਾ ਦੀ ਦਿਸ਼ਾ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਿਯੰਤਰਿਤ ਨਹੀਂ ਕਰੇਗੀ।
ਨਿਰਮਾਤਿਆਂ ਲਈ, ਇਸਦਾ ਮਤਲਬ ਹੈ ਅਜਿਹੀਆਂ ਰਣਨੀਤੀਆਂ ਬਣਾਉਣਾ ਜੋ ਕਈ ਮਜ਼ਬੂਤ ਪ੍ਰਦਾਤਾਵਾਂ, ਸ਼ਕਤੀਸ਼ਾਲੀ open models, ਅਤੇ ਲਗਾਤਾਰ leapfrogging ਨੂੰ ਮੰਨਣ—ਇੱਕ AI ਸਟੈਕ ਜਾਂ ਬ੍ਰਾਂਡ 'ਤੇ ਸਾਰਾ ਦਾਅ ਨਹੀਂ ਰੱਖਣ।
ਗੂਗਲ ਨੇ ਦਰਸਾਇਆ ਕਿ ਤੁਸੀਂ ਬ੍ਰੇਕਥਰੂ ਅਵਿਸਕਾਰ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਫਿਰ ਮੁੱਖ ਮੁੱਲ-ਤਰੰਗ ਹਾਰ ਸਕਦੇ ਹੋ। ਨਿਰਮਾਤਿਆਂ ਲਈ, ਮੁਦਦਾ ਇਸ ਪੈਰਾਡਾਕਸ ਦੀ ਸਰਾਹਨਾ ਨਹੀ, ਸਗੋਂ ਇਸਦੇ ਦੁਹਰਾਅ ਤੋਂ ਰੋਕਣਾ ਹੈ।
ਹਰੇਕ ਵੱਡੇ ਖੋਜ ਨਤੀਜੇ ਨੂੰ ਇੱਕ ਉਤਪਾਦ ਭਰੋਸੇ ਵਜੋਂ ਵਰਤੋ, ਨਾ ਕਿ ਅੰਤ।
ਜੇ ਕੋਈ ਨਤੀਜਾ ਪ੍ਰਕਾਸ਼ਨ ਯੋਗ ਹੈ, ਤਾਂ ਇਹ ਗਾਹਕਾਂ ਲਈ ਪ੍ਰੋਟੋਟਾਈਪ ਕਰਨ ਵਾਲੀ ਚੀਜ਼ ਵੀ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ।
ਲੋਕ ਉਹੀ ਕਰਦੇ ਹਨ ਜਿਸਦੇ ਲਈ ਉਹ ਇਨਾਮ ਪਾਉਂਦੇ ਹਨ।
Transformers ਇੱਕ ਨਵਾਂ ਗਣਨਾਤਮਕ ਪ੍ਰਿਮਿਟਿਵ ਸੀ। ਗੂਗਲ ਨੇ ਉਹਨਾਂ ਨੂੰ ਮੁੱਖ ਤੌਰ 'ਤੇ ਅੰਦਰੂਨੀ ਇੰਫਰਾਸਟ੍ਰਕਚਰ ਅੱਪਗਰੇਡ ਸਮਝਿਆ ਅਤੇ ਪੇਪਰ ਹੀ ਕੱਢ ਦਿਤੇ; OpenAI ਨੇ ਉਹਨਾਂ ਨੂੰ ਉਤਪਾਦ ਇੰਜਨ ਸਮਝਿਆ।
ਜਦੋਂ ਤੁਸੀਂ ਇਸ ਤਰ੍ਹਾਂ ਕੋਈ ਡੂੰਘਾ ਖਿਆਲ ਲੱਭੋ:
ਬ੍ਰਾਂਡ ਅਤੇ ਸੁਰੱਖਿਆ ਚਿੰਤਾਵਾਂ ਮੈਰਟ ਰੱਖਦੀਆਂ ਹਨ, ਪਰ ਉਨ੍ਹਾਂ ਨਾਲ ਬੇਇੰਜੀਲ ਦੇ ਲਈ ਬੇਅੰਤ ਦੇਰੀ ਨੂੰ ਠਹਿਰਾਉਣਾ ਠੀਕ ਨਹੀਂ।
ਇਕ ਪੜਾਅ-ਅਨੁਸਾਰ ਜੋਖ਼ਮ ਮਾਡਲ ਬਣਾਓ:
ਪੱਕੀ ਨਿਸ਼ਚਿਤੀ ਦੀ ਉਡੀਕ ਕਰਨ ਦੀ ਥਾਂ, ਨਿਯੰਤਰਿਤ ਐਕਸਪੋਜ਼ਰ ਲਈ ਡਿਜ਼ਾਈਨ ਕਰੋ: ਪ੍ਰਗਟ ਰੋਲਆਉਟ, ਬਲੌਗਿੰਗ, ਲਾਗਿੰਗ, ਫਾਸਟ ਰਿਵਰਟ ਪਾਥ, red-teaming, ਅਤੇ ਸਾਰਵਜਨਿਕ ਸੰਚਾਰ ਕਿ ਤੁਸੀਂ ਅਜੇ ਵੀ ਸਿੱਖ ਰਹੇ ਹੋ।
ਗੂਗਲ ਨੇ ਦੂਜਿਆਂ ਨੂੰ GPT-ਸਟਾਈਲ ਪ੍ਰਣਾਲੀਆਂ ਬਣਾਉਣ ਲਈ ਖੁੱਲ੍ਹੇ ਵਿਚਾਰ ਅਤੇ ਟੂਲ ਦਿੱਤੇ, ਪਰ ਬਹੁਤ ਹੱਦ ਤੱਕ ਬਾਹਰ ਲੈ ਕੇ ਖੜ੍ਹਾ ਰਹਿ ਗਿਆ।
ਜਦੋਂ ਤੁਸੀਂ ਕੋਈ ਸ਼ਕਤੀਸ਼ਾਲੀ ਨਵੀਂ ਸਮਰੱਥਾ ਉਪਲਬਧ ਕਰਵਾਉਂਦੇ ਹੋ:
ਤੁਸੀਂ ਕਿਸੇ ਇੱਕ ਵਿਸ਼ੇਸ਼ਟੀ ਕਾਰਜਕੁਸ਼ਲ ਜਾਂ ਹੀਰੋਿਕ ਟੀਮ 'ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਰਹਿ ਸਕਦੇ।
ਇਹ ਟ੍ਰਾਂਜ਼ਿਸ਼ਨ ਨੂੰ ਕੰਪਨੀ ਦੇ ਕੰਮ ਕਰਨ ਦੇ ਢੰਗ ਵਿੱਚ ਬਾਂਧੋ:
ਗੂਗਲ ਦੀ ਸਭ ਤੋਂ ਵੱਡੀ ਚੁਕ ਸੁਝਾਈ ਇਹ ਨਹੀਂ ਸੀ ਕਿ ਇਸਨੇ AI ਨੂੰ ਅਣਦੇਖਿਆ; ਇਹ ਸੀ ਕਿ ਇਸਨੇ ਅਹਲਕਾਰੀ ਤੌਰ 'ਤੇ ਸੋਚਿਆ ਕਿ ਆਪਣੀਆਂ ਹੀ ਖੋਜਾਂ ਉਪਭੋਗਤਾਵਾਂ ਦੇ ਹੱਥ 'ਚ ਕਿੱਨੇ ਰੂਪ ਲੈ ਸਕਦੀਆਂ ਹਨ।
ਅਮਲੀ ਮਾਨਸਿਕਤਾ:
ਭਵਿੱਖੀ ਖੋਜਾਂ—ਚਾਹੇ ਮਾਡਲਾਂ, ਇੰਟਰਫੇਸ, ਜਾਂ ਪੂਰੀ ਤਰੀਕੇ ਨਾਲ ਨਵੀਂ ਗਣਨਾਤਮਕ ਪ੍ਰਿਮਿਟਿਵ—ਉਨ੍ਹਾਂ ਸੰਗਠਨਾਂ ਦੁਆਰਾ ਵਪਾਰਿਕ ਕੀਤੀਆਂ ਜਾਣਗੀਆਂ ਜੋ "ਸਾਡੇ ਨੇ ਇਹ ਖੋਜ ਕੀਤੀ" ਤੋਂ ਤੇਜ਼ੀ ਨਾਲ "ਅਸੀਂ ਇਸਨੂੰ ਜਾਰੀ ਕਰਨ ਲਈ ਪੂਰੀ ਜੁੰਮੇਵਾਰੀ ਲੈ ਰਹੇ ਹਾਂ" ਵੱਲ ਵਧਦੇ ਹਨ।
ਗੂਗਲ ਤੋਂ ਸਿਖਿਆ ਇਹ ਨਹੀਂ ਕਿ ਘੱਟ ਪ੍ਰਕਾਸ਼ਨ ਕਰੋ ਜਾਂ ਖੋਜ ਲੁਕਾਓ। ਇਹ ਹੈ ਕਿ ਵਿਸ਼ਵ-ਸ਼ਰਧਾਵਾਨ ਖੋਜ ਨੂੰ ਉਸਦੇ ਬਰਾਬਰ ਉਤਪਾਦ ਮਾਲਕੀ, ਸਪਸ਼ਟ ਇਨਸੈਂਟਿਵ, ਅਤੇ ਜਨਤਕ ਤੋਂ ਸਿੱਖਣ ਦੇ ਢੰਗ ਨਾਲ ਜੋੜੋ। ਜਿਹੜੇ ਸੰਗਠਨ ਇੰਝ ਕਰਦੇ ਹਨ ਉਹ ਆਗਲੀ ਲਹਿਰ 'ਤੇ ਮਾਲਕ ਹੋਣਗੇ, ਸਿਰਫ਼ ਪੇਪਰ ਲਿਖਣ ਵਾਲੇ ਨਹੀਂ।
ਬਿਲਕੁਲ ਨਹੀ, ਪਰ ਗੂਗਲ ਨੇ ਉਹ ਮੁਖੀ ਤਕਨੀਕ ਬਣਾਈ ਜੋ GPT ਨੂੰ ਸੰਭਵ ਬਣਾਉਂਦੀ ਹੈ.
ਇਸ ਲਈ ਗੂਗਲ ਨੇ ਬਹੁਤ ਹੱਦ ਤਕ ਬੁਨਿਆਦੀ ਬੁੱਧੀ ਅਤੇ ਢਾਂਚਾ ਤਿਆਰ ਕੀਤਾ। OpenAI ਨੇ ਪਹਿਲੀ ਵੱਡੀ ਲਹਿਰ ਦੀ ਕੀਮਤ ਜਿੱਤੀ ਕਿਉਂਕਿ ਉਸਨੇ ਉਸ ਢਾਂਚੇ ਨੂੰ ChatGPT ਅਤੇ APIs ਵਰਗੇ ਮੈਨਸਟਰੀਮ ਉਤਪਾਦ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ।
Google ਨੇ ਰਿਸਰਚ, ਇਨਫ੍ਰਾਸਟਰਕਚਰ ਅਤੇ ਖੱਟੜ-ਖੱਟੜ ਖੋਜ-ਸੁਧਾਰਾਂ 'ਤੇ ਧਿਆਨ ਦਿੱਤਾ, ਜਦਕਿ OpenAI ਨੇ ਇੱਕ ਹੀ ਹਮਲਾ ਕੀਤਾ: ਇੱਕ ਨਿਰਧਾਰਿਤ, ਜਨਰਲ-ਉਦੇਸ਼ ਉਤਪਾਦ ਜਾਰੀ ਕਰਨਾ.
ਮੁੱਖ ਫ਼ਰਕ:
BERT ਅਤੇ GPT ਦੋਹਾਂ Transformers ਵਰਤਦੇ ਹਨ ਪਰ ਵੱਖ-ਵੱਖ ਕੰਮਾਂ ਲਈ ਅਨੁਕੂਲ ਹੁੰਦੇ ਹਨ:
Google ਨੇ ਖੁੱਲ੍ਹਾ-ਫਾਰਮ ਜਨਰੇਸ਼ਨ ਨੂੰ ਖਤਰਨਾਕ ਅਤੇ ਮੋਨੇਟਾਈਜ਼ ਕਰਨ ਵਿੱਚ ਮੁਸ਼ਕਲ ਦੇਖਿਆ।
ਮੁੱਖ ਚਿੰਤਾਵਾਂ:
OpenAI ਨੇ ਤਿੰਨ ਵੱਡੇ ਦਾਅ ਲਾਏ ਅਤੇ ਲਗਾਤਾਰ ਉਹਨਾਂ 'ਤੇ ਚਲਿਆ:
ਇੱਕ ਮੋਟੇ ਟੂਕੜੇ ਵਾਂਗ, ਇਹਨਾਂ ਨੇ Transformers ਨੂੰ ਬਹੁਤ ਵੱਡੇ ਪੈਮਾਨੇ (ਡੇਟਾ, ਪੈਰਾਮੀਟਰ, ਕੰਪਿਊਟ) 'ਤੇ ਧੱਕਿਆ, ਨਿਰੰਤਰ ਆਰਕੀਟੈਕਚਰ ਬਦਲਣ ਦੀ ਬਜਾਏ ਸਕੇਲਿੰਗ ਲਾਸਾਂ 'ਤੇ ਨਿਰਭਰ ਹੋ ਕੇ।
ਨਹੀਂ, ਅਸਲ ਹੈਰਾਨੀ ਉਤਪਾਦ ਅਤੇ ਕਹਾਣੀ ਵਿੱਚ ਸੀ, ਨਾ ਕਿ ਸਿਰਫ਼ ਕਚਾ ਮਾਡਲ ਕਾਬਲੀਅਤ ਵਿੱਚ।
ਇਸਨੇ ਲੋਕਾਂ ਦੀ ਧਾਰਣਾ ਉਲਟ ਦਿੱਤੀ: “ਗੂਗਲ AI 'ਚ ਅੱਗੇ ਹੈ” ਤੋਂ “ChatGPT ਅਤੇ OpenAI AI ਦੀ ਪਰਿਭਾਸ਼ਾ ਕਰਦੇ ਹਨ।” ਗੂਗਲ ਦੀ ਅਸਲੀ ਚੁੱਕ ਵਰਤੋਂਕਾਰ-ਮੁਖੀ ਸਾਦੇ ਤਜਰਬੇ ਦੇ ਮੁਕਾਬਲੇ ਵਿੱਚ ਆਪਣੀ ਖੋਜ ਨੂੰ ਉਤਪਾਦ ਵਿੱਚ ਤਬਦੀਲ ਕਰਨ ਵਿਚ ਕੰਟਰੋਲ ਦੀ ਕਮੀ ਸੀ।
ChatGPT ਨੇ ਬਿਹਤਰ ਮਹਿਸੂਸ ਹੋਣ ਦੇ ਕਾਰਣ ਕਾਰੀਗਰੀ ਅਤੇ ਪ੍ਰਸਤੁਤੀ ਸਨ, ਨਾ ਕਿ ਕੋਈ ਨਵਾਂ ਜਾਦੂਈ ਅਲਗੋਰਿਦਮ।
ਮੁੱਖ ਤੱਤ:
ਇਹ ਕਹਾਣੀ ਹੈ ਗਹਿਰੇ ਤਕਨੀਕੀ ਨੇਤ੍ਰਿਤਵ ਨੂੰ ਉਤਪਾਦੀਕਰਨ ਨਾਲ ਜੁੜਨ ਦੀ:
ਤੁਸੀਂ ਕਿਸੇ ਵੀ ਪੈਮਾਨੇ 'ਤੇ “ਗੂਗਲ ਗਲਤੀ” ਕਰ ਸਕਦੇ ਹੋ ਜੇ:
ਇਹਨਾਂ ਤੋਂ ਬਚਣ ਲਈ:
ਗੂਗਲ ਇੱਕ ਤਕਨੀਕੀ ਤਾਕਤ ਹੀ ਹੈ ਅਤੇ Gemini ਨਾਲ aggressively ਰੀਸੈੱਟ ਕੀਤਾ:
ਜਿੱਥੇ ਗੂਗਲ ਹਾਲੇ ਪਿੱਛੇ ਹੈ:
ਟੈਕਨਿਕਲ ਤੌਰ 'ਤੇ ਗੂਗਲ ਦੀ ਪਿੱਛੱਲਗੀ ਨਹੀਂ ਸੀ; ਪਰ ਸੰਸਥਾਗਤ ਅਤੇ ਉਤਪਾਦਕੋਣਾਂ ਤੋਂ ਵੇਖਿਆ ਜਾਵੇ ਤਾਂ ਜਿਹੜੇ ਫੈਸਲੇ ਲੋਕੀ ਨਜ਼ਰ ਵਿੱਚ ਆਉਂਦਿਆਂ ਮਹੱਤਵ ਰੱਖਦੇ ਹਨ, ਉਥੇ ਉਹ ਹੌਲੀ ਚੱਲੇ।
BERT (Google):
GPT (OpenAI):
ਸਧਾਰਨ ਤੌਰ 'ਤੇ Google ਨੇ search ਨੂੰ ਹੋਰ ਸਮਝਦਾਰ ਬਣਾਉਣ 'ਤੇ ਧਿਆਨ ਦਿੱਤਾ; OpenAI ਨੇ ਇੱਕ ਲਚਕੀਲਾ ਭਾਸ਼ਾਈ ਇੰਜਣ ਬਣਾਇਆ ਜਿਸ ਨਾਲ ਲੋਕ ਸਿੱਧਾ ਗੱਲ ਕਰ ਸਕਦੇ ਹਨ।
ਆਦਿ-ਵਿੱਚ ਦਿੱਤੇ ਗਏ ਤੇਜ਼ ਨਿਰੀਖਣ ਅਤੇ ਨਿਯਮਾਤਮਕ ਭਾਰ ਨੇ ਗੂਗਲ ਨੂੰ ਮੌਜੂਦਾ ਉਤਪਾਦਾਂ ਵਿੱਚ ਸੀਮਤ ਅਤੇ ਸੰਭਾਲੀ ਹੋਈ ਏਆਈ ਐਕਸਪੋਜ਼ਰ ਵਲ ਧਕਿਆ।
API-ਫਰਸਟ ਪਲੈਟਫਾਰਮ
2020 ਵਿੱਚ GPT‑3 API ਨੇ ਇਹ ਰਣਨੀਤੀ ਅਸਲ ਵਿੱਚ ਲਿਆ: ਸਧਾਰਨ ਕਲਾਊਡ API — ਟੈਕਸਟ ਭੇਜੋ, ਮਾਡਲ ਆਉਟਪੁੱਟ ਪ੍ਰਾਪਤ ਕਰੋ, ਟੋਕਨ ਅਨੁਸਾਰ ਭੁਗਤਾਨ ਕਰੋ। ਇਹਨੇ ਵੱਖ-ਵੱਖ ਉਪਯੋਗਾਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਵਿਕਸਤ ਹੋਣ ਦਿੱਤਾ।
ਕੰਜ਼ਿਊਮਰ ਚੈਟ ਨੂੰ ਫ਼ਲੈਗਸ਼ਿਪ ਉਤਪਾਦ ਬਣਾਉਣਾ
ChatGPT ਨੇ ਹਰ ਕਿਸੇ ਲਈ AI ਨੂੰ ਸਮਝਣਯੋਗ ਬਣਾਇਆ: “ਕੁਝ ਵੀ ਪੁੱਛੋ, ਜਵਾਬ ਲਵੋ।” ਇਹਨਾਂ ਨੇ ਪੂਰਨਤਾ ਦੀ ਉਡੀਕ ਨਾ ਕੀਤੀ; ਜਾਰੀ ਕੀਤਾ, ਯੂਜ਼ਰਾਂ ਤੋਂ ਸਿੱਖਿਆ ਅਤੇ ਤੇਜ਼ੀ ਨਾਲ ਸੁਧਾਰ ਕੀਤੇ।
ਇਹ ਚੋਣਾਂ ਇੱਕ ਓਹਲੇ ਲੂਪ ਬਣਾਂਦੇ ਹਨ: ਯੂਜ਼ਰ → ਡੇਟਾ → ਆਮਦਨ → ਵੱਡੇ ਮਾਡਲ → ਵਧੀਆ ਉਤਪਾਦ। ਇਹ ਗੂਗਲ ਦੇ ਧੀਰੇ-ਧੀਰੇ ਉਤਪਾਦੀਕਰਨ ਨਾਲ ਤੇਜ਼ੀ ਨਾਲ ਅੱਗੇ ਨਿਕਲ ਗਏ।
Google ਦੇ Bard ਦੇ ਲਾਂਚ ਦੌਰਾਨ ਦੀ ਪ੍ਰਸਤੁਤੀ:
ਫਰਕ ਇਹ ਸੀ ਕਿ ਗੂਗਲ ChatGPT ਨਹੀਂ ਬਣਾ ਸਕਦਾ ਸੀ; ਫਰਕ ਇਹ ਸੀ ਕਿ OpenAI ਨੇ ਅਸਲ ਵਿੱਚ ਉਸਨੂੰ ਜਾਰੀ ਕੀਤਾ ਅਤੇ ਜਨਤਕ ਰੂਪ ਵਿੱਚ ਸਿੱਖਿਆ।
ਮੁੱਖ ਪਾਠ: ਤਕਨੀਕੀ ਅਗੂਆਈ ਬਿਨਾਂ ਉਤਪਾਦਕ ਮਾਲਕੀ ਦੇ ਨਾਜ਼ੁਕ ਹੁੰਦੀ ਹੈ। ਜੇ ਤੁਸੀਂ ਤਕਨੀਕੀ ਨੁਕਤੇ 'ਤੇ ਅੱਗੇ ਹੋ, ਕਿਸੇ ਹੋਰ ਨੇ ਤੁਹਾਡੇ ਵਿਚਾਰਾਂ ਨੂੰ ਉਤਪਾਦ ਬਣਾਉਣ ਵਾਲੀ ਟੀਮ ਨਾਲ ਐਲਿਨ ਕਰ ਲਿਆ ਤਾਂ ਉਹੀ ਅੱਗੇ ਚਲੇ ਜਾਣਗੇ।
ਭਵਿੱਖ ਸੰਭਾਵਨਾਵਾਂ ਕਈ-ਧਰੀਆਂ ਹਨ: ਕੁਝ ਮਜ਼ਬੂਤ ਸੈਂਡ-ਪ੍ਰਦਾਤਾ, ਤੇਜ਼ ਓਪਨ-ਸੋਰਸ ਮਾਡਲ ਅਤੇ ਖਾਸ ਸੈਫਟੀ/ਵਰਟੀਕਲ ਉਪਲੋਡਾਂ ਵਾਲੇ ਖਿਡਾਰੀ। ਗੂਗਲ ‘ਹਾਰ’ ਨਹੀਂ ਹੋਇਆ; ਅੱਗੇ ਦੀ ਦੌੜ ਹੁਣ ਪ੍ਰਸ਼ਾਸਨ ਵਾਲੀ ਤੇਜ਼ੀ, ਇਕੋਸਿਸਟਮ ਦੀ ਗਹਿਰਾਈ ਅਤੇ ਰੋਜ਼ਾਨਾ ਵਰਕਫਲੋ ਵਿੱਚ ਇਕਤਾ 'ਤੇ ਹੈ।
