04 ਸਤੰ 2025·8 ਮਿੰਟ
Jensen Huang ਅਤੇ NVIDIA ਦੇ AI ਬੈਕਬੋਨ ਦੀ ਰਣਨੀਤੀ
Jensen Huang ਨੇ NVIDIA ਨੂੰ ਗੇਮਿੰਗ GPUs ਤੋਂ AI ਇੰਫਰਾਸਟਰਕਚਰ ਤੱਕ ਕਿਵੇਂ ਰਲਾਇਆ—ਪਲੇਟਫਾਰਮ ਬੇਟ, CUDA, ਡੇਟਾ ਸੈਂਟਰ ਅਤੇ ਭਾਈਦਾਰੀਆਂ ਜੋ ਇਸ ਬੂਮ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਵਾਲੀਆਂ ਸਨ।
Jensen Huang ਨੇ NVIDIA ਨੂੰ ਗੇਮਿੰਗ GPUs ਤੋਂ AI ਇੰਫਰਾਸਟਰਕਚਰ ਤੱਕ ਕਿਵੇਂ ਰਲਾਇਆ—ਪਲੇਟਫਾਰਮ ਬੇਟ, CUDA, ਡੇਟਾ ਸੈਂਟਰ ਅਤੇ ਭਾਈਦਾਰੀਆਂ ਜੋ ਇਸ ਬੂਮ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਵਾਲੀਆਂ ਸਨ।
ਜਦੋਂ ਲੋਕ NVIDIA ਨੂੰ “AI ਦਾ ਬੈਕਬੋਨ” ਕਹਿੰਦੇ ਹਨ, ਉਹ ਸਿਰਫ ਤੇਜ਼ ਚਿੱਪਾਂ ਦੀ ਮਹਿਮਾ ਨਹੀਂ ਕਰ ਰਹੇ। ਉਹ ਉਹਨਾਂ ਬਣਤਰਾਂ ਦੀ ਗੱਲ ਕਰ ਰਹੇ ਹਨ ਜਿਨ੍ਹਾਂ 'ਤੇ ਕਈ ਆਧੁਨਿਕ AI ਸਿਸਟਮ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਨ, ਉਨ੍ਹਾਂ ਨੂੰ ਪ੍ਰੋਡਕਟਾਂ 'ਚ ਸਰਵ ਕਰਨ ਅਤੇ ਆਰਥਿਕ ਢੰਗ ਨਾਲ ਸਕੇਲ ਕਰਨ ਲਈ ਨਿਰਭਰ ਕਰਦੇ ਹਨ।
ਆਮ ਭਾਸ਼ਾ ਵਿੱਚ, ਬੈਕਬੋਨ ਉਹ ਹੈ ਜਿਸ 'ਤੇ ਹੋਰ ਹਿੱਸੇ ਨਿਰਭਰ ਹੁੰਦੇ ਹਨ। AI ਲਈ, ਇਹ ਆਮ ਤੌਰ 'ਤੇ ਚਾਰ ਚੀਜ਼ਾਂ ਮਿਲਕੇ ਕੰਮ ਕਰਦੀਆਂ ਹਨ:
ਜੇ ਕੋਈ ਇੱਕ ਵੀ ਪਰਤ ਘੱਟਜ਼ੋਰ ਹੋਵੇ ਤਾਂ AI ਦੀ ਤਰੱਕੀ ਧੀਮੀ ਹੋ ਜਾਂਦੀ ਹੈ। ਤੇਜ਼ ਸਿਲਿਕਾਨ ਬਿਨਾਂ ਵਰਤਣਯੋਗ ਸਾਫਟਵੇਅਰ ਦੇ ਲੈਬ ਵਿਚ ਹੀ ਰਹਿ ਜਾਂਦਾ ਹੈ। ਸ਼ਾਨਦਾਰ ਟੂਲ ਬਿਨਾਂ ਕਾਫ਼ੀ ਹਾਰਡਵੇਅਰ ਸਮਰੱਥਾ ਦੇ ਇੱਕ ਦੀਵਾਰ 'ਤੇ ਟੱਕਰ ਮਾਰਦੇ ਹਨ।
ਇਹ ਕਹਾਣੀ ਅਕਸਰ Jensen Huang—NVIDIA ਦੇ ਸਹ-ਸੰਸਥਾਪਕ ਅਤੇ CEO—ਰਾਹੀਂ ਦੱਸੀ ਜਾਂਦੀ ਹੈ। ਉਹ ਇਕੱਲਾ ਜ਼ਹੀਨ ਨਹੀਂ ਜਿਵੇਂ ਲੋਕ ਕਹਿੰਦੇ ਹਨ; ਬਲਕਿ ਇੱਕ ਅਜਿਹਾ ਨੇਤ੍ਰਿਤਵ ਜੋ ਪਲੇਟਫਾਰਮ-ਸ਼ੈਲੀ ਦੇ ਦਾਅਵਿਆਂ 'ਤੇ ਲਗਾਤਾਰ ਨਿਵੇਸ਼ ਕਰਦਾ ਰਿਹਾ। GPUs ਨੂੰ ਸਿਰਫ ਇੱਕ ਉਤਪਾਦ ਵਰਗੀ ਨਹੀਂ ਦੇਖ ਕੇ, NVIDIA ਨੇ ਸ਼ੁਰੂ ਤੋਂ ਇਹ ਦਿਸ਼ਾ ਲੀ ਕਿ ਉਨ੍ਹਾਂ ਨੂੰ ਇੱਕ ਅਧਾਰ ਵਿੱਚ ਬਦਲਣਾ ਜਿੱਥੇ ਹੋਰ ਕੰਪਨੀਆਂ ਉਸ 'ਤੇ ਚੀਜ਼ਾਂ ਬਣਾ ਸਕਣ। ਇਸ ਲਈ ਲੰਬੇ ਸਮੇਂ ਦੇ ਸਾਫਟਵੇਅਰ ਨਿਵੇਸ਼ ਅਤੇ ਡਿਵੈਲਪਰਾਂ, ਕਲਾਉਡ ਪ੍ਰੋਵਾਇਡਰਾਂ ਅਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ਾਂ ਨਾਲ ਰਿਸ਼ਤੇ ਬਣਾਉਣ 'ਤੇ ਧਿਆਨ ਦੀ ਲੋੜ ਸੀ—ਫਾਇਦਾ ਓਸ ਸਮੇਂ ਤੱਕ ਸਾਹਮਣੇ ਨਹੀਂ ਆਉਂਦਾ।
ਹੇਠਾਂ ਵਾਲੇ ਖੰਡ ਵੱਖ-ਵੱਖ ਪਹਲੂਆਂ ਨੂੰ ਵੱਖਰਾ ਕਰਕੇ ਦਸਦੇ ਹਨ ਕਿ NVIDIA ਗ੍ਰਾਫਿਕਸ ਤੋਂ ਜਨਰਲ ਕੰਪਿਊਟਿੰਗ ਤੱਕ ਕਿਵੇਂ ਗਈ, CUDA ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਰਹੀ, ਡੀਪ ਲਰਨਿੰਗ ਨੇ ਮੰਗ ਵਿੱਚ ਕਿਵੇਂ ਬਦਲਾਵ ਲਿਆ, ਅਤੇ ਸਿਸਟਮ ਇੰਜੀਨੀਅਰਿੰਗ, ਭਾਈਦਾਰੀਆਂ ਅਤੇ ਮੈਨੂਫੈਕਚਰਿੰਗ ਸੀਮਾਵਾਂ ਨੇ ਬਾਜ਼ਾਰ ਨੂੰ ਕਿਵੇਂ ਆਕਾਰ ਦਿੱਤਾ। ਲਕੜੀ ਨਾ ਬਣਾਉਣ ਦਾ ਮਕਸਦ NVIDIA ਦੀ ਪੁਰਨਤਮਾ ਨਹੀਂ—ਇਸ ਦੀ ਯੋਜਨਾਬੱਧ ਚਲਣੀ ਨੂੰ ਸਮਝਣਾ ਹੈ ਜਿਸ ਨੇ ਇੱਕ ਕੰਪੋਨੇਟ ਨੂੰ ਇੰਫਰਾਸਟਰਕਚਰ ਬਣਾਇਆ।
NVIDIA "AI ਕੰਪਨੀ" ਵਜੋਂ ਸ਼ੁਰੂ ਨਹੀਂ ਹੋਈ। ਉਨ੍ਹਾਂ ਦੀ ਸ਼ੁਰੂਆਤੀ ਪਛਾਣ ਗ੍ਰਾਫਿਕਸ ਸੀ: ਉਨ੍ਹਾਂ ਨੇ ਉਹ GPUs ਬਣਾਏ ਜੋ ਗੇਮਰ ਅਤੇ ਡਿਜ਼ਾਈਨਰਾਂ ਲਈ 3D ਦੁਨੀਆਂ ਨੂੰ ਨਰਮ ਰੇਂਡਰ ਕਰ ਸਕਦੇ। ਇਸ ਧਿਆਨ ਨੇ ਟੀਮ ਨੂੰ ਇੱਕ ਅਹਿਮ ਯੋਗਤਾ ਵਿੱਚ ਮਾਹਿਰ ਬਣਾਇਆ—ਇਹ ਉਹੀ ਯੋਗਤਾ ਬਾਦ ਵਿੱਚ ਤੈਅ ਰੂਪ ਵਿੱਚ ਅਹਿਮ ਸਾਬਤ ਹੋਈ—ਇੱਕੋ ਵੇਲੇ ਬਹੁਤ ਸਾਰੀਆਂ ਛੋਟੀ ਗਣਿਤੀਆਂ ਕਰਨ ਦੀ।
ਇੱਕ ਗੇਮ ਦੇ ਇਕ ਫਰੇਮ ਨੂੰ ਡਰਾਇ ਕਰਨ ਲਈ ਕਮਪਿਊਟਰ ਨੂੰ ਕੋਟਸ, ਲਾਇਟਿੰਗ, ਟੈਕਸਚਰ ਅਤੇ ਜਿਆਮਿਤੀ ਦੀ ਗਣਨਾ ਕਰੋਣੀ ਪੈਂਦੀ ਹੈ ਲੱਖਾਂ ਪਿਕਸਲਾਂ ਲਈ। ਮਹੱਤਵਪੂਰਨ ਗੱਲ ਇਹ ਹੈ ਕਿ ਬਹੁਤ ਸਾਰੀਆਂ ਪਿਕਸਲ ਗਣਨਾਵਾਂ ਇਕ ਦੂਜੇ 'ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਹੁੰਦੀਆਂ—ਤੁਸੀਂ ਪਿਕਸਲ #1 ਅਤੇ ਪਿਕਸਲ #1,000,000 ਨੂੰ ਇਕੱਠੇ ਹੀ ਪ੍ਰਕਿਰਿਆ ਕਰ ਸਕਦੇ ਹੋ।
ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ GPUs ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਪੈਰੈਲਲ ਮਸ਼ੀਨਾਂ ਵਿੱਚ ਵਿਕਸਤ ਹੋਏ: ਕੁਝ ਬਹੁਤ ਸ਼ਕਤਿਸ਼ਾਲੀ ਕੋਰ ਰੱਖਣ ਦੀ ਥਾਂ, ਉਨ੍ਹਾਂ ਕੋਲ ਬਹੁਤ ਸਾਰੇ ਛੋਟੇ ਕੋਰ ਹੁੰਦੇ ਹਨ ਜੋ ਵੱਡੇ ਡਾਟਾ ਬੈਚਾਂ 'ਤੇ ਸਧਾਰਨ ਆਪਰੇਸ਼ਨਾਂ ਨੂੰ ਦੁਹਰਾਉਂਦੇ ਹਨ।
ਇੱਕ ਸਧਾਰਣ ਤੁਲਨਾ:
ਜਦੋਂ ਇੰਜੀਨੀਅਰਾਂ ਨੇ ਸਮਝਿਆ ਕਿ ਇਹੇ ਸਮਕਾਲੀ ਪੈਟਰਨ ਗੇਮਿੰਗ ਤੋਂ ਬਾਹਰ ਵੀ ਆਉਂਦੇ ਹਨ—ਜਿਵੇਂ ਫਿਜ਼ਿਕਸ ਸਿਮੁਲੇਸ਼ਨ, ਇਮੇਜ ਪ੍ਰੋਸੈਸਿੰਗ, ਵੀਡੀਓ ਐਨਕੋਡਿੰਗ ਅਤੇ ਵਿਗਿਆਨਕ ਕੰਪਿਊਟਿੰਗ—ਤਦ GPU ਇਕ ਨਿਸ਼ਚਿਤ ਹਿੱਸਾ ਲੱਗਣ ਦੀ ਥਾਂ ਜਨਰਲ-ਪਰਪਜ਼ ਇੰਜਣ ਬਣਨਾ ਸ਼ੁਰੂ ਹੋ ਗਿਆ।
ਇਹ ਬਦਲਾਅ ਮਹੱਤਵਪੂਰਨ ਸੀ ਕਿਉਂਕਿ ਇਸਨੇ NVIDIA ਦੇ ਮੌਕੇ ਨੂੰ ਇਕ ਨਵੇਂ ਰੂਪ 'ਚ ਰੇਖਾਂਕਿਤ ਕੀਤਾ: ਸਿਰਫ਼ ਖਪਤਕਾਰ ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ ਵੇਚਣ ਦੀ ਥਾਂ, ਉਹ ਇੱਕ ਐਸੇ ਪਲੇਟਫਾਰਮ ਨੂੰ ਬਣਾਉਣ ਲੱਗੇ ਜੋ ਪੈਰੈਲ ਕੰਪਿਊਟਿੰਗ ਨੂੰ ਰਿਵਾਰਡ ਕਰਨ ਵਾਲੇ ਵਰਕਲੋਡਾਂ ਲਈ ਮੂਲ ਬਣ ਸਕੇ—ਜੋ ਦਿੱਖ ਲਈ ਡੀਪ ਲਰਨਿੰਗ ਨੇ ਬਾਅਦ ਵਿੱਚ ਮੰਗ ਕੀਤਾ।
NVIDIA ਦਾ ਪਰਛਾਂਵੇਦਾਰ ਰਣਨੀਤਕ ਦਾਅਵਾ ਸਿਰਫ਼ “ਤੇਜ਼ GPUs ਬਣਾਓ” ਨਹੀਂ ਸੀ। ਇਹ ਸੀ “ਉਹ ਪੱਕਾ ਕਰੋ ਕਿ ਡਿਵੈਲਪਰ ਉਹ ਪਲੇਟਫਾਰਮ ਚੁਨਣ—ਅਤੇ ਲਗਾਤਾਰ ਚੁਨਦੇ ਰਹਿਣ—ਕਿਉਂਕਿ ਸਾਫਟਵੇਅਰ ਤਜ਼ਰਬਾ ਸਮੇਂ ਦੇ ਨਾਲ ਜੁਟਦਾ ਹੈ।”
ਗ੍ਰਾਫਿਕਸ ਚਿਪ ਨੂੰ ਸਪੈਸਿਫਿਕੇਸ਼ਨ ਸਬੰਧੀ ਤੁਲਨਾ ਕਰਨਾ ਅਸਾਨ ਹੁੰਦਾ ਹੈ: ਕੋਰ, ਬੈਂਡਵਿਡਥ, ਵਾਟ, ਕੀਮਤ। ਇੱਕ ਪਲੇਟਫਾਰਮ ਬਦਲਣਾ ਔਖਾ ਹੁੰਦਾ ਹੈ। ਇੱਕ ਸਥਿਰ ਪ੍ਰੋਗ੍ਰਾਮਿੰਗ ਮਾਡਲ 'ਤੇ ਪਹਿਲਾਂ ਹੀ ਨਿਵੇਸ਼ ਕਰਕੇ, NVIDIA ਨੇ ਖਰੀਦਣ ਦੇ ਫੈਸਲੇ ਨੂੰ “ਇਸ ਸਾਲ ਕਿਹੜਾ ਚਿਪ ਤੇਜ਼ ਹੈ?” ਤੋਂ ਬਦਲ ਕੇ “ਅਸੀਂ ਅਗਲੇ ਪੰਜ ਸਾਲਾਂ ਲਈ ਕਿਸ ਸਟੈਕ 'ਤੇ ਬਿਲਡ ਕਰਾਂਗੇ?” ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ।
CUDA ਨੇ GPU ਨੂੰ ਇਕ ਵਿਸ਼ੇਸ਼ ਗ੍ਰਾਫਿਕਸ ਪ੍ਰੋਸੈਸਰ ਤੋਂ ਉਸ ਚੀਜ਼ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ ਜਿਸਨੂੰ ਪ੍ਰੋਗ੍ਰਾਮਰ ਬਹੁਤ ਕਿਸਮ de ਸੰਭਵ ਕਮਪਿਊਟੇਸ਼ਨ ਲਈ ਵਰਤ ਸਕਦੇ ਹਨ। ਗ੍ਰਾਫਿਕਸ APIs ਦੇ ਹੇਠਾਂ ਸੁਸਪੰਸਨ ਕਰਨ ਦੀ ਥਾਂ, CUDA ਨੇ GPU-ਅਕਸਲੀਰੇਟਡ ਕੋਡ ਲਿਖਣ ਦਾ ਸਿੱਧਾ ਤਰੀਕਾ ਦਿੱਤਾ—ਕਮਪਾਇਲਰ, ਡੀਬੱਗਿੰਗ ਟੂਲ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰੋਫਾਈਲਿੰਗ ਨਾਲ।
ਇਹ “ਪੁਲ” ਅਹਿਮ ਸੀ ਕਿਉਂਕਿ ਇਸਨੇ ਨਵੇਂ ਵਰਕਲੋਡ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਦੀ ਘਰਾਹਟ ਘਟਾਈ। ਜਿਵੇਂ ਜੇ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਨਤੀਜੇ ਮਿਲੇ—ਤੇਜ਼ ਸਿਮੁਲੇਸ਼ਨ, ਐਨਾਲਿਸਿਸ, ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਡੀਪ ਲਰਨਿੰਗ—ਉਹ ਰੁਕਣ ਲਈ ਅਧਿਕਾਰ ਦਿੱਤਾ।
ਹਾਰਡਵੇਅਰ ਨੇਤ੍ਰਿਤਵ ਅਸਥਾਈ ਹੋ ਸਕਦਾ ਹੈ; ਸਾਫਟਵੇਅਰ ਇਕੋਸਿਸਟਮ ਗੁਣਾ ਕਰਦਾ ਹੈ। ਟੂਲਿੰਗ, ਲਾਇਬ੍ਰੇਰੀ, ਦਸਤਾਵੇਜ਼ੀ, ਅਤੇ ਕਮਿਊਨਿਟੀ ਗਿਆਨ ਉਹ ਸਵਿੱਚਿੰਗ ਲਾਗਤਾਂ ਬਣਾਉਂਦੇ ਹਨ ਜੋ ਬੈਂਚਮਾਰ্ক ਚਾਰਟ ਵਿੱਚ ਨਹੀਂ ਦਿਖਦੀਆਂ। ਸਮੇਂ ਨਾਲ, ਟੀਮਾਂ ਅੰਦਰੂਨੀ ਕੋਡਬੇਸ ਬਣਾਉਂਦੀਆਂ ਹਨ, CUDA ਅਨੁਭਵ ਲਈ ਨੌਕਰੀਆਂ ਭਰਦੀਆਂ ਹਨ, ਅਤੇ ਅਪਟੀਮਾਇਜ਼ਡ ਬਿਲਡਿੰਗ ਬਲਾਕਾਂ 'ਤੇ ਨਿਰਭਰ ਹੋ ਜਾਂਦੀਆਂ ਹਨ।
CUDA ਦੇ ਨੁਕਸਾਨ ਨਹੀਂ ਹਨ। ਇਸਦਾ ਇੱਕ ਲਰਨਿੰਗ ਕਰਵ ਹੈ, ਅਤੇ GPU ਪ੍ਰੋਗ੍ਰਾਮਿੰਗ ਵਿਚ ਵਿਸ਼ੇਸ਼ ਪ੍ਰਦਰਸ਼ਨ-ਸੋਚ ਦੀ ਲੋੜ ਪੈ ਸਕਦੀ ਹੈ। ਪੋਰਟੇਬਿਲਿਟੀ ਵੀ ਚਿੰਤਾ ਹੈ: ਕੋਡ ਅਤੇ ਵਰਕਫਲੋ NVIDIA ਦੇ ਇਕੋਸਿਸਟਮ ਨਾਲ ਜੁੜ ਸਕਦੇ ਹਨ, ਜਿਸਨੂੰ ਕੁਝ ਸੰਗਠਨ ਮਿਆਰੀਆਂ ਅਤੇ ਐਬਸਟਰੈਕਸ਼ਨਾਂ ਨਾਲ ਕਮ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਨ।
ਡੀਪ ਲਰਨਿੰਗ ਨੇ "ਚੰਗੇ ਹਾਰਡਵੇਅਰ" ਦਾ ਮਤਲਬ ਬਦਲ ਦਿੱਤਾ। ਪਹਿਲੀਆਂ ਲਹਿਰਾਂ ਦੀ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਅਕਸਰ CPUs 'ਤੇ ਫਿੱਟ ਹੋ ਜਾਂਦੀ ਸੀ ਕਿਉਂਕਿ ਮਾਡਲ ਛੋਟੇ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਦੌਰਾਨ ਛੋਟੇ ਹੁੰਦੇ ਸਨ। ਆਧੁਨਿਕ ਨਿਊਰਲ ਨੈਟਵਰਕ—ਖਾਸ ਕਰਕੇ ਵਿਜ਼ਨ, ਸਪੀਚ ਅਤੇ ਭਾਸ਼ਾ ਲਈ—ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਇੱਕ ਵੱਡਾ ਨੰਬਰ-ਕ੍ਰੰਚਿੰਗ ਕੰਮ ਬਣਾਉਂਦੇ ਹਨ, ਜੋ ਸਿੱਧਾ ਉਸ ਗੁਣ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਜੋ GPUs ਪਹਿਲਾਂ ਹੀ ਚੰਗਾ ਕਰਦੇ ਸਨ।
ਮਾਡਲ ਟ੍ਰੇਨਿੰਗ ਆਮ ਤੌਰ 'ਤੇ ਉਨ੍ਹਾਂ ਹੀ ਕਿਸਮਾਂ ਦੇ ਆਪਰੇਸ਼ਨਾਂ ਦੀ ਦੁਹਰਾਈ ਉੱਤੇ ਹੱਲ ਹੁੰਦੀ ਹੈ: ਵੱਡੀਆਂ ਮੈਟਰਿਕਸ ਗੁਣਾ ਅਤੇ ਰੇਖੀ ਬੀਜ ਗਣਿਤ। ਇਹ ਗਣਨਾਵਾਂ ਬਹੁਤ ਪੈਰੈਲਲ ਹੁੰਦੀਆਂ ਹਨ—ਇਸਦਾ ਮਤਲਬ ਹੈ ਤੁਸੀਂ ਕੰਮ ਨੂੰ ਬਹੁਤ ਛੋਟੇ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡ ਸਕਦੇ ਹੋ ਅਤੇ ਸਮਕਾਲੀ ਤੌਰ 'ਤੇ ਚਲਾ ਸਕਦੇ ਹੋ।
GPUs ਮੁਲਤੀਆਂ ਪੈਰੈਲਲ ਵਰਕਲੋਡ ਲਈ ਬਣੇ ਸਨ (ਮੂਲ ਰੂਪ ਵਿੱਚ ਗ੍ਰਾਫਿਕਸ ਲਈ)। ਹਜ਼ਾਰਾਂ ਛੋਟੇ ਕੋਰ ਇਕੱਠੇ ਸੈਂਕੜਿਆਂ ਜਾਂ ਲੱਖਾਂ ਗੁਣਾ-ਅਭਿਆਸਾਂ ਨੂੰ ਸਮਕਾਲੀ ਤੌਰ 'ਤੇ ਪ੍ਰਕਿਰਿਆ ਕਰ ਸਕਦੇ ਹਨ, ਜੋ ਬੜੇ ਡੇਟਾਸੈਟ ਅਤੇ ਮਾਡਲ ਸਾਈਜ਼ਾਂ 'ਚ ਟ੍ਰੇਨਿੰਗ ਨੁਮਾਇਆ ਤੌਰ 'ਤੇ ਦਿਨਾਂ ਬਜਾਏ ਹਫ਼ਤਿਆਂ ਵਿੱਚ ਖਤਮ ਕਰ ਸਕਦੀ ਹੈ।
ਆਰੰਭਿਕ ਅਪਣਾਉਣ ਦਾ ਸਾਇਕਲ ਵਾਸਤਵਿਕ ਅਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਸੀ। ਯੂਨੀਵਰਸਿਟੀ ਅਤੇ ਲੈਬ ਦੇ ਰਿਸਰਚਰਾਂ ਨੇ GPUs 'ਤੇ ਪ੍ਰਯੋਗ ਕੀਤਾ ਕਿਉਂਕਿ ਉਨ੍ਹਾਂ ਨੂੰ ਡਾਲਰ-ਪ੍ਰਤਿਕਲਕ ਵਿੱਚ ਜ਼ਿਆਦਾ ਕੰਪਿਊਟ ਚਾਹੀਦਾ ਸੀ। ਜਿਵੇਂ ਨਤੀਆਂ ਸੁਧਰਿਆ, ਇਹ ਵਿਚਾਰ ਸਾਂਝੇ ਕੋਡ ਅਤੇ ਦੁਹਰਾ-ਯੋਗ ਟ੍ਰੇਨਿੰਗ ਰੇਸੀਪੀਜ਼ ਵਿਚ ਫੈਲੇ।
ਫਿਰ ਫਰੇਮਵਰਕਸ ਨੇ ਇਹ ਹੋਰ ਆਸਾਨ ਕੀਤਾ। ਜਦੋਂ ਪ੍ਰਸਿੱਧ ਟੂਲ ਜਿਵੇਂ TensorFlow ਅਤੇ PyTorch ਨੇ ਬਾਕ্স ਤੋਂ ਬਾਹਰ GPU ਸਹਾਇਤਾ ਦਿੱਤੀ, ਤਾਂ ਟੀਮਾਂ ਨੂੰ ਨੀਚਲੇ-ਸਤਰ ਦਾ GPU ਕੋਡ ਲਿਖਣ ਦੀ ਲੋੜ ਨਹੀਂ ਰਹੀ। ਇਸ ਨੇ ਘਰਾਹਟ ਘਟਾਈ: ਹੋਰ ਵਿਦਿਆਰਥੀ ਵੱਡੇ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰ ਸਕੇ, ਸਟਾਰਟਅੱਪ ਜਲਦੀ ਪ੍ਰੋਟੋਟਾਈਪ ਕਰ ਸਕੇ, ਅਤੇ ਸਥਾਪਿਤ ਕੰਪਨੀਆਂ GPU ਸਰਵਰਾਂ ਵਿੱਚ ਨਿਵੇਸ਼ ਨੂੰ ਜਾਇਜ਼ ठਹਿਰਾ ਸਕੀਆਂ।
ਹਾਰਡਵੇਅਰ ਨੂੰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸ਼੍ਰੇਆ ਮਾਤਰ ਨਾ ਕਰੋ।ਅਲਗੋਰਿਦਮਾਂ ਵਿੱਚ ਪ੍ਰਗਟੀਆਂ, ਬਿਹਤਰ ਟ੍ਰੇਨਿੰਗ ਤਕਨੀਕਾਂ, ਵੱਡੇ ਡਾਟਾਸੈਟ ਅਤੇ ਸੰਵਰਧਿਤ ਸਾਫਟਵੇਅਰ ਟੂਲਿੰਗ ਨੇ ਇਕੱਠੇ ਤਰੱਕੀ ਚਲਾਈ। GPUs ਕੇਂਦਰੀ ਬਣੇ ਕਿਉਂਕਿ ਉਹ ਨਵੇਂ ਵਰਕਲੋਡ ਦੇ ਆਕਾਰ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਸਨ—ਅਤੇ ਆਲੇ-ਦੁਆਲੇ ਦਾ ਇਕੋਸਿਸਟਮ ਉਹਨਾਂ ਨੂੰ ਪਹੁੰਚਯੋਗ ਬਣਾਉਂਦਾ ਗਿਆ।
ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ ਖਰੀਦਣ ਵਾਲੇ ਗੇਮਰਾਂ ਲਈ ਮੁੱਖ ਗੱਲ ਪੀਕ ਫਰੇਮ ਰੇਟ ਅਤੇ ਕੀਮਤ ਹੁੰਦੀ ਹੈ। ਡੇਟਾ ਸੈਂਟਰ ਨੂੰ ਕੰਪਿਊਟ ਵੇਚਣ ਵੱਖਰਾ ਕਾਰੋਬਾਰ ਹੈ: ਖਰੀਦਦਾਰ uptime, ਪੇਸ਼ਗੀ ਸਪਲਾਈ, ਸਪੋਰਟ ਕੰਟ੍ਰੈਕਟ ਅਤੇ ਤਿੰਨ ਸਾਲਾਂ ਵਿੱਚ ਪਲੇਟਫਾਰਮ ਕਿਵੇਂ ਰਹੇਗਾ ਇਹ ਸਾਰੀਆਂ ਗੱਲਾਂ ਚਾਹੁੰਦੇ ਹਨ।
ਡੇਟਾ ਸੈਂਟਰ ਗਾਹਕ—ਕਲਾਊਡ ਪ੍ਰੋਵਾਇਡਰ, ਰਿਸਰਚ ਲੈਬ ਅਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼—ਹੋਬੀ PC ਨਹੀਂ ਬਣਾਉਂਦੇ। ਉਹ ਰੇਵੇਨਿਊ-ਸੰਬੰਧੀ ਸੇਵਾਵਾਂ ਚਲਾ ਰਹੇ ਹੁੰਦੇ ਹਨ ਜਿੱਥੇ ਇੱਕ ਨੋਡ ਦਾ ਫੇਲ ਹੋਣਾ SLA ਖਰਾਬੀ ਅਤੇ ਵਾਸਤਵਿਕ ਨੁਕਸਾਨ ਦਾ ਕਾਰਨ ਬਣ ਸਕਦਾ ਹੈ। ਇਸ ਨਾਲ ਗੱਲਬਾਤ “ਤੇਜ਼ ਚਿਪ” ਤੋਂ “ਭਰੋਸੇਯੋਗ ਸਿਸਟਮ” ਵੱਲ ਮੋੜੀ ਜਾਂਦੀ ਹੈ: ਵੈਲਿਡੇਟੈਡ ਕਨਫਿਗਰੇਸ਼ਨ, ਫਿਰਮੇਅਰ ਡਿਸਿਪਲਿਨ, ਸੁਰੱਖਿਆ ਅੱਪਡੇਟ ਅਤੇ ਸਪਸ਼ਟ ਆਪਰੇਸ਼ਨਲ ਮਾਰਗਦਰਸ਼ਨ।
AI ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਇੰਫਰੈਂਸ ਲਈ ਰਾ ਫਾਸ਼ੀ (raw speed) ਮਹੱਤਵਪੂਰਨ ਹੈ, ਪਰ ਇਹ ਵੀ ਦੇਖਣਾ ਪੈਂਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਪਾਵਰ ਅਤੇ ਜਗ੍ਹਾ ਦੀ ਇਕਾਈ 'ਤੇ ਕਿੰਨਾ ਕੰਮ ਕਰ ਸਕਦੇ ਹੋ। ਡੇਟਾ ਸੈਂਟਰ ਰੈਕ ਘਣਤਾ, ਕੁਲਿੰਗ ਸਮਰੱਥਾ ਅਤੇ ਬਿਜਲੀ ਲਾਗਤਾਂ ਨਾਲ ਰਹਿੰਦੇ ਹਨ।
NVIDIA ਦਾ ਪਿਚ ਡੇਟਾ-ਸੈਂਟਰ-ਨੈਟਿਵ ਮੈਟ੍ਰਿਕਸ ਵੱਲ ਵੱਧਿਆ:
ਇੱਕ GPU ਇਕੱਲਾ ਤੌਰ 'ਤੇ ਡਿਪਲੋਇਮੈਂਟ ਸਮੱਸਿਆ ਹੱਲ ਨਹੀਂ ਕਰਦਾ। ਡੇਟਾ ਸੈਂਟਰ ਖਰੀਦਦਾਰ ਇੱਕ ਪੂਰਾ, ਸਪੋਰਟਡ ਰਾਹ ਰਾਹੀ ਚਾਹੁੰਦੇ ਹਨ: ਸਰਵਰ-ਮਾਹਿਰ ਹਾਰਡਵੇਅਰ, ਸਿਸਟਮ-ਸਤਰ ਰੈਫਰੈਂਸ ਡਿਜ਼ਾਈਨ, ਸਥਿਰ ਡ੍ਰਾਈਵਰ ਅਤੇ ਫਿਰਮੇਅਰ ਰਿਲੀਜ਼, ਅਤੇ ਸਾਫਟਵੇਅਰ ਜੋ ਹਾਰਡਵੇਅਰ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਤਰੀਕੇ ਨਾਲ ਵਰਤਣਾ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ।
ਇਹੀ ਥਾਂ NVIDIA ਦਾ "ਫੁੱਲ-ਸਟੈਕ" ਰੂਪ ਮਹੱਤਵਪੂਰਨ ਬਣਦਾ ਹੈ—ਹਾਰਡਵੇਅਰ ਅਤੇ ਉਸ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਦੀ ਸਹਾਇਤਾ ਜੋ ਗਾਹਕਾਂ ਲਈ ਜੋਖਮ ਘਟਾਉਂਦੀ ਹੈ।
ਐਂਟਰਪ੍ਰਾਈਜ਼ ਉਹ ਪਲੇਟਫਾਰਮ ਚੁਣਦੇ ਹਨ ਜੋ ਉਹ ਸਮਝਦੇ ਹਨ ਕਿ ਮੇਟੇਨ ਕੀਆ ਜਾਵੇਗਾ। ਲੰਮੀ ਅਵਧੀ ਦੀ ਰੋਡਮੈਪ ਇਸ ਗੱਲ ਦਾ ਸੰਕੇਤ ਹੈ ਕਿ ਅੱਜ ਦਾ ਖਰੀਦ ਭਵਿੱਖ ਵਿੱਚ ਫਸਿਆ ਨਹੀਂ ਰਹੇਗਾ; ਉਦਯੋਗ-ਗਰੇਡ ਭਰੋਸੇਯੋਗਤਾ—ਵੈਲਿਡੇਟਡ ਕੰਪੋਨੇਟ, ਪੇਸ਼ਗੀ ਅਪਡੇਟ ਚੱਕਰ, ਅਤੇ ਤੁਰੰਤ ਸਪੋਰਟ—ਓਪਰੇਸ਼ਨਲ ਚਿੰਤਾ ਘਟਾਉਂਦਾ ਹੈ। ਸਮੇਂ ਨਾਲ, ਇਹ GPUs ਨੂੰ ਬਦਲਣਯੋਗ ਭਾਗਾਂ ਤੋਂ ਇੱਕ ਪਲੇਟਫਾਰਮ ਫੈਸਲੇ ਵਿੱਚ ਤਬਦੀਲ ਕਰ ਦਿੰਦਾ ਹੈ ਜਿਸ 'ਤੇ ਡੇਟਾ ਸੈਂਟਰ ਸਟੈਂਡਰਡਾਈਜ਼ ਕਰ ਸਕਦੇ ਹਨ।
NVIDIA ਨੇ AI 'ਚ ਭਜੀ ਨਹੀਂ ਜਦੋਂ ਉਸ ਨੇ GPU ਨੂੰ ਇੱਕ ਅਲੱਗ ਹਿੱਸੇ ਵਜੋਂ ਦੇਖਿਆ ਜੋ ਕਿਸੇ ਹੋਰ ਦੇ ਸਰਵਰ 'ਚ ਲਗਾਇਆ ਜਾ ਸਕੇ। ਕੰਪਨੀ ਨੇ ਅਕਸਰ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਇੱਕ سਿਸਟਮ ਨਤੀਜਾ ਸਮਝਿਆ—ਚਿਪ, ਉਹ ਬੋਰਡ ਜਿਸ 'ਤੇ ਇਹ ਬੈਠਦਾ ਹੈ, ਕਿਵੇਂ ਇੱਕ ਤੋਂ ਵੱਧ GPUs ਇਕੱਠੇ ਗੱਲ ਕਰਦੇ ਹਨ, ਅਤੇ ਪੂਰੇ ਸਟੈਕ ਦਾ ਡੇਟਾ-ਸੈਂਟਰ ਵਿੱਚ ਡਿਪਲੋਇਮੈਂਟ।
ਆਧੁਨਿਕ AI "GPU" ਉਤਪਾਦ ਅਕਸਰ ਫੈਸਲੇਆਂ ਦਾ ਇੱਕ ਪੈਕੇਜ ਹੁੰਦਾ ਹੈ: ਮੇਮੋਰੀ ਸੰਰਚਨਾ, ਪਾਵਰ ਡਿਲਿਵਰੀ, ਕੁਲਿੰਗ, ਬੋਰਡ ਲੇਆਊਟ ਅਤੇ ਵੈਲਿਡੇਟਡ ਰੈਫਰੈਂਸ ਡਿਜ਼ਾਈਨਾਂ। ਇਹ ਚੋਣਾਂ ਇਹ ਨਿਰਧਾਰਤ ਕਰਦੀਆਂ ਹਨ ਕਿ ਗਾਹਕ ਕੋਈ ਕਲੱਸਟਰ ਪੂਰੇ ਗਤੀ ਨਾਲ ਹਫ਼ਤਿਆਂ ਤੱਕ ਚਲਾ ਸਕਦੇ ਹਨ ਬਿਨਾਂ ਕਿਸੇ ਅਣਪਛਾਤੇ ਮੁੱਦੇ ਦੇ।
ਜਦੋਂ NVIDIA ਪੂਰੇ ਬਿਲਡਿੰਗ ਬਲਾਕ—ਪ੍ਰੀ-ਟੈਸਟਡ ਬੋਰਡ ਅਤੇ ਸਰਵਰ ਡਿਜ਼ਾਈਨਾਂ—ਪੇਸ਼ ਕਰਦਾ ਹੈ, ਤਾਂ ਉਹ OEMs, ਕਲਾਊਡ ਪ੍ਰੋਵਾਇਡਰਾਂ ਅਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ IT ਟੀਮਾਂ 'ਤੇ ਬੋਝ ਘਟਾਉਂਦਾ ਹੈ।
ਵੱਡੇ-ਮਾਡਲ ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸੰਚਾਰ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ: GPUs ਅਕਸਰ gradient, activation, ਅਤੇ ਮਾਡਲ ਪੈਰਾਮੀਟਰ ਸਾਂਝੇ ਕਰਦੇ ਹਨ। ਜੇ ਇਸ ਟ੍ਰੈਫਿਕ ਨੂੰ ਸਲੋ ਕੀਤਾ ਜਾਵੇ ਤਾਂ ਮਹਿੰਗਾ compute ਬੈਠਾ ਰਹਿੰਦਾ ਹੈ।
ਉੱਚ-ਬੈਂਡਵਿਡਥ, ਘੱਟ-ਲੈਟੈਂਸੀ ਲਿੰਕਾਂ ਅਤੇ ਚੰਗੀ ਤਰ੍ਹਾਂ ਡਿਜ਼ਾਈਨ ਕੀਤੀ ਸਵਿੱਚ ਟੋਪੋਲੋਜੀ ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਇੱਕ ਤੇਜ਼ ਬੌਕਸ ਤੋਂ ਕਈ ਬੌਕਸਾਂ ਤੱਕ ਸਕੇਲ ਕਰਨ ਦਿੰਦੀ ਹੈ, ਜਿਹੜੇ ਇਕ-ਜਿਹੇ ਤਰੀਕੇ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨ। ਪ੍ਰੈਕਟਿਕਲ ਨਤੀਜਾ: ਵਧੀਆ ਵਰਤੋਂ ਅਤੇ ਘਟਾਈ ਟਾਈਮ-ਟੂ-ਟ੍ਰੇਨ ਜਦੋਂ ਮਾਡਲ ਵਧਦੇ ਹਨ।
NVIDIA ਦਾ ਪਲੇਟਫਾਰਮ ਦ੍ਰਿਸ਼ਟਿਕੋਣ ਇਸ ਤਰ੍ਹਾਂ ਸਮਝਣਾ ਆਸਾਨ ਹੋ ਜਾਂਦਾ ਹੈ:
ਹਰੇਕ ਪੱਧਰ ਨੂੰ ਅਗਲੇ ਨਾਲ ਸਾਫ਼-ਸੁਤਰੰਗੀ ਤਰੀਕੇ ਨਾਲ ਇੰਟਿਗ੍ਰੇਟ ਕਰਨ ਲਈ ਡਿਜ਼ਾਈਨ ਕੀਤਾ ਗਿਆ ਹੈ, ਤਾਂ ਕਿ ਗਾਹਕ ਬਿਨਾਂ ਸਭ ਕੁਝ ਮੁੜ-ਡਿਜ਼ਾਈਨ ਕੀਤੇ ਸਮਰੱਥਾ ਵਧਾ ਸਕਣ।
ਗਾਹਕਾਂ ਲਈ, ਇਹ ਸਿਸਟਮ ਪੈਕੇਜਿੰਗ AI ਇੰਫਰਾਸਟਰਕਚਰ ਨੂੰ ਪ੍ਰੋਕਿਊਰਮੈਂਟ-ਫ੍ਰੈਂਡਲੀ ਉਤਪਾਦਾਂ ਦੇ ਕਾਰਨ ਕਰਦੀ ਹੈ: ਸਾਫ਼ ਕਨਫਿਗਰੇਸ਼ਨ, ਪੇਸ਼ਗੀ ਪ੍ਰਦਰਸ਼ਨ, ਅਤੇ ਤੇਜ਼ ਰੋਲਆਉਟ। ਇਹ ਡਿਪਲੋਇਮੈਂਟ ਜੋਖਮ ਘਟਾਉਂਦਾ, ਅਪਣਾਉਣ ਤੇਜ਼ ਕਰਦਾ ਅਤੇ AI ਨੂੰ ਸਕੇਲ ਕਰਨਾ ਆਪਰੇਸ਼ਨਲ—ਨਹੀਂ ਕਿ ਪ੍ਰਯੋਗਕ—ਲੱਗਦਾ ਬਣਾਉਂਦਾ ਹੈ।
ਬੈਂਚਮਾਰਕ ਚਾਰਟ ਸਿਰਫ਼ ਸਿਰਲੇਖ ਜਿੱਤਦੇ ਹਨ, ਪਰ ਡਿਵੈਲਪਰ ਮਨਸ਼ਾ ਸਾਲਾਂ ਜਿੱਤਦੀ ਹੈ। ਉਹ ਟੀਮਾਂ ਜੋ ਪ੍ਰੋਟੋਟਾਇਪ ਕਰਨ ਅਤੇ ਸ਼ਿਪ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕਰਦੀਆਂ ਹਨ, ਅਕਸਰ ਉਹੀ ਚੋਣ ਕਰਦੀਆਂ ਹਨ ਜੋ ਤੇਜ਼, ਸਭ ਤੋਂ ਸੁਰੱਖਿਅਤ ਅਤੇ ਸਭ ਤੋਂ ਵਧੀਆ-ਸਹਿਯੋਗੀ ਲੱਗਦੀ ਹੈ—ਚਾਹੇ ਦੂਜਾ ਚਿਪ ਰੋ ਹੋਲ ਨਜ਼ਦੀਕ ਰੇਖਤਾਵਾਰ ਹੋਵੇ।
GPU ਖੁਦ ਮੁੱਲ ਨਹੀਂ ਬਣਾਉਂਦਾ; ਡਿਵੈਲਪਰ ਬਣਾਉਂਦੇ ਹਨ। ਜੇ ਤੁਹਾਡੇ ਇੰਜੀਨੀਅਰ ਇਸ ਹਫ਼ਤੇ ਕੰਮ ਕਰਨਯੋਗ ਨਤੀਜੇ ਤੱਕ ਪਹੁੰਚ ਸਕਦੇ ਹਨ (ਅਗਲੇ ਤਿਮਾਸਿਕੀ ਨਹੀਂ), ਤਾਂ ਤੁਸੀਂ ਅਗਲੇ ਪ੍ਰੋਜੈਕਟ ਲਈ ਡਿਫੌਲਟ ਬਣ ਜਾਂਦੇ ਹੋ। ਉਹ ਅਦਤ ਕੰਪਨੀਆਂ ਅੰਦਰ ਇਕੱਠੀ ਹੋ ਜੰਦੀ ਹੈ: ਅੰਦਰੂਨੀ ਉਦਾਹਰਣ, ਦੁਬਾਰਾ ਵਰਤਣਯੋਗ ਕੋਡ, ਅਤੇ "ਅਸੀਂ ਇਸ ਤਰੀਕੇ ਨਾਲ ਕਰਦੇ ਹਾਂ" ਦੀ ਪ੍ਰਥਾ ਬਹੁਤ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੁੰਦੀ ਹੈ।
NVIDIA ਨੇ ਸਾਫਟਵੇਅਰ ਭਰੋਸੇ ਬਣਾਉਣ ਦੇ ਨਿਰੂਪਕ ਹਿੱਸਿਆਂ 'ਚ ਭਾਰੀ ਨਿਵੇਸ਼ ਕੀਤਾ:
ਜਦੋਂ ਇੱਕ ਟੀਮ ਦੇ ਮਾਡਲ, ਪਾਈਪਲਾਇਨ ਅਤੇ ਹਾਇਰਿੰਗ ਯੋਜਨਾਵਾਂ ਕਿਸੇ ਨਿਰਧਾਰਤ ਸਟੈਕ ਅਸਰ ਵਿੱਚ ਬਣ ਜਾਂਦੀਆਂ ਹਨ, ਤਾ ਸਵਿੱਚ ਕਰਨ ਦਾ ਪ੍ਰਕਿਰਿਆ "ਕਾਰਡ ਬਦਲੋ" ਨਹੀਂ ਰਹਿ ਜਾਂਦੀ। ਇਹ ਇੰਜੀਨੀਅਰਾਂ ਨੂੰ ਦੁਬਾਰਾ ਸਿੱਖਾਉਣ, ਕੋਡ ਲਿਖਣ, ਨਤੀਜੇ ਵੈਰੀਫਾਈ ਕਰਨ ਅਤੇ ਆਪਰੇਸ਼ਨਲ ਪਲੇਬੁੱਕ ਮੁੜ-ਤਿਆਰ ਕਰਨ ਨੂੰ ਲਾਜ਼ਮੀ ਬਣਾਉਂਦਾ ਹੈ। ਇਹ ਘਰਾਹਟ ਇੱਕ ਖੂੰਡ ਬਣ ਜਾਂਦੀ ਹੈ।
ਸਧਾਰਣ ਉਦਾਹਰਣ: ਹੱਥੋਂ-ਹੱਥ ਮੈਟਰਿਕਸ ਆਪਰੇਸ਼ਨਾਂ ਅਤੇ ਮੇਮੋਰੀ ਪ੍ਰਬੰਧਨ ਲਈ ਹਫ਼ਤੇ ਲੱਗਣ ਦੀ ਥਾਂ, ਟੀਮ ਪ੍ਰੀ-ਬਿਲਟ ਲਾਇਬ੍ਰੇਰੀਆਂ ਵਰਤ ਸਕਦੀ ਹੈ ਅਤੇ ਦਿਨਾਂ ਵਿੱਚ ਨਤੀਜੇ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੀ ਹੈ। ਤੇਜ਼ ਲੂਪ ਇਟਰੇਸ਼ਨ ਹੋਣ ਦਾ ਮਤਲਬ ਵੱਧ ਪ੍ਰਯੋਗ, ਤੇਜ਼ ਪ੍ਰੋਡਕਟ ਚਕਰ, ਅਤੇ ਇਸ ਪਲੇਟਫਾਰਮ 'ਤੇ ਟਿਕੇ ਰਹਿਣ ਦਾ ਇੱਕ ਮਜ਼ਬੂਤ ਕਾਰਨ।
NVIDIA ਨੇ ਚਿੱਪਾਂ ਨੂੰ ਅਲੱਗ ਵੇਚ ਕੇ ਜਿੱਤਿਆ ਨਹੀਂ। ਉਹ ਜਿੱਤਿਆ ਜਦੋਂ ਉਹ ਉਨ੍ਹਾਂ ਥਾਵਾਂ 'ਤੇ ਪੇਸ਼ ਆਇਆ ਜਿੱਥੇ ਲੋਕ ਪਹਿਲਾਂ ਹੀ ਖਰੀਦਦੇ, ਕਿਰਾਏ 'ਤੇ ਲੈਂਦੇ ਅਤੇ ਸਿੱਖਦੇ ਹਨ—ਕਲਾਊਡ ਪਲੇਟਫਾਰਮ, ਐਂਟਰਪ੍ਰਾਈਜ਼ ਸਰਵਰ ਅਤੇ ਯੂਨੀਵਰਸਿਟੀ ਲੈਬ। ਇਹ ਵਿਤਰਨ ਕਈ ਵਾਰੀ ਕੱਚੇ ਪ੍ਰਦਰਸ਼ਨ ਨਾਲ਼ੋ ਵੱਧ ਅਹਿਮ ਸਾਬਤ ਹੁੰਦਾ ਹੈ।
ਕਈ ਟੀਮਾਂ ਲਈ ਨਿਰਣਾਇਕ ਗੱਲ "ਕਿਹੜਾ GPU ਸ੍ਰੇਸ਼ਠ ਹੈ?" ਨਹੀਂ ਸੀ; ਬਲਕਿ "ਕਿਹੜਾ ਵਿਕਲਪ ਮੈਂ ਇਸ ਹਫ਼ਤੇ ਚਾਲੂ ਕਰ ਸਕਦਾ/ਸਕਦੀ ਹਾਂ?" ਸੀ। ਜਦੋਂ AWS, Azure, Google Cloud ਅਤੇ ਹੋਰ ਪ੍ਰੋਵਾਇਡਰ NVIDIA ਇੰਸਟੈਂਸ ਇੱਕ ਡਿਫੌਲਟ ਚੋਣ ਵਜੋਂ ਆਫਰ ਕਰਦੇ ਹਨ, ਤਾਂ ਅਪਣਾਉਣ ਇੱਕ ਪ੍ਰੋਕਿਊਰਮੈਂਟ ਚੈਕਬਾਕਸ ਬਣ ਜਾਂਦਾ ਹੈ।
ਇਹੀ ਰੂਪ OEM ਭਾਈਦਾਰਾਂ (Dell, HPE, Lenovo, Supermicro ਆਦਿ) ਸੰਦਰਭ ਵਿੱਚ ਵੀ ਦਿਖਿਆ। ਜੇ GPU ਇੱਕ ਵੈਲਿਡੇਟਡ ਸਰਵਰ ਦੇ ਅੰਦਰ ਆਉਂਦੀ ਹੈ, ਡ੍ਰਾਈਵਰ ਅਤੇ ਸਪੋਰਟ ਕੰਟ੍ਰੈਕਟ ਸਹੀ ਹੋਣ, ਤਾਂ IT ਲਈ ਮਨਜ਼ੂਰ ਕਰਨਾ ਆਸਾਨ ਹੋ ਜਾਂਦਾ ਹੈ।
ਭਾਈਦਾਰੀਆਂ ਨੇ ਸਕੇਲ 'ਤੇ ਕੋ-ਅਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਵੀ ਯੋਗ ਬਣਾਈ। ਕਲਾਊਡ ਪ੍ਰੋਵਾਇਡਰ ਨੈਟਵਰਕਿੰਗ, ਸਟੋਰੇਜ ਅਤੇ ਸ਼ਡਿਊਲਿੰਗ ਨੂੰ GPU-ਭਾਰੀ ਵਰਕਲੋਡ ਲਈ ਟਿਊਨ ਕਰ ਸਕਦੇ ਹਨ। NVIDIA ਹਾਰਡਵੇਅਰ ਫੀਚਰਾਂ ਅਤੇ ਲਾਇਬ੍ਰੇਰੀਆਂ ਨੂੰ ਉਸ ਤਰੀਕੇ ਨਾਲ ਮਿਲਾ ਸਕਦਾ ਹੈ ਜੋ ਗਾਹਕਾਂ ਵੱਲੋਂ ਵਰਤੇ ਜਾਂਦੇ ਫਰੇਮਵਰਕਸ (PyTorch, TensorFlow, CUDA ਲਾਇਬ੍ਰੇਰੀਆਂ, ਇਨਫਰੈਂਸ ਰਨਟਾਈਮ) ਨਾਲ ਮਿਲਦੀਆਂ ਹਨ, ਫਿਰ ਆਮ ਪੈਟਰਨ ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਵੈਲਿਡੇਟ ਕਰਦਾ ਹੈ—ਜਿਵੇਂ ਵੱਡੇ ਮਾਡਲ ਟ੍ਰੇਨ ਕਰਨਾ, ਫਾਇਨ-ਟਿਊਨਿੰਗ, ਅਤੇ ਉਚ-ਥਰਪੁੱਟ ਇੰਫਰੈਂਸ।
ਇਹ ਫੀਡਬੈਕ ਲੂਪ ਨਾਜ਼ੁਕ ਪਰ ਸ਼ਕਤੀਸ਼ਾਲੀ ਹੈ: ਪ੍ਰੋਡਕਸ਼ਨ ਟ੍ਰੇਸਾਂ ਨੇਰਕਰਨਲਾਂ ਤੇ ਅਸਰ ਪਾਉਂਦੇ ਹਨ, ਕਰਨਲ ਲਾਇਬ੍ਰੇਰੀਆਂ 'ਤੇ ਪ੍ਰਭਾਵ ਪਾਉਂਦੇ ਹਨ, ਅਤੇ ਲਾਇਬ੍ਰੇਰੀਆਂ ਡਿਵੈਲਪਰਾਂ ਵੱਲੋਂ ਬਣਾਈਆਂ ਚੀਜ਼ਾਂ 'ਤੇ ਪ੍ਰਭਾਵ ਪਾਉਂਦੀਆਂ ਹਨ।
ਅਕਾਦਮਿਕ ਪ੍ਰੋਗਰਾਮ ਅਤੇ ਰਿਸਰਚ ਲੈਬਾਂ ਨੇ ਕੋਰਸਵਰਕ ਅਤੇ ਪੇਪਰਾਂ ਵਿੱਚ NVIDIA ਟੂਲਿੰਗ ਨੂੰ ਮਿਆਰੀ ਬਣਾਇਆ। ਵਿਦਿਆਰਥੀ CUDA-ਸਮਰਥਿਤ ਸਿਸਟਮਾਂ 'ਤੇ ਸਿੱਖਦੇ ਹਨ ਅਤੇ ਫਿਰ ਉਹ ਆਦਤਾਂ ਸਟਾਰਟਅੱਪਾਂ ਅਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਟੀਮਾਂ ਵਿੱਚ ਲਿਜਾਂਦੇ ਹਨ—ਇੱਕ ਅਪਣਾਉਣ ਚੈਨਲ ਜੋ ਸਾਲਾਂ ਵਿੱਚ ਗੁਣਾ ਕਰਦਾ ਹੈ।
ਮਜ਼ਬੂਤ ਭਾਈਦਾਰੀਆਂ ਇਕਜੁੱਟਤਾ ਨਹੀਂ ਦਿਖਾਉਂਦੀਆਂ। ਕਲਾਊਡ ਪ੍ਰੋਵਾਇਡਰ ਅਤੇ ਵੱਡੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਅਕਸਰ ਵਿਕਲਪਾਂ (ਹੋਰ GPUs, ਕਸਟਮ ਐਕਸੈਲੇਰੇਟਰ, ਜਾਂ ਵੱਖ-ਵੱਖ ਵਿਕਰੇਤਿਆਂ) ਦੇ ਨਾਲ ਤਜਰਬਾ ਕਰਦੇ ਹਨ ਤਾਂ ਕਿ ਲਾਗਤ, ਸਪਲਾਈ ਜੋਖਮ ਅਤੇ ਨੇਗੋਸ਼ியேਸ਼ਨ ਪਾਵਰ ਨੂੰ ਮੈਨੇਜ ਕੀਤਾ ਜਾ ਸਕੇ। NVIDIA ਦਾ ਫਾਇਦਾ ਇਹ ਸੀ ਕਿ ਉਹ ਹਰ ਚੈਨਲ 'ਤੇ ਸਭ ਤੋਂ ਆਸਾਨ “ਹਾਂ” ਸੀ—ਫਿਰ ਵੀ ਹਰ ਪੀੜ੍ਹੀ ਤੇ ਨਵੀਕਰਨ ਜਿੱਤਣੀ ਪੈਂਦੀ ਸੀ।
AI ਕੰਪਿਊਟ ਇੱਕ-ਘੋੜੀ ਦੀ ਦੌੜ ਨਹੀਂ ਸੀ। ਇੰਨਫਰਾਸਟਰਕਚਰ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਵਾਲੀ ਟੀਮ ਆਮ ਤੌਰ 'ਤੇ NVIDIA ਦੀ ਤੁਲਨਾ ਹੋਰ GPU ਵਿਕਰੇਤਿਆਂ (ਖ਼ਾਸ ਤਾਂ AMD, ਅਤੇ ਕੁਝ ਖੇਤਰਾਂ ਵਿੱਚ Intel), hyperscaler ਦੇ ਕਸਟਮ ਚਿਪ (Google TPU ਜਾਂ AWS Trainium/Inferentia), ਅਤੇ ਉਦੇ-ਉਦੇ ਸਟਾਰਟਅੱਪ ਐਕਸੈਲੇਰੇਟਰਾਂ ਨਾਲ ਕਰਦੀ ਹੈ।
ਹਕੀਕਤ ਵਿੱਚ, “ਸਹੀ” ਚਿਪ ਅਕਸਰ ਤੁਹਾਡੀ ਕਾਰਜ-ਸ਼ੈਲੀ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ:
ਇਸ ਲਈ, ਕਈ ਸੰਸਥਾਵਾਂ ਭਾਗ-ਭਾਗ ਹਾਰਡਵੇਅਰ ਵਰਤਦੀਆਂ ਹਨ: ਇੱਕ ਸੈਟਅਪ ਟ੍ਰੇਨਿੰਗ ਲਈ, ਦੂਜਾ ਸਰਵਿੰਗ ਲਈ, ਅਤੇ ਹੋਰ ਕੋਈ ਐਜ ਲਈ।
ਇੱਕ ਆਮ ਕਾਰਨ ਜਿਸ ਕਰਕੇ ਟੀਮਾਂ ਅਜੇ ਵੀ NVIDIA ਚੁਣਦੀਆਂ ਹਨ—ਭਾਵੇਂ ਵਿਕਲਪ ਕਾਗਜ਼ ਉੱਤੇ ਸਸਤੇ ਲੱਗਣ—ਉਹ ਹੈ ਸਾਫਟਵੇਅਰ ਅਨੁਕੂਲਤਾ ਅਤੇ ਪਰਿਪੱਕਤਾ। CUDA, cuDNN ਵਰਗੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ, ਅਤੇ ਵੱਡਾ ਇਕੋਸਿਸਟਮ ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਬਹੁਤ ਸਾਰੇ ਮਾਡਲ, ਫਰੇਮਵਰਕ ਅਤੇ ਪ੍ਰਸਾਰਿਤ ਕਾਰਗੁਜਾਰੀ ਤਕਨੀਕਾਂ ਪਹਿਲਾਂ ਹੀ ਟੈਸਟ ਅਤੇ ਦਸਤਾਵੇਜ਼ ਕੀਤੀਆਂ ਹੋ ਚੁੱਕੀਆਂ ਹਨ। ਇਹ ਇੰਜੀਨੀਅਰਿੰਗ ਸਮਾਂ, ਡੀਬੱਗਿੰਗ ਜੋਖਮ ਅਤੇ ਪੋਰਟਿੰਗ ਦੀ "ਅਨਾਮੀਤ ਲਾਗਤ" ਘਟਾਉਂਦਾ ਹੈ।
ਹੁਣੇ ਸਿਰਫ਼ ਇਹ ਗਾਰੰਟੀ ਨਹੀਂ ਕਿ NVIDIA ਹਮੇਸ਼ਾਂ ਸਭ ਤੋਂ ਵਧੀਆ ਹੈ—ਪਰ ਬਹੁਤ ਸਾਰੀਆਂ ਖਰੀਦਦਾਰਾਂ ਲਈ ਅਪਣਾਉਣ ਦੀ ਕੁੱਲ ਲਾਗਤ ਅਤੇ ਨਤੀਜਿਆਂ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਰਾ ਕੀਮਤ ਨਾਲੋ ਮਹੱਤਵਪੂਰਨ ਹੁੰਦੀ ਹੈ।
NVIDIA ਦੀ ਦਾਖਲਗੀ ਦੇ ਆਪਣੇ ਵਪਾਰਕ-ਲਾਗਤ ਵਾਲੇ ਟਰੇਡ-ਆਫ ਹਨ। ਗਾਹਕ ਅਕਸਰ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਸਾਫਟਵੇਅਰ ਪਰਿਪਕਕਤਾ ਦੀ تعریف ਕਰਦੇ ਹਨ, ਪਰ ਉਹ ਲਾਗਤ, ਨਿਰਭਰਤਾ, ਅਤੇ ਜਦੋਂ ਮੰਗ ਫੱਟ ਜਾਂਦੀ ਹੈ ਤਾਂ ਹਾਰਡਵੇਅਰ ਸਰੋਤ ਕਰਨ ਵਿਚ ਮੁਸ਼ਕਿਲਾਂ ਬਾਰੇ ਵੀ ਚਿੰਤਤ ਹੁੰਦੇ ਹਨ।
ਲਾਗਤ: ਉੱਚ-ਅੰਤ GPUs ਪਾਈਲਟ ਅਤੇ ਪ੍ਰੋਡਕਸ਼ਨ ਦੋਹਾਂ ਲਈ ਮਹਿੰਗੇ ਹੋ ਸਕਦੇ ਹਨ—ਖ਼ਾਸ ਕਰਕੇ ਜਦ ਤੁਸੀਂ ਨੈਟਵਰਕਿੰਗ, ਪਾਵਰ, ਕੁਲਿੰਗ ਅਤੇ ਕੁਸ਼ਲ ਓਪਰੇਟਿੰਗ ਸਟਾਫ਼ ਨੂੰ ਸ਼ਾਮਿਲ ਕਰੋ।
ਲਾਕ-ਇਨ: CUDA, ਲਾਇਬ੍ਰੇਰੀਆਂ, ਅਤੇ ਟਿਊਨ ਕੀਤੇ ਮਾਡਲ ਕੋਡ "ਗ੍ਰੈਵਿਟੀ" ਬਣ ਸਕਦੇ ਹਨ। ਜਿੰਨਾ ਹੋਰ ਤੁਹਾਡਾ ਸਟੈਕ NVIDIA-ਵਿਸ਼ੇਸ਼ ਅਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਤੇ ਨਿਰਭਰ ਹੋਵੇ, ਉਨ੍ਹਾਂ ਨੂੰ ਹੋਰ ਐਕਸੈਲੇਰੇਟਰਾਂ 'ਤੇ ਮੂਵ ਕਰਨਾ ਔਖਾ ਬਣ ਜਾਂਦਾ ਹੈ।
ਉਪਲਬਧਤਾ ਅਤੇ ਜਟਿਲਤਾ: ਲੀਡ-ਟਾਈਮ, ਕਲਸਟਰ ਇੰਟੀਗ੍ਰੇਸ਼ਨ, ਅਤੇ ਤੇਜ਼ ਉਤਪਾਦ ਚੱਕਰ ਟੀਮਾਂ ਨੂੰ ਢੀਮਾ ਕਰ ਸਕਦੇ ਹਨ। ਵੱਡੇ ਪੈਮਾਨੇ 'ਤੇ, ਭਰੋਸੇਯੋਗਤਾ ਇੰਜੀਨੀਅਰਿੰਗ, ਸ਼ਡਿਊਲਿੰਗ ਅਤੇ ਵਰਤੋਂ-ਦਰ-ਕੁਨੈਕਸ਼ਨ ਆਪਣੀ ਇਕ ਵੱਡੀ ਪ੍ਰਾਜੈਕਟ ਬਣ ਸਕਦੇ ਹਨ।
ਕਈ ਸੰਸਥਾਵਾਂ NVIDIA ਨੂੰ ਬਿਨਾ ਛੱਡੇ ਹੀ ਜੋਖਮ ਘਟਾਉਂਦੀਆਂ ਹਨ:
GPU ਚੋਣ ਨੂੰ ਇੱਕ ਇਕ-ਵਾਰੀ ਪਾਰਟ ਖਰੀਦ ਸਮਝਣ ਦੀ ਥਾਂ ਲੰਮੇ ਸਮੇਂ ਵਾਲੇ ਪਲੇਟਫਾਰਮ ਫੈਸਲੇ ਵਜੋਂ ਲਓ।
Jensen Huang ਹੇਠਾਂ NVIDIA ਦੀ ਉਭਾਰ ਕੇਵਲ ਤੇਜ਼ ਚਿੱਪਾਂ ਬਾਰੇ ਨਹੀਂ—ਇਹ ਇੱਕ ਦੁਹਰਾਉਣਯੋਗ ਨਕਸ਼ਾ ਹੈ ਜੋ ਇੱਕ ਟਿਕਾਊ AI ਪਲੇਟਫਾਰਮ ਬਣਾਉਂਦਾ ਹੈ। ਮੁੱਖ ਵਿਚਾਰ: ਹਾਰਡਵੇਅਰ ਇੱਕ ਪਲ ਦੇ ਲਈ ਜਿੱਤ ਸਕਦਾ ਹੈ; ਇੱਕ ਪਲੇਟਫਾਰਮ ਇਕ ਦਹਾਕਾ ਜਿੱਤਦਾ ਹੈ।
ਪਹਿਲਾਂ, ਟੈਕਨੋਲੌਜੀ ਨੂੰ ਇੱਕ ਉਤਪਾਦ ਦੀ ਤਰ੍ਹਾਂ ਨਹੀਂ, ਪਲੇਟਫਾਰਮ ਵਜੋਂ ਸਲਾਹ-ਮੇਲ ਕਰੋ। CUDA ਨੇ GPUs ਨੂੰ "ਡਿਫੌਲਟ ਚੋਣ" ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕੀਤੀ ਕਿਉਂਕਿ ਇਸ ਨੇ ਸਾਫਟਵੇਅਰ ਰਾਹ ਨੂੰ ਆਸਾਨ, ਪੇਸ਼ਗੋਈਯੋਗ ਅਤੇ ਲਗਾਤਾਰ ਸੁਧਾਰਯੋਗ ਬਣਾਇਆ।
ਦੂਜਾ, ਤੁਸੀਂ ਜਦੋਂ ਤੱਕ ਜ਼ਰੂਰਤ ਨਹੀਂ ਹੈ, ਤਦੋਂ ਵੀ ਇਕੋਸਿਸਟਮ ਵਿੱਚ ਨਿਵੇਸ਼ ਕਰੋ। ਟੂਲ, ਲਾਇਬ੍ਰੇਰੀਆਂ, ਦਸਤਾਵੇਜ਼ ਅਤੇ ਕਮਿਊਨਿਟੀ ਸਹਾਇਤਾ ਅਪਣਾਉਣ ਘਰਾਹਟ ਘਟਾਉਂਦੀਆਂ ਹਨ ਅਤੇ ਪ੍ਰਯੋਗ ਨੂੰ ਸਸਤਾ ਬਣਾਉਂਦੀਆਂ ਹਨ—ਖ਼ਾਸ ਕਰਕੇ ਜਦ ਟੀਮਾਂ ਪਤਾ ਨਹੀਂ ਕਿ ਕਿਹੜੇ AI ਕੇਸ ਲੰਮੇ ਸਮੇਂ ਲਈ ਰਹਿਣਗੇ।
ਤੀਜਾ, ਪੂਰੇ-ਸਿਸਟਮ ਵਜੋਂ ਸਕੇਲ ਲਈ ਡਿਜ਼ਾਈਨ ਕਰੋ। ਅਸਲੀ ਦੁਨੀਆ ਦਾ AI ਪ੍ਰਦਰਸ਼ਨ ਨੈਟਵਰਕਿੰਗ, ਮੇਮੋਰੀ, ਅਆਰਕਸਟ੍ਰੇਸ਼ਨ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ 'ਤੇ ਨਿਰਭਰ ਹੁੰਦਾ ਹੈ—ਸਿਰਫ਼ ਰਾ compute 'ਤੇ ਨਹੀਂ। ਜਿੱਤਣ ਵਾਲੇ ਉਹ ਹਨ ਜੋ ਇੱਕ ਵਰਕਲੋਡ ਤੋਂ ਕਈ ਵਰਕਲੋਡਾਂ, ਅਤੇ ਇੱਕ ਸਰਵਰ ਤੋਂ ਕਲੱਸਟਰ ਤੱਕ ਜਾਣ ਨੂੰ ਆਸਾਨ ਬਣਾਉਂਦੇ ਹਨ।
ਜੇ ਤੁਸੀਂ AI ਪ੍ਰੋਜੈਕਟ ਯੋਜਨਾ ਬਣਾਉਂਦੇ ਹੋ ਤਾਂ ਪਲੇਟਫਾਰਮ ਲੈਂਸ ਵਰਤੋ:
ਇੱਕ ਹੋਰ (ਅਕਸਰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕੀਤਾ) ਸਵਾਲ ਇਹ ਹੈ ਕਿ ਕੀ ਤੁਹਾਨੂੰ ਅਸਲ ਵਿੱਚ ਉਨਾਂਲਿਆਣ ਅਤੇ ਚਲਾਉਣ ਵਰਗਾ ਅਧਿਕ ਕਸਟਮ ਸਾਫਟਵੇਅਰ ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੈ। ਕੁਝ ਉਤਪਾਦਾਂ ਲਈ, ਤੇਜ਼ ਰਾਹ ਹੈ ਕਿ ਪ੍ਰੋਟੋਟਾਈਪ ਅਤੇ ਐਪਲੀਕੇਸ਼ਨ ਲੇਅਰ ਨੂੰ Koder.ai ਵਰਗੇ ਇੱਕ vibe-coding ਪਲੇਟਫਾਰਮ ਨਾਲ ਤਿਆਰ ਕਰਕੇ, ਫਿਰ ਕਮੀ-ਕੀਮਤੀ GPU ਸਮਰੱਥਾ ਨੂੰ ਵਾਕਅਸਲ ਅੰਤਰ ਬਣਾਉਣ ਵਾਲੇ ਮਾਡਲ ਕੰਮ ਲਈ ਰੱਖੋ।
ਜੇ ਤੁਹਾਡੀ ਬੋਤਲਗੱਤੀ ਪ੍ਰੋਡਕਟ ਡਿਲਿਵਰੀ ਹੈ ਨਾ ਕਿ ਕਰਨਲ-ਸਤਰ ਅਪਟੀਮਾਈਜ਼ੇਸ਼ਨ, ਤਾਂ Koder.ai ਵਰਗੇ ਟੂਲ (chat-to-app ਵੈੱਬ, ਬੈਕਐਂਡ ਅਤੇ ਮੋਬਾਈਲ ਨਾਲ ਸੋਰਸ ਐਕਸਪੋਰਟ ਅਤੇ ਡਿਪਲੋਇਮੈਂਟ) GPU-ਕੇਂਦ੍ਰਿਤ ਇੰਫਰਾਸਟਰਕਚਰ ਫੈਸਲਿਆਂ ਨੂੰ ਪੂਰਾ ਕਰਕੇ ਬੋਇਲਰਪਲੇਟ ਇੰਜੀਨੀਅਰਿੰਗ 'ਤੇ ਲਗਣ ਵਾਲਾ ਸਮਾਂ ਘਟਾ ਸਕਦੇ ਹਨ।
ਚਿਪ ਮੁਕਾਬਲਾ ਤੇਜ਼ ਹੋਵੇਗਾ, ਅਤੇ ਹੋਰ ਵਰਕਲੋਡ ਉਦਯੋਗਿਕਤਾ-ਅਨੁਸਾਰ ਵੱਖ-ਵੱਖ ਐਕਸੈਲੇਰੇਟਰਾਂ ਤੇ ਫੈਲ ਜਾਣਗੇ। ਪਰ ਮੂਲ ਸਿਧਾਂਤ ਬਦਲਣਗੇ ਨਹੀਂ: ਜੋ ਪਲੇਟਫਾਰਮ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਉਤਪਾਦਕ ਬਣਾਉਂਦੇ ਹਨ—ਅਤੇ ਜੋ ਸਿਸਟਮ ਭਰੋਸੇਯੋਗੀ ਤਰੀਕੇ ਨਾਲ ਸਕੇਲ ਹੁੰਦੇ ਹਨ—ਉਹ ਹੀ ਆਖ਼ਿਰਕਾਰ ਨਿਰਧਾਰਿਤ ਕਰਨਗੇ ਕਿ AI ਕਿੱਥੇ ਬਣਾਇਆ ਜਾਂਦਾ ਹੈ।
ਇਸ ਸੰਦਰਭ ਵਿੱਚ, “ਬੈਕਬੋਨ” ਦਾ ਮਤਲਬ ਉਹ ਮੁੱਢਲੀ ਪਰਤ ਹੈ ਜਿਸ 'ਤੇ ਬਹੁਤ ਸਾਰੇ AI ਟੀਮਾਂ ਮਾਡਲਾਂ ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ, ਇੰਫਰੈਂਸ ਚਲਾਉਣ ਅਤੇ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਸਕੇਲ ਕਰਨ ਲਈ ਨਿਰਭਰ ਹੁੰਦੀਆਂ ਹਨ। ਇਹ ਸਿਰਫ GPU ਨਹੀਂ—ਇਹ ਸਾਫਟਵੇਅਰ ਸਟੈਕ, ਲਾਇਬ੍ਰੇਰੀਆਂ, ਟੂਲਿੰਗ ਅਤੇ ਸਿਸਟਮਾਂ ਨੂੰ ਡੇਟਾ-ਸੈਂਟਰ ਪੱਧਰ 'ਤੇ ਸ਼ਿਪ ਅਤੇ ਸਪੋਰਟ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਵੀ ਹੈ।
ਜੇ ਕਿਸੇ ਵੀ ਪਰਤ (ਹਾਰਡਵੇਅਰ, ਸਾਫਟਵੇਅਰ, ਟੂਲ, ਜਾਂ ਸਪਲਾਈ) ਵਿੱਚ ਕਮੀ ਹੋਵੇ ਤਾਂ ਪ੍ਰਗਤੀ ਧੀਮੀ ਹੋ ਜਾਂਦੀ ਹੈ ਜਾਂ ਮਹਿੰਗੀ ਪੈ ਸਕਦੀ ਹੈ।
CPUs ਉਹ ਕੰਮ ਕਰਨ ਲਈ ਢਾਲੇ ਜਾਂਦੇ ਹਨ ਜੋ ਕਮੀਆਂ-ਅਨੁਕ੍ਰਮਿਕ ਅਤੇ ਜਟਿਲ ਲੌਜਿਕ ਦੀ ਮੰਗ ਕਰਦੇ ਹਨ। GPUs ਬਹੁਤ ਸਾਰੀਆਂ ਛੋਟੀ ਗਣਿਤੀਆਂ ਇਕੱਠੇ ਕਰਨ ਲਈ ਢਾਲੇ ਜਾਂਦੇ ਹਨ—ਉਹੀ ਸ਼ੈਲੀ ਜੋ ਡੀਪ ਲਰਨਿੰਗ ਵਿੱਚ ਤੇਜ਼ਤਾ ਲਿਆਉਂਦੀ ਹੈ।
ਡੀਪ ਲਰਨਿੰਗ ਜ਼ਿਆਦਾਤਰ ਮੈਟਰਿਕਸ ਗੁਣਾ ਅਤੇ ਰੇਖੀ ਬੀਜ ਗਣਿਤ 'ਤੇ ਨਿਰਭਰ ਹੈ ਜੋ ਕੁੱਝ ਹਿੱਸਿਆਂ ਵਿਚ ਵੰਡ ਕੇ ਸਮਕਾਲੀ ਤੌਰ 'ਤੇ ਚਲਾਇਆ ਜਾ ਸਕਦਾ ਹੈ—ਇਸ ਲਈ GPUs ਆਮ ਤੌਰ 'ਤੇ ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਕਈ ਇੰਫਰੈਂਸ ਵਰਕਲੋਡਾਂ ਲਈ ਬਹੁਤ ਬਿਹਤਰ ਥਰਪੁੱਟ ਦਿੰਦੀਆਂ ਹਨ।
CUDA NVIDIA ਦਾ ਪ੍ਰੋਗ੍ਰਾਮਿੰਗ ਪਲੇਟਫਾਰਮ ਹੈ ਜੋ GPUs ਨੂੰ ਗੈਰ-ਗ੍ਰਾਫਿਕਸ ਕੰਪਿਊਟਿੰਗ ਲਈ ਵਰਗੋਗਯ ਬਣਾਉਂਦਾ ਹੈ। ਇਸ ਦੀ ਕੀਮਤ ਸਿਰਫ਼ ਪ੍ਰਦਰਸ਼ਨ ਨਹੀਂ—ਇਹ ਇੱਕ ਸਥਿਰ ਡਿਵੈਲਪਰ ਤਜ਼ਰਬਾ ਹੈ: ਕਮਪਾਇਲਰ, ਡੀਬੱਗਿੰਗ/ਪ੍ਰੋਫਾਈਲਿੰਗ ਟੂਲ, ਅਤੇ ਅਪਟੀਮਾਇਜ਼ਡ ਲਾਇਬ੍ਰੇਰੀਆਂ।
ਇਹ ਇਕੋਸਿਸਟਮ ਗਤੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ: ਟੀਮਾਂ ਇੱਥੇ ਕੋਡਬੇਸ ਅਤੇ ਵਰਕਫਲੋ ਬਣਾਉਂਦੀਆਂ ਹਨ, ਜੋ ਅਗਲੇ ਪ੍ਰੋਜੈਕਟ ਲਈ ਰੁਕਾਵਟ ਘਟਾਉਂਦਾ ਅਤੇ ਸਵਿੱਚ ਕਰਨ ਦੀ ਲਾਗਤ ਵਧਾ ਦਿੰਦਾ ਹੈ।
ਜ਼ਰੂਰੀ ਨਹੀਂ। ਬਹੁਤ ਸਾਰੀਆਂ ਟੀਮਾਂ CUDA ਲਿਖਣ ਦੇ ਬਿਨਾਂ ਹੀ GPU ਫ਼ਾਇਦੇ ਲੈ ਲੈਂਦੀਆਂ ਹਨ, ਕਿਉਂਕਿ ਫਰੇਮਵਰਕ ਅਤੇ ਲਾਇਬ੍ਰੇਰੀਆਂ ਬਹੁਤ ਕੁਝ ਹਥੋਂ ਲੈਂਦੀਆਂ ਹਨ।
ਸਧਾਰਨ ਰਸਤੇ:
ਤੁਹਾਨੂੰ ਅਕਸਰ CUDA-ਸਤਰ ਦਾ ਕੰਮ ਉਹਨਾਂ ਵੇਰਿਆਂ 'ਤੇ ਕਰਨਾ ਪੈਂਦਾ ਹੈ ਜਦੋਂ ਤੁਸੀਂ ਕਸਟਮ ਕਰਨਲ ਬਣਾਉਂਦੇ ਹੋ, ਲੈਟੈਂਸੀ ਘਟਾਉਣੀ ਹੁੰਦੀ ਹੈ ਜਾਂ ਵੱਡੇ ਪੈਮਾਨੇ 'ਤੇ ਕੰਮ ਕਰ ਰਹੇ ਹੋ।
ਟ੍ਰੇਨਿੰਗ ਅਕਸਰ GPUs ਵਿਚਲੀ ਕੰਪਿਊਟ + ਕਮਿਊਨਿਕੇਸ਼ਨ ਦੁਆਰਾ ਪਰਭਾਵਿਤ ਹੁੰਦੀ ਹੈ। ਜਿਵੇਂ ਮਾਡਲ ਵੱਡੇ ਹੁੰਦੇ ਹਨ, GPUs ਨੂੰ gradient/activation ਅਤੇ ਪੈਰਾਮੀਟਰ ਅਦਲਾ-ਬਦਲੀ ਕਰਨ ਦੀ ਲੋੜ ਪੈਂਦੀ ਹੈ; ਜੇ ਨੈਟਵਰਕ ਸਲੋ ਹੋਵੇ ਤਾਂ ਮਹਿੰਗੇ compute ਬੇਕਾਰ ਬੈਠਦੇ ਹਨ।
ਇਸ ਲਈ ਕਲਸਟਰ ਡਿਜ਼ਾਈਨੋਂ ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ:
ਕੇਵਲ FLOPS ਉੱਤੇ ਨਹੀਂ ਨਿਰਭਰ ਕੀਤਾ ਜਾ ਸਕਦਾ ਕਿ ਟਾਈਮ-ਟੂ-ਟ੍ਰੇਨ ਤੇਜ਼ ਹੋਵੇ।
ਡੇਟਾ ਸੈਂਟਰ ਗਾਹਕਾਂ ਲਈ ਖਰੀਦਦਾਰੀ 'ਤੇ ਤਰਜੀਹਾ ਉਪਟਾਈਮ, ਪੇਸ਼ਗੀ ਸਪਲਾਈ, ਸਪੋਰਟ ਕੰਟ੍ਰੈਕਟ ਅਤੇ ਭਵਿੱਖ ਦੀ ਪਲੇਟਫਾਰਮ ਦਿੱਖ ਹੁੰਦੀ ਹੈ। ਤੇਜ਼ ਚਿੱਪ ਸਿਰਫ਼ ਇੱਕ ਪਾਸਾ ਹੈ; ਉਹਨਾਂ ਨੂੰ ਇੱਕ भरोਸੇਯੋਗ, ਸਥਿਰ ਅਤੇ ਲਾਂਬੇ ਸਮੇਂ ਲਈ ਸਹੀ ਰੋਡਮੈਪ ਵਾਲੀ ਪੈਕੇਜਿੰਗ ਚਾਹੀਦੀ ਹੈ।
ਮੁੱਲ-ਪੇਸ਼ਕਸ਼ ਹੁੰਦੀ ਹੈ:
ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ NVIDIA ਨੇ “ਫੁੱਲ-ਸਟੈਕ” ਦਰਸਾਇਆ—ਹਾਰਡਵੇਅਰ ਨਾਲ ਨਾਲ ਸਾਫਟਵੇਅਰ ਅਤੇ ਸਹਾਇਤਾ ਜੋ ਖਰੀਦਦਾਰ ਲਈ ਜੋਖਮ ਘਟਾਉਂਦਾ ਹੈ।
ਡਿਵੈਲਪਰਾਂ ਦੀ ਮਨਸ਼ਾ (mindshare) ਨੂੰ ਜਿੱਤਣਾ ਸਿਰਫ਼ “ਤੇਜ਼” ਹੋਣ ਤੋਂ ਜ਼ਿਆਦਾ ਦੀ ਮਿਆਦ ਹਾਸਲ ਕਰਦਾ ਹੈ। ਉਹ ਟੀਮਾਂ ਜੋ ਪਹਿਲਾਂ ਨਤੀਜੇ ਪ੍ਰਾਪਤ ਕਰ ਲੈਂਦੀਆਂ ਹਨ, ਅਗਲੇ ਪ੍ਰੋਜੈਕਟ ਲਈ ਡਿਫੌਲਟ ਬਣ ਜਾਂਦੀਆਂ ਹਨ। ਇਹ ਆਦਤਾਂ ਕੰਪਨੀ ਦੇ ਅੰਦਰ ਗੁਣਕ ਹੁੰਦੀਆਂ ਹਨ: ਅੰਦਰੂਨੀ ਉਦਾਹਰਣ, ਦੁਬਾਰਾ ਵਰਤਣਯੋਗ ਕੋਡ ਅਤੇ “ਅਸੀਂ ਐਸਾ ਹੀ ਕਰਦੇ ਹਾਂ” ਵਾਲਾ ਤਰੀਕਾ।
NVIDIA ਨੇ ਇਹਾਂ ਕੁਝ ਗਲੀਆਂ 'ਚ ਨਿਵੇਸ਼ ਕੀਤਾ:
NVIDIA ਨੇ ਚਿੱਪ ਇੱਕਲੇ ਵੇਚ ਕੇ ਨਹੀਂ ਜਿੱਤਿਆ; ਉਹ ਉਦੋਂ ਜਿੱਤਿਆ ਜਦੋਂ ਉਹ ਉਹਨੂੰ ਉਹਨਾਂ ਥਾਵਾਂ ਤੇ ਉਪਲੱਬਧ ਹੋਇਆ ਜਿੱਥੇ ਲੋਕ ਪਹਿਲਾਂ ਹੀ ਕੰਪਿਊਟ ਖਰੀਦਦੇ, ਰੈਂਟ ਕਰਦੇ ਅਤੇ ਸਿੱਖਦੇ ਹਨ—ਕਲਾਊਡ ਪਲੇਟਫਾਰਮ, ਐਂਟਰਪ੍ਰਾਈਜ਼ ਸਰਵਰ ਅਤੇ ਯੂਨੀਵਰਸਿਟੀ ਲੈਬ।
ਜਦੋਂ AWS, Azure, Google Cloud ਆਦਿ ਨੇ NVIDIA ਇੰਸਟੈਂਸ ਆਪਣੀ ਡਿਫੌਲਟ ਚੋائس ਵਜੋਂ ਦਿੱਖਾਈਆਂ, ਤਾਂ ਅਪਣਾਉਣ ਇੱਕ ਪ੍ਰੋਕਿਊਰਮੈਂਟ ਚੈਕਬਾਕਸ ਬਣ ਗਿਆ। OEM ਭਾਈਦਾਰਾਂ ਰਾਹੀਂ ਵੀ ਜੇ ਕੋਇ GPU ਇੱਕ ਵੈਲਿਡੇਟਡ ਸਰਵਰ ਦੇ ਅੰਦਰ ਆਉਂਦੀ ਹੈ ਤਾਂ IT ਲਈ ਹਾਂ ਕਰਨਾ ਆਸਾਨ ਹੁੰਦਾ ਹੈ।
ਭਾਈਦਾਰੀਆਂ ਨੇ ਕੋ-ਅਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਦੀ ਆਗਿਆ ਦਿੱਤੀ: ਕਲਾਊਡ ਪ੍ਰੋਵਾਇਡਰ ਨੈਟਵਰਕਿੰਗ, ਸਟੋਰੇਜ ਅਤੇ ਸ਼ਡਿਊਲਿੰਗ ਨੂੰ GPU-ਭਾਰੀ ਵਰਕਲੋਡ ਦੇ ਲਈ ਟਿਊਨ ਕਰ ਸਕਦੇ ਹਨ, ਅਤੇ NVIDIA ਹਾਰਡਵੇਅਰ ਫੀਚਰਾਂ ਅਤੇ ਲਾਇਬ੍ਰੇਰੀਆਂ ਨੂੰ ਫਰੇਮਵਰਕਸ ਨਾਲ ਸੰਰੇਖਿਤ ਕਰਦਾ ਹੈ।
AI ਕੰਪਿਊਟ ਦੀ ਮੰਗ ਸਧਾਰਨ ਉਪਭੋਗਤਾ ਇਲੈਕਟ੍ਰੌਨਿਕਸ ਵਰਗੀ ਨਹੀਂ ਹੁੰਦੀ। ਇੱਕ ਵੱਡੀ AI ਡਿਪਲੋਇਮੈਂਟ ਨੂੰ ਇੱਕ ਸਮੇਂ ਹਜ਼ਾਰਾਂ GPUs ਦੀ ਲੋੜ ਪੈ ਸਕਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਖਰੀਦਦਾਰੀ “ਲੰਪੀ” ਬਣ ਜਾਂਦੀ ਹੈ—ਇੱਕ ਪਰੋਜੈਕਟ ਬਹੁਤ ਸਾਰੀਆਂ ਹੋਰ ਛੋਟੀ ਖਰੀਦਾਂ ਨੂੰ ਖਤਮ ਕਰ ਸਕਦਾ ਹੈ।
ਇਸ ਨਾਲ ਲੀਡ ਟਾਈਮ ਵਧਦੇ ਹਨ ਕਿਉਂਕਿ ਚਿੱਪ ਬਣਾਉਣ, ਪੈਕੇਜਿੰਗ, ਟੈਸਟਿੰਗ ਅਤੇ ਅਸੈਂਬਲੀ ਹਰ ਇੱਕ ਸਤਰ 'ਤੇ ਆਪਣੀ ਕਤਾਰ ਰੱਖਦੇ ਹਨ। ਅੱਗੇ, ਅਡਵਾਂਸਡ ਪੈਕੇਜਿੰਗ, ਉੱਚ-ਬੈਂਡਵਿਡਥ ਮੇਮੋਰੀ ਅਤੇ ਵਿਸ਼ੇਸ਼ ਸਬਸਟਰੈਟ ਉਪਲੱਬਧਤਾ ਵੀ ਬੋਤਲ ਨੈਕ ਬਣ ਸਕਦੇ ਹਨ।
ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ ਸਪਲਾਈ ਅਕਸਰ ਲੰਮੀ ਰਹਿ ਜਾਂਦੀ ਹੈ: ਨਿਰਯਾਤ, ਭੰਡਾਰ, ਅਤੇ ਉਤਪਾਦਨ ਰੈਪਅੱਪ ਦੇ ਰਹਿਣ ਦੇ ਹੋਂਦਾਂ ਨਾਲ ਮੰਗ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦੀ ਰਹਿ ਸਕਦੀ ਹੈ।
AI ਕੰਪਿਊਟ ਕਦੇ ਵੀ ਇੱਕ ਘੋੜੇ ਦੀ ਦੌੜ ਨਹੀਂ ਸੀ। ਟੀਮਾਂ ਆਮ ਤੌਰ 'ਤੇ NVIDIA ਦੀ ਤੁਲਨਾ ਹੋਰ GPU ਵਿਕਰੇਤਾਵਾਂ (ਜਿਵੇਂ AMD, Intel), hyperscalers ਦੇ ਕਸਟਮ ਚਿਪ (Google TPU, AWS Trainium/Inferentia) ਅਤੇ ਨਵੇਂ ਸਟਾਰਟਅੱਪ ਐਕਸੈਲੇਰੇਟਰਾਂ ਨਾਲ ਕਰਦੀਆਂ ਹਨ।
ਸਹੀ ਚਿਪ ਆਮ ਤੌਰ 'ਤੇ ਤੁਹਾਡੇ ਵਰਕਲੋਡ 'ਤੇ ਨਿਰਭਰ ਹੁੰਦੀ ਹੈ:
ਅਕਸਰ, NVIDIA ਡਿਫੌਲਟ ਰਹਿੰਦਾ ਹੈ ਕਿਉਂਕਿ ਸਾਫਟਵੇਅਰ ਅਨੁਕੂਲਤਾ ਅਤੇ ਪਰਿਪੱਕਤਾ—CUDA, cuDNN ਅਤੇ ਇਕੋਸਿਸਟਮ—ਅਣਗਿਣਤ ਮਾਡਲਾਂ ਅਤੇ ਤਕਨੀਕਾਂ ਦਿਸ਼ਾਵਾਰਿਤ ਅਤੇ ਪ੍ਰਮਾਣਿਤ ਹਨ।
NVIDIA ਦੀ ਪ੍ਰਮੁੱਖਤਾ ਨਾਲ ਕਿੱਕੇ-ਫਾਇਦੇ ਆਉਂਦੇ ਹਨ ਪਰ ਨਾਲ ਹੀ ਹਿਤਾਂ ਅਤੇ ਖਤਰੇ ਵੀ ਹਨ। ਗਾਹਕ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਸਾਫਟਵੇਅਰ ਦੀ ਮਚੂਰਿਟੀ ਦੀ ਸਰਾਹਨਾ ਕਰਦੇ ਹਨ, ਪਰ ਲਾਗਤ, ਨਿਰਭਰਤਾ ਅਤੇ ਸਪਲਾਈ-ਸੰਬੰਧੀ ਮੁਸ਼ਕਿਲਾਂ ਬਾਰੇ ਵੀ ਚਿੰਤਾ ਹੁੰਦੀ ਹੈ।
ਆਮ ਆਲੋਚਨਾਵਾਂ:
ਖਤਰਾ ਘਟਾਉਣ ਲਈ ਟੀਮਾਂ ਆਮ ਤੌਰ 'ਤੇ:
ਇਕੋਸਿਸਟਮ ਸਵਿੱਚਿੰਗ ਲਾਗਤ ਬਣਾਉਂਦਾ ਹੈ—ਟیمਾਂ ਲਈ ਰੁਕਾਉਟ ਵਧਦੀ ਹੈ ਅਤੇ ਅਪਣਾਉਣ ਤੇਜ਼ ਹੁੰਦਾ ਹੈ।
ਸਿਆਸੀ ਅਤੇ ਜਿਓਪੋਲਿਟਿਕ ਅਣਿਸ਼ਚਿਤਤਾ ਵੀ ਉਪਲਬਧਤਾ 'ਤੇ ਅਸਰ ਪਾ ਸਕਦੀ ਹੈ—ਕਈ ਵਾਰੀ ਨੀਤੀਆਂ ਖੇਤਰ-ਵਿਸ਼ੇਸ਼ ਉਪਲਬਧਤਾ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੀਆਂ ਹਨ।