48हज़ार डॉलर का GPU सर्वर खरीदना कितना सही था?
मूल शीर्षक: Was my $48K GPU server worth it?
यह क्यों महत्वपूर्ण है
व्यक्तिगत GPU सर्वर बनाम क्लाउड rental का विश्लेषण AI researchers के लिए महत्वपूर्ण निर्णय है।
एक स्वतंत्र AI शोधकर्ता ने FAANG नौकरी छोड़कर 48हज़ार डॉलर में 6x RTX 6000 Ada GPU वाला सर्वर बनाया। उन्होंने क्लाउड GPU किराए के बजाय खुद का सर्वर बनाने के फैसले का विश्लेषण किया और उपयोग की दर मापी।
एक शोधकर्ता ने 2024 में अपनी FAANG नौकरी छोड़कर स्वतंत्र AI अनुसंधान शुरू करने के लिए 'grumbl' नाम का GPU सर्वर बनाया। Tim Dettmers की गाइड के आधार पर A100, H100 और RTX 6000 Ada में से चुनाव करते समय, FP8 समर्थन और inference प्रदर्शन को देखते हुए 6000 Ada चुना गया। अपार्टमेंट की बिजली सीमाओं के कारण दो अलग circuits में दो power supplies का उपयोग करना पड़ा। सुरक्षा के लिए professional PC builder की मदद ली गई। शोधकर्ता ने गणना की कि 85% से अधिक उपयोग दर पर एक साल में क्लाउड rental rates के बराबर खर्च होगा। वे प्रति मिनट GPU usage और electricity cost को log करने के लिए script लिखी। On-demand pricing के साथ तुलना में केवल reserved instances थोड़े सस्ते थे लेकिन GPU ownership के फायदे कम थे।