ऑपरेटिंग प्लेटफ़ॉर्म से प्रारंभ करें
दर्ज प्लेटफ़ॉर्म में AMD Ryzen 7 5800XT सिस्टम पर Ubuntu Server LTS चलता है, जिसमें 128 GB DDR4 मेमोरी और NVIDIA RTX 5070 Ti हैं। सर्वर SSH और दूरस्थ प्रबंधन उपकरणों से बिना मॉनिटर संचालित होता है। मॉडल कार्यभार जोड़ने से पहले दूरस्थ पहुँच और स्थिर नेटवर्क स्थापित किए जाते हैं।
मॉडल से पहले जीपीयू को मान्य करें
प्रोजेक्ट नोट NVIDIA ड्राइवर कॉन्फ़िगरेशन और सत्यापन को रिकॉर्ड करता है कि RTX 5070 Ti स्थानीय AI वर्कलोड के लिए उपलब्ध है। ड्राइवर, रनटाइम और एप्लिकेशन जांच को अलग रखने से विफलता का पता लगाना आसान हो जाता है। हार्डवेयर उपलब्धता, अपने आप में, मॉडल प्रदर्शन स्थापित नहीं करती है।
सेवा परतों को अलग करें
Ollama स्थानीय मॉडल होस्टिंग प्रदान करता है, जबकि Docker और Open WebUI सेवा वातावरण का हिस्सा हैं। उपयोगी समस्या निवारण प्रश्न यह है कि कौन सी परत विफल हो रही है: होस्ट, जीपीयू स्टैक, कंटेनर, मॉडल रनटाइम, या क्लाइंट कनेक्शन। स्टैक को एक एप्लिकेशन के रूप में मानने की तुलना में उन निर्भरताओं का दस्तावेजीकरण करना अधिक उपयोगी है।
विस्तार से पहले संचालन करें
दस्तावेज़ीकृत बिल्ड में दूरस्थ प्रशासन स्थापित किया गया है। विस्तारित लॉगिंग, जीपीयू उपयोग ट्रैकिंग, सेवा-स्वास्थ्य दृश्यता और सुरक्षा स्वचालन आगे के विकास के क्षेत्र बने हुए हैं। अगले साक्ष्य में दोहराई जाने वाली सेवा जांच और पुनर्प्राप्ति पथ दिखाया जाना चाहिए, न कि केवल एक अन्य स्थापित उपकरण।
प्रतिलिपि प्रस्तुत करने योग्य बेंचमार्क की क्या आवश्यकता है
भविष्य के LLM इन्फ़रेंस बेंचमार्क में मॉडल, क्वांटाइज़ेशन, VRAM उपयोग, प्रॉम्प्ट और आउटपुट की लंबाई, वार्म-अप स्थितियाँ, समवर्ती अनुरोध, सॉफ्टवेयर संस्करण, हार्डवेयर और मापन विधि दर्ज की जानी चाहिए। क्वांटाइज़ेशन और VRAM प्रबंधन पर आगे जाँच बाकी है; मापा गया इन्फ़रेंस प्रदर्शन अभी प्रकाशित नहीं हुआ है।
टेकअवे
स्थानीय एआई को बुनियादी ढांचे के रूप में मानें: प्रत्येक परत को सत्यापित करें, निर्भरता को दृश्यमान रखें, और माप को पर्याप्त संदर्भ के साथ प्रकाशित करें ताकि कोई और उन्हें पुन: पेश कर सके।
संबंधित परियोजना का अन्वेषण करें →