निजी AI इन्फ्रास्ट्रक्चर
Ollama, GPU-त्वरित इन्फ़रेंस, Docker कंटेनर और सुरक्षित दूरस्थ प्रशासन के साथ स्थानीय बड़े भाषा मॉडल (LLM) इन्फ्रास्ट्रक्चर का डिज़ाइन और संचालन।
कार्यान्वयन रिपॉज़िटरी: अभी प्रकाशित नहीं हुई है।
साक्ष्य एवं परिणाम
दूरस्थ प्रशासन
Ubuntu Server LTS
Docker · Ollama · Open WebUI
स्थानीय मॉडल कार्यभार
सिंहावलोकन
मैं एक निजी वातावरण चाहता था जहां मैं स्थानीय भाषा मॉडल चला सकूं, जीपीयू-त्वरित वर्कलोड के साथ प्रयोग कर सकूं और सीख सकूं कि होस्ट की गई क्लाउड सेवाओं के बाहर एआई इंफ्रास्ट्रक्चर कैसे व्यवहार करता है।
परियोजना मुझे Linux, Docker, नेटवर्किंग, दूरस्थ प्रशासन, सुरक्षा परीक्षण, समस्या निवारण और स्वचालन के लिए एक व्यावहारिक वातावरण भी देती है।
मेरा लक्ष्य केवल स्थानीय स्तर पर मॉडल चलाना नहीं है। मैं उनके आसपास की पूरी प्रणाली को समझना चाहता हूं - हार्डवेयर, ऑपरेटिंग सिस्टम, नेटवर्किंग, सुरक्षा, तैनाती, निगरानी और पुनर्प्राप्ति।
वास्तुकला
स्थानीय AI कार्यभार के लिए NVIDIA RTX 5070 Ti त्वरण वाला AMD Ryzen 7 5800XT सर्वर प्लेटफ़ॉर्म।
हेडलेस Ubuntu Server वातावरण को SSH के माध्यम से दूरस्थ रूप से प्रशासित किया जाता है।
Ollama और स्थानीय भाषा मॉडल को चलाने, परीक्षण और प्रबंधित करने के लिए कंटेनरीकृत सेवाएं।
टीपी-लिंक टीएक्स401 के माध्यम से 10 जीबीई नेटवर्किंग, दूरस्थ प्रशासन और भविष्य के विभाजन को ध्यान में रखते हुए।
हार्डवेयर
सीपीयू
AMD Ryzen 7 5800XT
मदरबोर्ड
ASUS TUF GAMING X570-PLUS (WI-FI)
स्मृति
128 जीबी डीडीआर4
जीपीयू
PNY GeForce RTX 5070 Ti
नेटवर्किंग
टीपी-लिंक टीएक्स401 10 जीबीई
ऑपरेटिंग सिस्टम
Ubuntu Server LTS
भण्डारण
एकाधिक एनवीएमई एसएसडी
एआई स्टैक
Ollama · Docker · Open WebUI
कार्यान्वयन
पर्यावरण परतों में बनाया गया है ताकि प्रत्येक घटक का स्वतंत्र रूप से परीक्षण किया जा सके और सिस्टम को एक बड़े अनुप्रयोग के रूप में देखे बिना बनाए रखा जा सके।
वर्तमान स्थिति
समर्पित AI सर्वर में AMD Ryzen 7 5800XT, 128 GB DDR4 मेमोरी और NVIDIA RTX 5070 Ti हैं। Linux, GPU त्वरण, मॉडल रनटाइम, कंटेनर और दूरस्थ प्रशासन के मूल कार्यप्रवाह स्थापित हैं; निगरानी और सुरक्षा स्वचालन पर काम जारी है।
दूरस्थ प्रशासन और एक स्थिर नेटवर्क बेसलाइन के साथ एक हेडलेस Ubuntu Server वातावरण कॉन्फ़िगर किया गया।
कॉन्फ़िगर किए गए NVIDIA ड्राइवर और स्थानीय AI वर्कलोड के लिए सत्यापित RTX 5070 Ti GPU उपलब्धता।
Ollama स्थापित किया और सर्वर से सीधे स्थानीय भाषा मॉडल का परीक्षण किया।
सहायक सेवाओं के लिए Docker और ब्राउज़र-आधारित मॉडल एक्सेस और प्रशासन के लिए Open WebUI का उपयोग करना।
SSH और रिमोट प्रबंधन टूल के माध्यम से बिना किसी प्रयास के संचालित करने के लिए सिस्टम का निर्माण किया।
128 GB DDR4 और RTX 5070 Ti वाला AMD Ryzen 7 5800XT प्लेटफ़ॉर्म तैनात किया गया।
निगरानी, घटना विश्लेषण, प्रतिक्रिया सहायता और दोहराने योग्य प्रशासन के लिए सुरक्षा-केंद्रित वर्कफ़्लो जोड़ें।
लॉगिंग, प्रदर्शन निगरानी, जीपीयू उपयोग ट्रैकिंग और सेवा स्वास्थ्य दृश्यता का विस्तार करें।
समस्या निवारण
निर्माण केवल ऑनलाइन सेवाएँ प्राप्त करने के बारे में नहीं था। प्रत्येक विफलता परतों को अलग करने, धारणाओं को मान्य करने और पर्यावरण में सुधार करने का अवसर बन गई।
समस्या निवारण दृष्टिकोण
मैं हर विफलता को एक एप्लिकेशन समस्या के रूप में मानने के बजाय हार्डवेयर, नेटवर्किंग, ऑपरेटिंग सिस्टम, ड्राइवर, कंटेनर और मॉडल रनटाइम मुद्दों को अलग करता हूं।
समस्या
Open WebUI deployment failed because the account could not access the Docker socket.
प्रतिक्रिया
Isolated the problem as a permissions issue rather than an application failure and worked through Docker group and service access.
समस्या
The server experienced name-resolution problems even while basic network connectivity remained available.
प्रतिक्रिया
Separated DNS from general connectivity and validated network, resolver, and operating-system configuration independently.
समस्या
AI services depend on more than the GPU simply appearing in the system.
प्रतिक्रिया
Verified NVIDIA driver availability and confirmed that the RTX 5070 Ti could actually be used by local AI workloads.
समस्या
A successfully loaded model does not automatically mean the environment is useful.
प्रतिक्रिया
Tested models with logic questions, technical prompts, and infrastructure scenarios to evaluate behavior and practical usefulness.
समस्या
The server needs to remain manageable without relying on a local desktop environment.
प्रतिक्रिया
Built the system around SSH and remote administration so services can be maintained, restarted, and diagnosed remotely.
समस्या
AI infrastructure failures can originate from hardware, drivers, networking, containers, or the model runtime.
प्रतिक्रिया
Used a layer-by-layer troubleshooting process to reduce guesswork and identify the actual point of failure.
"लक्ष्य केवल सिस्टम को कार्यशील बनाना नहीं है। यह समझना है कि यह विफल क्यों हुआ, यह कैसे ठीक हुआ, और अगली विफलता का निदान कैसे आसान बनाया जाए।"
सुरक्षा
मैंने इस उम्मीद के साथ पर्यावरण को डिज़ाइन किया है कि दूरस्थ प्रशासन, स्थानीय एआई सेवाएं, कंटेनर और भविष्य के स्वचालन सभी सुरक्षा संबंधी विचार पैदा करते हैं जिन्हें शुरुआत से ही संबोधित करने की आवश्यकता है।
डिज़ाइन सिद्धांत
सुरक्षा को बुनियादी ढांचे के डिजाइन के हिस्से के रूप में माना जाता है, न कि सिस्टम के पहले से चलने के बाद जोड़ी गई एक अलग परत के रूप में।
सुरक्षा प्राथमिकताएँ
विशेषाधिकार प्राप्त पहुंच सीमित करें
प्रबंधन पथों को नियंत्रित रखें
खंड सेवाएँ जहाँ व्यावहारिक हों
लॉगिंग के माध्यम से दृश्यता बनाए रखें
दस्तावेज़ पुनर्प्राप्ति और पुनर्निर्माण प्रक्रियाएँ
स्थानीय डेस्कटॉप सत्र पर निर्भर होने के बजाय नियंत्रित रिमोट एक्सेस के माध्यम से हेडलेस प्रशासन के लिए सर्वर को डिज़ाइन किया गया।
प्रशासनिक पहुंच को एप्लिकेशन पहुंच से अलग करें और विशेषाधिकार प्राप्त संचालन को उन खातों और सेवाओं तक सीमित करें जिनकी उन्हें आवश्यकता है।
अनावश्यक निर्भरता को कम करने और व्यक्तिगत घटकों को प्रबंधित और सुरक्षित करना आसान रखने के लिए कंटेनर और अलग सेवाओं का उपयोग करें।
समर्पित नेटवर्क सीमाओं के आसपास एआई वातावरण की योजना बनाएं ताकि प्रबंधन इंटरफेस और एआई सेवाओं को सामान्य क्लाइंट ट्रैफिक से अलग किया जा सके।
अनावश्यक सेवाओं को कम करें, ऑपरेटिंग सिस्टम और ड्राइवरों को बनाए रखें, और सर्वर को उसकी इच्छित भूमिका पर केंद्रित रखें।
सिस्टम स्वास्थ्य, प्रमाणीकरण गतिविधि, कंटेनर घटनाओं, जीपीयू उपयोग और सेवा विफलताओं के लिए केंद्रीकृत दृश्यता की ओर निर्माण करें।
चयनित एआई वर्कलोड और डेटा प्रोसेसिंग को स्वचालित रूप से होस्ट किए गए मॉडल प्रदाता को भेजने के बजाय मेरे नियंत्रण वाले बुनियादी ढांचे के अंदर रखें।
दस्तावेज़ कॉन्फ़िगरेशन और परिनियोजन चरणों में परिवर्तन होता है ताकि सेवाओं को मेमोरी पर निर्भर हुए बिना फिर से बनाया जा सके, समस्या निवारण किया जा सके और पुनर्प्राप्त किया जा सके।
रक्षा करें
नियंत्रित पहुंच, कठोर सेवाओं और नेटवर्क सीमाओं के माध्यम से अनावश्यक जोखिम को कम करें।
पता लगाना
प्रमाणीकरण, सेवा स्वास्थ्य, विफलताओं और असामान्य सिस्टम व्यवहार में दृश्यता में सुधार करें।
पुनः प्राप्त करना
पर्यावरण को दस्तावेजीकृत और दोहराने योग्य रखें ताकि विफल घटकों को कम डाउनटाइम और अनुमान के साथ फिर से बनाया जा सके।
"उद्देश्य किसी प्रयोगशाला को जटिल बनाना नहीं है। यह हर परत को समझने योग्य, नियंत्रणीय और पुनर्प्राप्ति योग्य बनाना है।"
सीखा गया सबक
सबसे उपयोगी सबक सर्वर को केवल मॉडल चलाने वाली मशीन के बजाय एक संपूर्ण बुनियादी ढांचा प्रणाली के रूप में मानने से मिला।
एआई सेवाओं को जोड़ने से पहले एक स्थिर हार्डवेयर और नेटवर्क बेसलाइन से शुरुआत करें।
समस्या निवारण करते समय GPU ड्राइवर, कंटेनर, मॉडल रनटाइम और रिमोट एक्सेस को अलग-अलग परतों के रूप में मानें।
दस्तावेज़ कॉन्फ़िगरेशन बदलता है ताकि विफलताओं को उलटना आसान हो और सिस्टम का पुनर्निर्माण आसान हो।
शुरू से ही पर्यावरण में सुरक्षित दूरस्थ प्रशासन का निर्माण करें।
कुंजी टेकअवे
परियोजना ने इस बात पर ज़ोर दिया कि सफल एआई बुनियादी ढांचा सिस्टम प्रशासन, नेटवर्किंग, सुरक्षा, दस्तावेज़ीकरण और पुनर्प्राप्ति पर उतना ही निर्भर करता है जितना कि मॉडल प्रदर्शन पर।
अगले चरण
प्लेटफ़ॉर्म जानबूझकर विस्तार योग्य है। भविष्य का काम हार्डवेयर जोड़ने पर कम और दृश्यता, स्वचालन, दोहराव और व्यावहारिक सुरक्षा उपयोग के मामलों में सुधार पर अधिक ध्यान केंद्रित करेगा।
मॉडल परीक्षण और बेंचमार्किंग का विस्तार करें
निगरानी और लॉगिंग में सुधार करें
अधिक सुरक्षा-केंद्रित स्वचालन जोड़ें
दस्तावेज़ दोहराने योग्य परिनियोजन वर्कफ़्लोज़
एक वीडियो वॉकथ्रू प्रकाशित करें
प्रोजेक्ट मीडिया
वीडियो वॉकथ्रू बाद में आ रहा है
भविष्य का पूर्वाभ्यास हार्डवेयर, परिनियोजन प्रक्रिया, मॉडल वातावरण, दूरस्थ प्रशासन और सुरक्षा वास्तुकला का दस्तावेजीकरण करेगा।
अधिक परियोजनाएँ