23 أبريل 2025·8 دقيقة
كيف تدعم قواعد بيانات المتجهات البحث الدلالي لتطبيقات الذكاء الاصطناعي
تعلم كيف تخزن قواعد بيانات المتجهات التضمينات، تُجرِي بحث تشابه سريع، وتدعم البحث الدلالي، روبوتات RAG، التوصيات، وتطبيقات الذكاء الاصطناعي الأخرى.
تعلم كيف تخزن قواعد بيانات المتجهات التضمينات، تُجرِي بحث تشابه سريع، وتدعم البحث الدلالي، روبوتات RAG، التوصيات، وتطبيقات الذكاء الاصطناعي الأخرى.
البحث الدلالي يركّز على ما تعنيه، وليس فقط الكلمات الدقيقة التي تكتبها.
إذا سبق وأن بحثت عن شيء وفكرت «الإجابة هنا بوضوح—لماذا لا يجدها؟»، فهذه تجربة حدود البحث بالكلمات. البحث التقليدي يطابق المصطلحات؛ وهذا يعمل عندما تتشابه صياغة الاستعلام مع صياغة المحتوى.
البحث بالكلمات يعاني من:
كما يمكنه المبالغة في تقدير الكلمات المتكررة، ليعيد نتائج تبدو ملائمة ظاهريًا بينما يتجاهل الصفحة التي تجيب فعلاً بصياغة مختلفة.
تخيل مركز مساعدة يحتوي على مقال بعنوان "Pause or cancel your subscription." يبحث المستخدم:
"stop my payments next month"
قد لا يصنّف نظام الكلمات ذاك المقال عاليًا إذا لم يتضمن "stop" أو "payments". البحث الدلالي مصمم لفهم أن "stop my payments" مرتبط بـ "cancel subscription"، ويضع ذلك المقال في القمة — لأن المعنى متطابق.
لجعل هذا يعمل، تمثل الأنظمة المحتوى والاستعلامات كـ "بصمات معنى" (أرقام تلتقط التشابه). ثم يجب البحث عبر ملايين من هذه البصمات بسرعة.
هذا ما تُبنى لأجله قواعد بيانات المتجهات: تخزين هذه التمثيلات العددية واسترجاع أقرب التطابقات بكفاءة، حتى يبدو البحث الدلالي فوريًا على نطاق واسع.
التضمين هو تمثيل رقمي للمعنى. بدلًا من وصف مستند بكلمات مفتاحية، تمثّله كقائمة أرقام ("متجه") تلتقط ما يتحدث عنه المحتوى. مقطعا محتوى متشابهين في المعنى سينتجان متجهات تقع قرب بعضها في ذلك الفضاء الرقمي.
فكّر في التضمين كإحداثي على خريطة عالية الأبعاد. عادة لن تقرأ الأرقام مباشرة — فهي ليست مهيأة للبشر. قيمتها في سلوكها: إذا أنتجت "cancel my subscription" و"how do I stop my plan?" متجهات متقاربة، يستطيع النظام معاملتهما كمترابطين حتى لو تشابكت كلمات قليلة أو لم تتشابه.
التضمينات ليست مقتصرة على النص.
هكذا يمكن لقاعدة متجهات واحدة أن تدعم "البحث بصورة"، "إيجاد أغاني مشابهة"، أو "توصية منتجات مشابهة".
المتجهات لا تأتي من وسم يدوي. تُنتَج بواسطة نماذج تعلم آلي مدرّبة لضغط المعنى إلى أرقام. ترسل المحتوى إلى نموذج التضمين (مستضاف لديك أو عبر مزود)، ويعيد المتجه. يخزن تطبيقك ذلك المتجه جنبًا إلى المحتوى الأصلي والميتا داتا.
النموذج الذي تختاره يؤثر بشدة على النتائج. النماذج الأكبر أو المتخصصة تحسن الصلة غالبًا لكنها أغلى وربما أبطأ. النماذج الأصغر أرخص وأسرع لكنها قد تفقد الدقة — خصوصًا للغة مجال محدد أو لغات متعددة أو استعلامات قصيرة. تختبر الكثير من الفرق عدة نماذج مبكرًا للعثور على التوازن قبل التوسع.
قاعدة بيانات المتجهات مبنية على فكرة بسيطة: خزّن "المعنى" (متجه) مع المعلومات التي تحتاجها لتحديد، تصفية، وعرض النتائج.
معظم السجلات تبدو كالتالي:
doc_18492 أو UUID)مثال: قد يخزن مقال مركز المساعدة:
kb_123{ "title": "Reset your password", "url": "/help/reset-password", "tags": ["account", "security"] }المتجه هو ما يُشغّل تشابه المعنى. المعرف والميتا داتا هما ما يجعل النتائج قابلة للاستخدام.
الميتا داتا تؤدي مهمتين:
بدون ميتا داتا جيدة قد تسترجع المعنى الصحيح ولكن تعرض السياق الخاطئ.
حجم التضمين يعتمد على النموذج: 384، 768، 1024، و1536 أبعاد شائعة. مزيد الأبعاد يلتقط تفصيلًا أكبر لكنه يزيد أيضًا:
كمبادرة تقريبية: مضاعفة الأبعاد غالبًا ما ترفع التكلفة والزمن إلا إذا عوضت بخيارات فهرسة أو ضغط.
المجموعات الحقيقية تتغير، لذا غالبًا تدعم قواعد بيانات المتجهات:
التخطيط للتحديثات مبكرًا يمنع مشكلة "المعرفة القديمة" حيث يعيد البحث محتوى لم يعد مطابقًا لما يراه المستخدمون.
بعد تحويل النصوص والصور والمنتجات إلى تضمينات، يصبح البحث مسألة هندسة: "أي المتجهات هي الأقرب إلى متجه هذا الاستعلام؟" يسمى هذا بحث أقرب جار. بدلًا من مطابقة الكلمات، يقارن النظام المعنى بقياس قرب المتجهات.
تخيل كل قطعة محتوى كنقطة في فضاء متعدد الأبعاد ضخم. عندما يبحث المستخدم، يتحول استعلامه إلى نقطة أخرى. يعيد بحث التشابه العناصر التي نقاطها الأقرب — "أقرب جيرانك". تلك الجيران من المرجح أن تشارك النية أو الموضوع أو السياق حتى لو لم تتشارك كلمات بالضبط.
قواعد بيانات المتجهات عادةً تدعم طرقًا قياسية لقياس "القرب":
نماذج التضمين تُدرّب لقياس معين، لذا من المهم استخدام المقياس الذي يوصي به مزود النموذج.
البحث الدقيق يفحص كل متجه ليجد أقرب الجيران الحقيقيين. هذا دقيق لكنه يصبح بطيئًا ومكلفًا على مقياس الملايين.
معظم الأنظمة تستخدم ANN (approximate nearest neighbor). ANN يستفيد من هياكل فهرسة ذكية ليقلّص البحث إلى مرشحين واعدين. عادة تحصل على نتائج "قريبة بما يكفي" من الأفضل الحقيقي — بسرعة أكبر.
ANN شائع لأنه يسمح بالضبط حسب حاجتك:
هذا الضبط هو سبب عمل بحث المتجه جيدًا في التطبيقات الحقيقية: يمكنك إبقاء الاستجابات سريعة بينما تعيد نتائج ذات صلة عالية.
البحث الدلالي أسهل للفهم كخط أنابيب بسيط: تحوّل النص إلى معنى، تبحث عن معانٍ متشابهة، ثم تعرض أو تستخدم أفضل التطابقات.
يكتب المستخدم سؤالًا (مثال: "How do I cancel my plan without losing data?"). يشغّل النظام هذا النص عبر نموذج التضمين، منتجًا متجهًا — مصفوفة أرقام تمثل معنى الاستعلام بدل كلماتها الحرفية.
يُرسل متجه الاستعلام إلى قاعدة المتجهات، التي تجري بحث التشابه لإيجاد المتجهات "الأقرب" بين المحتوى المخزن.
تُرجع معظم الأنظمة top-K التطابقات: أفضل K مقاطع/مستندات متشابهة.
بحث التشابه محسن للسرعة، لذا قد تحتوي قائمة top-K الأولية على مطابقة قريبة لكنها غير مثالية. إعادة الترتيب (reranker) هو نموذج ثانٍ ينظر إلى الاستعلام وكل نتيجة مرشحة معًا ويعيد ترتيبها بحسب الصلة.
فكّر فيه هكذا: بحث المتجه يعطيك قائمة قصيرة قوية؛ إعادة الترتيب تختار أفضل ترتيب.
أخيرًا، تُرجع أفضل التطابقات للمستخدم (كنتيجة بحث)، أو تمرّرها لمساعد ذكي (مثلاً نظام RAG) كـ "دليل".
إذا تبني هذا النوع من التدفق في تطبيق، منصات مثل Koder.ai يمكن أن تساعدك على النمذجة السريعة: تصف تجربة البحث الدلالي أو RAG بواجهة محادثة، ثم تكرر على الواجهة الأمامية React والواجهة الخلفية Go/PostgreSQL مع إبقاء خط الاسترجاع (تضمين → بحث متجه → إعادة ترتيب اختياري → إجابة) كجزء أساسي من المنتج.
إذا قال مقال مركز المساعدة "terminate subscription" وبحث المستخدم "cancel my plan"، قد يفشل بحث الكلمات لأن "cancel" و"terminate" لا تتطابقان.
البحث الدلالي عادةً يسترجعه لأن التضمين يلتقط أن العبارتين تعبران عن نفس النية. أضف إعادة ترتيب، وتصبح النتائج العلوية عادةً ليست "مشابهة" فحسب، بل مباشرة قابلة للتنفيذ لسؤال المستخدم.
البحث المتجه النقي رائع في "المعنى"، لكن المستخدمين لا يبحثون دائمًا بالمقصد فقط. أحيانًا يحتاجون لمطابقة حرفية: اسم كامل، SKU، رقم فاتورة، أو رمز خطأ من سجل. يحل البحث الهجين هذا بمزج الإشارات الدلالية (المتجهات) مع الإشارات اللفظية (بحث كلمات تقليدي مثل BM25).
يجرى الاستعلام الهجين غالبًا عبر مسارين متوازيين:
ثم يدمج النظام تلك النتائج المرشحة في قائمة مرتبة واحدة.
البحث الهجين يتألق عندما يتضمن بياناتك سلاسل "يجب مطابقتها":
البحث الدلالي وحده قد يعيد صفحات مرتبطة بشكل عام؛ وبحث الكلمات وحده قد يفشل في العثور على إجابات مُعاد صياغتها. الهجين يغطي الحالتين.
مرشحات الميتا داتا تقصر الاسترجاع قبل الترتيب (أو بجواره)، محسّنة الملاءمة والسرعة. فلاتر شائعة تشمل:
تستخدم معظم الأنظمة مزيجًا عمليًا: تشغّل كلا البحثين، تطبّع الدرجات لتصبح قابلة للمقارنة، ثم تطبّق أوزانًا (مثال: "اعتمد أكثر على الكلمات للمُعرفات"). بعض المنتجات أيضًا تعيد ترتيب القائمة المدموجة بنموذج خفيف أو قواعد، بينما تضمن الفلاتر أنك ترتب المجموعة الصحيحة أصلاً.
الاسترجاع المعزز بالتوليد (RAG) هو نمط عملي للحصول على إجابات أكثر موثوقية من LLM: استرجع أولًا معلومات ملائمة، ثم ولّد استجابة مرتبطة بذلك السياق.
بدلًا من أن تطلب من النموذج "تذكّر" مستندات شركتك، خزن تلك المستندات (كمتجهات) في قاعدة متجهات، استرجع المقاطع ذات الصلة وقت السؤال، ومرّرها إلى LLM كمصدر داعم.
نماذج اللغة جيدة جدًا في الكتابة، لكنها تميل لملء الفراغات بثقة عندما تفتقد الحقائق المطلوبة. تجعل قاعدة المتجهات من السهل جلب المقتطفات الأقرب من قاعدة معرفتك وإدراجها في الـ prompt.
هذا التأسيس يحوّل النموذج من "اختراع إجابة" إلى "تلخيص وشرح هذه المصادر". كما يسهل تدقيق الإجابات لأنه يمكنك تتبع المقاطع المسترجعة وعرض الاستشهادات إن رغبت.
جودة RAG غالبًا ما تعتمد أكثر على التقسيم من النموذج نفسه.
تخيل هذا التدفق:
سؤال المستخدم → تضمين السؤال → استرجاع top-k مقاطع من قاعدة المتجه (+ فلاتر ميتا داتا اختيارية) → بناء المطالبة بالمقاطع المسترجعة → LLM يولد الإجابة → إرجاع الإجابة (ومصادرها).
قاعدة المتجهات تقع في المنتصف كـ "ذاكرة سريعة" تزود كل طلب بالأدلة الأكثر صلة.
قواعد بيانات المتجهات لا تجعل البحث فقط "أذكى" — بل تمكّن تجارب منتج حيث يصف المستخدم ما يريد باللغة الطبيعية ويحصل على نتائج ملائمة. فيما يلي بعض الاستخدامات العملية المتكررة.
فرق الدعم غالبًا لديها قاعدة معرفة، تذاكر قديمة، سجلات محادثة، وملاحظات إصدار — لكن البحث بالكلمات يواجه صعوبة مع المترادفات، إعادة الصياغة، والوصف الضبابي للمشكلة.
بهذا، يستطيع الوكيل (أو الشات بوت) استرجاع تذاكر سابقة "تعني نفس الشيء" حتى لو اختلفت الصياغة. يسرّع ذلك الحل، يقلل التكرار، ويساعد الوكلاء الجدد على التعلم بسرعة. مزج بحث المتجه مع فلاتر الميتا داتا (خط إنتاج، لغة، نوع المشكلة، نطاق التاريخ) يحافظ على تركيز النتائج.
المتسوقون نادرًا يعرفون أسماء المنتجات الدقيقة. يبحثون بنوايا مثل "حقيبة صغيرة تستوعب لابتوب وتبدو احترافية". تلتقط التضمينات تلك التفضيلات — الأسلوب، الوظيفة، القيود — فتبدو النتائج أقرب إلى مساعد مبيعات بشري.
هذا الأسلوب يعمل في الكتالوغات، قوائم السفر، العقارات، مجال التوظيف، والأسواق. يمكنك أيضًا مزج الصلة الدلالية بقيود مهيكلة مثل السعر، الحجم، التوفر، أو الموقع.
ميزة كلاسيكية هي "إيجاد عناصر مثل هذا". إذا عرض المستخدم عنصرًا أو قرأ مقالًا أو شاهد فيديوً، يمكنك استرجاع محتوى آخر ذا معنى أو صفات مماثلة — حتى عندما لا تتطابق الفئات.
هذا مفيد ل:
داخل الشركات، تتناثر المعلومات عبر مستندات، ويكيات، ملفات PDF، وملاحظات الاجتماعات. يساعد البحث الدلالي الموظفين على طرح أسئلة طبيعية ("ما سياسة التعويض عن المؤتمرات؟") وإيجاد المصدر الصحيح.
الجزء غير القابل للتفاوض هو التحكم بالوصول. يجب أن تحترم النتائج الصلاحيات — غالبًا عبر التصفية على الفريق، مالك المستند، مستوى السرية، أو قائمة ACL — بحيث يسترجع المستخدم فقط ما يسمح له برؤيته.
إذا أردت التوسع، نفس طبقة الاسترجاع هي ما يشغل أنظمة الأسئلة والأجوبة المؤسسية المدعومة بالتأسيس (RAG).
نظام البحث الدلالي جيد بقدر خط الأنابيب الذي يغذيه. إذا وصلت المستندات بشكل غير متناسق، أو قُسِّمت بصورة سيئة، أو لم تُعاد تضمينها بعد التعديلات، فإن النتائج تنحرف عن توقعات المستخدمين.
تتبع معظم الفرق تسلسلًا قابلاً للتكرار:
خطوة "التقسيم" هي المكان الذي يكسب فيه كثيرون أو يخسرون. التقسيم بحسب البنية الطبيعية (عناوين، فقرات، أزواج سؤال/جواب) مع تداخل صغير عادةً ينجح.
المحتوى يتغير باستمرار — السياسات تُحدَّث، الأسعار تتغير، تُعيد المقالات صياغتها. اعتبر التضمينات بيانات مشتقة يجب تجديدها.
تكتيكات شائعة:
إذا خدمتك لغات متعددة، يمكنك استخدام نموذج تضمين متعدد اللغات (أبسط) أو نماذج حسب اللغة (أحيانًا جودة أعلى). إذا جربت نماذج، فعنّون تضميناتك (مثال: embedding_model=v3) لتتمكن من اختبار A/B والعودة دون كسر البحث.
قد يبدو البحث الدلالي "جيدًا" في عرض تقديمي لكنه يفشل في الإنتاج. الفارق هو القياس: تحتاج مؤشرات صلة واضحة ومتطلبات زمنية، تقاس على استعلامات شبيهة بسلوك المستخدم الحقيقي.
ابدأ بمجموعة صغيرة من المقاييس والتزم بها:
أنشئ مجموعة تقييم من:
احتفظ بمجموعة الاختبار بإصدار لتقارن عبر الإصدارات.
المقاييس خارج السجل لا تلتقط كل شيء. شغّل اختبارات A/B واجمع إشارات خفيفة الوزن:
استخدم هذه التغذية لتحديث الأحكام حول الملاءمة وكشف أنماط الفشل.
الأداء قد يتغير عندما:
أعد تشغيل مجموعة الاختبار بعد أي تغيير، راقب اتجاهات المقاييس أسبوعيًا، وضع تنبيهات للانخفاضات الحادة في MRR/nDCG أو ارتفاعات في p95.
يغيّر بحث المتجهات كيفية استرجاع البيانات، لكنه لا يجب أن يغيّر من يحق له الاطلاع. إذا كان نظامك الدلالي أو RAG "يجد" المقطع الصحيح، فقد يُرجعه عن طريق الخطأ لشخص غير مصرح — ما لم تصمم الأذونات والخصوصية في خطوة الاسترجاع.
القاعدة الأأمن بسيطة: يجب أن يسترجع المستخدم فقط ما يحق له قراءته. لا تعتمد على التطبيق لإخفاء النتائج بعد إرجاعها من قاعدة المتجه — لأن المحتوى يكون قد غادر وحدته التخزينية بالفعل.
مقاربات عملية:
تدعم كثير من قواعد المتجهات فلاتر ميتا داتا (مثال: tenant_id, department, project_id, visibility) تعمل جنبًا إلى جنب مع بحث التشابه. إن استُخدمت بشكل صحيح، فهي طريقة نظيفة لتطبيق الأذونات وقت الاسترجاع.
تفصيل مهم: تأكّد أن الفلتر إلزامي وعلى مستوى الخادم، لا منطق اختياري على جانب العميل. كن حذرًا من "انفجار الأدوار" (عدد كبير من التركيبات). إذا كان نموذج الأذونات معقدًا، فكّر في حساب "مجموعات الوصول الفعلية" مسبقًا أو استخدام خدمة تفويض مخصصة لصكّ فلتر وقت الاستعلام.
يمكن للتضمينات أن تُشفِر معنى النص الأصلي. هذا لا يكشف تلقائيًا عن PII الخام، لكنه قد يزيد المخاطر (مثل تسهيل استرجاع حقائق حساسة).
إرشادات مفيدة:
عامل فهرسك كبيانات إنتاجية:
عندما تُطبّق هذه الممارسات جيدًا، يصبح البحث الدلالي سحريًا للمستخدمين — دون أن يتحول إلى مفاجأة أمنية لاحقًا.
قد تبدو قواعد المتجهات "جاهزة للتوصيل"، لكن معظم خيبات الأمل تنتج عن الاختيارات المحيطة: كيف تقسم البيانات، أي نموذج تضمين تختار، وكيف تحافظ على كل شيء محدثًا.
التقسيم السيئ هو سبب #1 للنتائج غير الملائمة. المقاطع الكبيرة جدًا تضيف ضوضاء؛ الصغيرة جدًا تفقد السياق. إذا كان المستخدمون غالبًا يقولون "وجد المستند الصحيح لكن المقطع خاطئ"، فاستراتيجية التقسيم بحاجة لتحسين.
نموذج التضمين الخاطئ يظهر كمطابقة دلالية متكررة لكنها منحرفة — النتائج جيدة الصياغة لكنها خارج الموضوع. يحدث ذلك عندما لا يكون النموذج مناسبًا لمجالك (قانوني، طبي، تذاكر دعم) أو نوع المحتوى (جداول، كود، نص متعدد اللغات).
البيانات القديمة تقتل الثقة بسرعة: المستخدم يبحث عن سياسة حديثة ويحصل على نسخة ربع سنوية قديمة. إذا تغيّر المصدر، فيجب أن تتغيّر التضمينات والميتا داتا (والحذف يجب أن يكون حقيقيًا).
مبكرًا قد يكون لديك محتوى قليل جدًا أو استعلامات قليلة أو تغذية راجعة غير كافية لضبط الاسترجاع. خطط لـ:
التكاليف عادة تأتي من أربعة مصادر:
عند مقارنة البائعين، اطلب تقديرًا شهريًا بسيطًا باستخدام عدد المستندات المتوقع، متوسط حجم المقطع، وقدرة الطلب القصوى. كثير من المفاجآت تحدث بعد الفهرسة وخلال ارتفاعات الحركة.
استخدم هذه القائمة القصيرة لاختيار ما يناسبك:
الاختيار الجيد لا يتعلق بمتابعة أحدث نوع فهرسة، بل بالموثوقية: هل يمكنك الحفاظ على البيانات حديثة، التحكم بالوصول، والمحافظة على الجودة مع نمو المحتوى وحركة المرور؟
البحث بالكلمات يطابق الرموز الحرفية. البحث الدلالي يطابق المعنى عن طريق مقارنة التضمينات (المتجهات)، لذلك يمكنه إرجاع نتائج ملائمة حتى عندما يستخدم الاستعلام صياغة مختلفة (مثل: “stop payments” → “cancel subscription”).
قاعدة بيانات المتجهات تخزن التضمينات (مصفوفات أرقام) بالإضافة إلى معرفات وسياق (metadata)، ثم تجري عمليات بحث أقرب جار سريعة لإيجاد العناصر التي أقرب معنىً إلى الاستعلام. هي مُحسّنة لبحث التشابه على نطاق كبير (غالبًا ملايين المتجهات).
التضمين هو «بصمة» رقمية يُنتجها النموذج للمحتوى. لا تفسّر الأرقام يدويًا؛ تُستخدم لقياس التشابه.
عمليًا:
تحتوي أغلب السجلات على:
الميتا داتا تُمكّن قدرين حاسمين:
بدون ميتا داتا قد تسترجع المعنى الصحيح ولكن تعرض سياقًا خاطئًا أو تكشف محتوى مقيد.
الخياران الشائعان:
استخدم المقياس الذي تدرب النموذج عليه؛ اختيار مقياس «خطأ» يمكن أن يضعف الترتيب بشكل ملحوظ.
البحث الدقيق يقارن الاستعلام مع كل متجه، مما يصبح بطيئًا ومكلفًا عند الملايين. البحث الأقرب التقريبي (ANN) يستخدم هياكل فهرسة ذكية ليقلّص مجموعة المرشحين.
الاختيار قابل للضبط بين:
البحث الهجين يجمع بين:
غالبًا ما يكون الافتراضي الأفضل عندما يتضمن المستودع سلاسل يجب مطابقتها حرفيًا.
RAG (الاسترجاع المعزز بالتوليد) يسترجع المقاطع الملائمة من مخزونك ويمدّ النموذج بها كـ context قبل توليد الإجابة.
تدفق نموذجي:
أخطر ثلاث مشكلات:
تخفيف المخاطر: قسم المحتوى بحسب البنية، نسخه وإصدار نماذج التضمين، وافرض فلترة ميتا داتا إلزاميًا على مستوى الخادم (مثل أو حقول ACL).
title, url, tags, language, created_at, tenant_id)المتجه يوفر تشابه المعنى؛ والميتا داتا تجعل النتائج قابلة للاستخدام (تصفية، تحكم بالوصول، عرض).
tenant_id