عادة لا تفهم عناكب البحث والخوارزميات التقليدية مضمون المحتوى غير النصي، لذا تطور الشركات تقنيات ذكاء اصطناعي للقيام بهذه المهمة، وهنا تختلف إمكانيات الشركات، وشركة فيس بوك من كبرى الجهات التي تستثمر بالمجال، وأصبحت تقنياتها أفضل بمراحل عن السابق.
استخدمت فيس بوك نموذج ذكاء اصطناعي يدعى النص البديل التلقائي AAT منذ عام 2016، والآن مع تحسين قدراته أصبح أفضل بعشر مرات عن بداياته في التعرف على محتوى الصور، خاصة في التفاصيل الدقيقة.
على سبيل المثال يمكن أن يعرف النظام إن كانت الصورة تحوي أحد المشاهير وماذا يفعل وحتى الأشياء كالقبعات وآلات العزف وغيرها في الصورة. فلو عرضت لهم صورة فرقة موسيقية يمكنه معرفة ليس فقط عدد الأشخاص وماذا يرتدون، بل ما هي الآلات التي يعزفون عليها وعددها.
يمكن لنظام فيس بوك التعرف على المعالم الطبيعية الشهيرة وأنواع الحيوانات في الصور، كذلك إن كان الأشخاص في مقدمة الصورة أم في الخلفية.
استخدمت الشركة الصور المنشورة في حسابات عامة على انستجرام مع الوصف النصي المرفق بها والهاشتاغ في تدريب أنظمة الذكاء الاصطناعي ونماذجها لتحسين دقة التعرف على محتواها. حتى أن النظام أصبح يميز لون البشر والسياق الثقافي مثل المناسبات والأعياد.