متا تگ robots یک تگ HTML است که در تگ head کاغذ قرار میگیرد و دستورالعملهایی را به رباتها ارائه میدهد و به خزندههای موتورهای جستجو می گوید که آیا مجاز به ایندکس کردن یک صفحه میباشند یا خیر. دراین نوشتهیعلمی استارت می گوییم که Meta tag robots چیست و سپس به رسیدگی گونه های متا تگها، توضیح کامل متا تگ robots و آموزش امرها آن میپردازیم. پس تا انتهای این نوشتهی علمی، یار و همدم ما باشید.
متا تگ robots چیست؟
متا تگها بخشهایی از یک وبوبسایت میباشند که به خزندههای موتورهای جستجو کمک میکنند تا قضیه وبوبسایت شمارا فهم کنند و صفحه های آن را ایندکس کنند که به رتبه به دست آوردن سایت شما برای کلمات کلیدی بسیار اصلی هست. غرض اصلی متا تگها تمجید محتوای وبوب سایت می باشد.
متا تگهای زیادی وجود داراهستند که بعضا از آنها برای موتورهای جستجو مهم می باشند مانند متا تگ ربات (Meta tag robots) که به کمک این تگ می توانید موتورهای جستجو را برای خزش و ایندکس کردن وب سایت خود، هدایت کنید. متا تگها گونه های مختلفی دارند که با فهمیدن ویژگی هر کدام میتوانید به درستی از آن ها در وبتارنما خود استفاده فرمایید. درپی به معرفی و توضیح هرمورد می پردازیم.
متا تگ ربات
تگهای کنونیکال (Canonical Tags)
در حالتیکه در سایتی یک سری آدرس URL، یک صفحه را نمایش میدهند یا صفحات مختلف با محتوای بسیار مشابه دارید، گوگل این را به عنوان محتوای کپی شده و تکراری می شناسید و در یک کدام از این صفحه های نمیخزد؛ به این ترتیب این کاغذ هیچ ورودیای از گوگل دریافت نمیکند؛ زیرا این دو ورقه را به عنوان اسکن یکدیگر می شناسید تازمانیکه مشخص فرمایید کدام یک ورژن اساسی هست. برای تقابل با این خطا باید یک تگ کنونیکال در کدهای HTML وب سایت خود قرار دهید.
بیشتر بخوانید: تگ کنونیکال چیست؟ یادگرفتن به کار گیری از تگ canonical
نوع محتوای متا (Meta Content Type)
این متا تگ، نوع محتوا و کارکترهایی که در تارنما مصرف شده را معلوم میکند. به همین استدلال باید در آحاد صفحات تارنما استعمال شود. این متا تگ تضمین میکند که سایت شما و تمامی صفحه های آن، روی مجموع مرورگرها به صدق دیده شود و به هم نریزد.
تگهای عنوان (Title Tags)
تگهای عنوان، به بینندگان محتوا و موتورهای جستجو یاری میکنند تا بفهمند مسئله محتوای شما چیست. چیزی که درین تگ نوشته میشود در عنوان صفحه بالای مرورگر و پیشنمایش لینک و پیوند شیت در شبکههای اجتماعی قابل مشاهده می باشد. در حالتیکه که شما این تگ را به صفحات سایت اضافه نکنید، خود گوگل این شغل را جاری ساختن میدهد و بخشی از محتوا را در این تگ قرار میدهد که به درجه وب سایت شما آسیب میزند.
بیشتر بخوانید: تگ تایتل یا تگ عنوان (Title Tag) و نقش آن در بهینه سازی
متا لغت ها کلیدی (Meta Keywords)
متا کلمات کلیدی، یکی از ویژگیهای متا تگ نام (Name) میباشد که به کد آن اضافه میگردد و برای آرم دادن کلمه ها کلیدی شیت به موتورهای جستجو به عمل میرود. طبق اعلام گوگل در سال 2019 این شرکت از متا تگها دیگر در حاصل سکوبندی و الگوریتمهای سرچ استفاده نمیشوند.
متا تگ دیسکریپشن (Meta Descriptions)
این متا تگ، یک کد متنی هست که 160 کارکتر محدودیت داراست و در صفحه حاصل جستجو به کاربر نمایش داده میگردد. این متا تگ، مستقیما بر سکوبندی نتیجه ها تاثیری ندارد؛ ولی یک توضیح بهتر قادر است مخاطب را تشویق به کلیک روی سایت شما کند که همین استدلال باعث افزایش نرخ تبدیل میگردد که تاثیر مثبت روی سئوی وبسایت شما داراست.
متا تگ ربات (Robots Meta Tags)
متا تگ ربات، این قابلیت و امکان را میدهد که به روباتهای موتورهای جستجو بفهمانید که یک شیت خاص یا یک وبسایت را ایندکس نکند یا پیوندهایی که در این ورقه وجود دارااست را دنبال نکند. این تگ حاوی دستورات خاصی هست که درپی معرفی میکنیم.
اشکال دستورهای متا تگ robots
متا تگ ربات دارای مقادیر مختلفی میباشد که توسط آن ها میتوانید امرها مختلفی به موتورهای جستجو بدهید. به دنبال به تشریح این دستورها میپردازیم:
فرمان index در متا تگ robots
این دستور به موتورهای جستجو اعلام میکند که این ورقه را ایندکس کنند. اما به صورت پیش فرض، خود موتورهای جستجو این شغل را میکنند البته در حالتیکه بخواهید فقط به یک موتور جستجوی خاص اجازه دهید برگه را ایندکس کند می بایست از این دستور به کار گیری کنید.
امر noindex در متا تگ robots
برعکس دستور قبلی، این امر به موتورهای جستجو اعلام میکند که این شیت را ایندکس نکنند و در نتایج جستجوهای نمایش ندهند.
بیشتر بخوانید: تگ Noindex چیست و چه طور از آن استعمال کنیم؟
امر follow در متا تگ robots
این دستور به موتورهای جستجو اعلام میکند که پیوندهای داخل یک برگه را پیگیری کنند؛ مانند امر Index این دستور هم به صورت پیش فرض جاری ساختن میشود.
فرمان nofollow در متا تگ robots
دقیقا برعکس امر پیشین، این فرمان به موتورهای جستجو اعلام میکند که لینکهای درون یک صفحه را دنبال نکنند. البته می توانید این امر را برای فقط یک لینک در برگه هم اعلام کنید.
دستور noimageindex در متا تگ robots
به موتورهای جستجو اعلام میکند که تصاویری که در صفحه هستند را ایندکس نکنند؛ اما درحالتی که این عکس در جای دیگری لینک شده باشد موتورهای جستجو میتوانند آن را ایندکس کنند.
فرمان all در متا تگ robots
این دستور مساوی دو فرمان index و follow هست که به موتورهای جستجو اعلام میکند که این صفحه را به طور همزمان ایندکس و لینکهای آن را پیگیری کنند.
فرمان none در متا تگ robots
این دستور معادل دو دستور noindex و nofollow هست که به موتورهای جستجو اعلام میکند که این شیت را ایندکس نکنند و لینکهای موجود در آن را نیز دنبال نکنند.
دستور nosnippet در متا تگ robots
این فرمان به موتورهای جستجو اعلام میکند که متادسکریپشن این ورقه را در نتایج جستجو نشان ندهند.
فرمان nosnippet در متا تگ robots
دستور unavailable_after در متا تگ robots
به موتورهای جستجوی اعلام میکند که بعد از یک تاریخ مشخص و معلوم، دیگر این صفحه را در نتیجه ها جستجو نمایش ندهد.
دستور noarchive در متا تگ robots
این دستور به موتورهای جستجو اعلام میکند که نسخههای ذخیره شده از این شیت را در ورقه نتایج علامت ندهند.
امر nocache در متا تگ robots
این دستور شبیه به دستور noarchive است که برای موتورهای جستجوی MSN و Live به کار گیری میگردد.
دستور notranslate در متا تگ robots
این فرمان منحصر رباتهای گوگل میباشد و به آنها اعلام میکند که هیچ ترجمهای از این صفحه انجام ندهند.
دستور nositelinkssearchbox در متا تگ robots
این امر از نمایش قاب جستجو در برگه نتایج به وسیله موتورهای جستجو دوری میکند.
دستور nopagereadaloud در متا تگ robots
این دستور از قرائت اطلاعات شیت توسط ابزارهای صوتی هجران میکند و همچنین منجر میگردد این شیت در کاغذ نتایج جستجوهای صوتی نمایش داده نشود.
دستور max-snippet در متا تگ robots
با استفاده از این دستور میتوانید حداکثر تعداد کارکترهای متادیسکریپشن را معلوم فرمایید.
امر max-video-preview در متا تگ robots
این دستور حداکثر زمان یک کلیپ (به ثانیه) را برای پیش نمایش معلوم میکند.
امر rating در متا تگ robots
این امر به موتورهای جستجو اعلام میکند که محتوای شیت منحصر به فرد والاسالان میباشد.
دستور noydir در متا تگ robots
این امر به موتورهای جستجو اعلام میکند که در اسنیپت از توضیحات ورقه دایرکتوری یاهو به کارگیری نکند.
دستور noodp در متا تگ robots
به تارنماهای دایرکتوری ODP گفته میشود که از هر سایتی اطلاعات جمعآوری میکنند و ممکن می باشد در حاصل موتورهای جستجو ظاهر شوند مانند سایت dmoz. این امر اعلام میکند که وبسایتها OPD توضیحات وب سایت شمارا در حاصل جستجو نماد ندهند.
کاربرد متا تگ robots چیست؟
اولیه کاری که یک وبمستر بعد از ساخت وب سایت باید ایفا دهد، معرفی وب سایت و صفحه ها آن به موتورهای جستجو هست تا در نتایج جستجو علامت داده شود و بتواند ورودی دریافت کند. به کمک متا تگ robots میتوانید به موتورهای جستجو اعلام نمایید که میتوانند یک صفحه خاص را ایندکس کنند و یا برعکس و همچنین لینکهای باطن برگهها را پیگیری کنند یا خیر.
با دقت به توضیحاتی که ارائه دادیم، ممکن هست این پرسش ساخت شود که در صورتیکه مقصود متا تگ robots بهبود سئوی وبوب سایت می باشد، پس کاربرد دستورها نوفالو و نو ایندکس دراین متا تگ چیست و چرا باید اعلام کنیم که صفحات خاصی را ایندکس نکند؟
در پاسخ به این سوال، باید بیان کرد که ممکن است به هر دلیلی محتوایی را در وبسایت خود منتشر نمائید که نمیخواهید هرکسی به آن دسترسی داشته باشد (ولی توصیه میشود از ارائه این نوع محتواهای حساس و خصوصی بپرهیزید) دراین مورد ها می توانید با متا تگ robots آن ورقه یا پیوندها را مسدود فرمایید تا توسط گوگل ایندکس نشوند.
گاهی هم ممکن هست، بعضی صفحات شما ارزش خاصی نداشته باشند و یا میخواهید در بعدی آنانرا بهبود ببخشید و میخواهید موقتا در نتایج جستجو ظاهر نشوند. می توانید این صفحات را مسدود فرمایید تا خزندههای گوگل، صفحه های ارزشمندتر را ایندکس کنند.
Meta tag robots (چیست)
چرا Meta Tag Robots در سئو عنایت دارااست؟
اکثر متا تگهایی که در وبسایت استفاده میشوند روی seo تارنما شما اثرگذار هستند. نرم افزارنویسان و وبمسترها با استفاده از این متا تگها، اوامر مهمی را به موتورهای جستجو میدهند که سبب میشوند سئوی وب سایت بهبود یابد. متا تگ robots یکی تگهایی می باشد که روی سئوی داخلی تاثیر فراوانی دارد و بهتر هست به آن دقت شود.
یکیاز کارهای مهمی که می بایست برای صفحه های وب سایت خود ایفا دهید، این هست که مشخص نمائید کدام یک از آنها بها کمتری داراهستند و نباید توسط رباتهای گوگل ایندکس شوند. براین اساس صرفا صفحاتی در حاصل جستجو نمایش داده میگردند که قیمت بیشتری داشته و میتوانند مخاطب بیشتری جذب وب سایت شما کنند و همچنین Crawl Demand یا درخواست خزیدن وبسایت شما افزایش پیدا میکند.
نحوه استعمال از متا تگ robots
برای استفاده از متا تگ robots میتوانید از طریق نصیب Head سایت دستورات را وارد فرمائید. به این نکته دقت کنید که به صورت پیشفرض صفحه ها و لینک و پیوندهای باطن آن ها توسط موتورهای جستجو ایندکس و فالو می گردند و فقط چنانچه نیاز به وارد کردن این دستورات دارید که میخواهید دستور نوایندکس و نوفالو را بدهید یا قبلا وارد کرده بودید و میخواهید به ایندکس و فالو تغییرو تحول دهید.
برای وارد کردن دستور نوفالو در متا تگ Robots کد ذیل را در نصیب Head صفحه قرار دهید:
چنانچه تنها میخواهید که رباتهای گوگل از ایندکس کردن این شیت خودداری کنند میتوانید کد بالا را به صورت زیر وارد فرمائید:
اگر میخواهید کاغذ شما ایندکس نشود البته لینکهای آن فالو شوند دستور زیر را وارد کنید:
درصورتیکه می خواهید کاغذ شما ایندکس شود ولی لینکهای آن فالو نشوند، امر زیر را وارد فرمایید:
و در شرایطیکه می خواهید هم دستور نوایندکس و هم نوفالو را صادر فرمائید کد زیر را وارد نمایید:
در تارنماهای وردپرسی نیز میتوانید با افزونه yoast بهینه سازی به راحتی این اوامر را وارد فرمایید. کافی می باشد هنگام اضافه کردن پست، به بخش ذیل شیت بروید و از قسمت تنظیمات، تغییرات مدنظر خود را انجام فرمایید.
البته این بخش فقط برای یکی از صفحات است. در صورتیکه میخواهید تنظیمات کلی متا تگ robots را تغییر دهید به نصیب عنوانها و متاها بروید و در بخشهای طبقهبندی، بایگانیها و... میتوانید تنظیمات روبات متا را روی شرایط index یا noindex تنظیم فرمائید.
X-Robots-Tag چیست؟
یک شیوه جایگزین برای کنترل چگونگی خزیدن و حالت ایندکس صفحات سایت شما در موتورهای جستجو، به کارگیری از برچسب x-robots بهجای برچسبهای رباتهای متا است. درحالیکه به کار گیری از برچسبهای رباتهای متا در صفحه های HTML نسبتاً ساده می باشد، برچسب x-robots کمی پیچیدهتر هستند. در حالتی که می خواهید روش مدیریت محتوای غیر HTML، بهعنوانمثال PDF را در اختیار گرفتن نمایید، باید از برچسب x-robots استفاده نمائید. اینیک پاسخ هدر HTTP میباشد که میتواند بهجای یک برچسب HTML و هر دستورالعملی بهعنوان یک برچسب ربات متا استفاده شود همچنین قادر است بهعنوان یک برچسب x-robots استعمال شود. برای استعمال از برچسب x-robots، باید بتوانید به header .php, .htaccess یا فایل تنظیمات سرور وبسایت خود دسترسی پیدا نمایید.
x-robots-tag: noindex, nofollow
از برچسب x-robots به کارگیری فرمایید زمانی که:
زمانی که میخواهید شیوه خزیدن و فهرست بندی انواع فایلهای غیر HTML به وسیله موتورهای جستجو را کنترل نمایید
وقتی که باید راهبردها را روی تمام سایت و نه در هر کاغذ تنظیم نمائید
متا تگ robots یک تگ HTML است که در تگ head کاغذ قرار میگیرد و دستورالعملهایی را به رباتها ارائه میدهد و به خزندههای موتورهای جستجو می گوید که آیا مجاز به ایندکس کردن یک صفحه میباشند یا خیر. دراین نوشتهیعلمی استارت می گوییم که Meta tag robots چیست و سپس به رسیدگی گونه های متا تگها، توضیح کامل متا تگ robots و آموزش امرها آن میپردازیم. پس تا انتهای این نوشتهی علمی، یار و همدم ما باشید.
متا تگ robots چیست؟
متا تگها بخشهایی از یک وبوبسایت میباشند که به خزندههای موتورهای جستجو کمک میکنند تا قضیه وبوبسایت شمارا فهم کنند و صفحه های آن را ایندکس کنند که به رتبه به دست آوردن سایت شما برای کلمات کلیدی بسیار اصلی هست. غرض اصلی متا تگها تمجید محتوای وبوب سایت می باشد.
متا تگهای زیادی وجود داراهستند که بعضا از آنها برای موتورهای جستجو مهم می باشند مانند متا تگ ربات (Meta tag robots) که به کمک این تگ می توانید موتورهای جستجو را برای خزش و ایندکس کردن وب سایت خود، هدایت کنید. متا تگها گونه های مختلفی دارند که با فهمیدن ویژگی هر کدام میتوانید به درستی از آن ها در وبتارنما خود استفاده فرمایید. درپی به معرفی و توضیح هرمورد می پردازیم.
متا تگ ربات
تگهای کنونیکال (Canonical Tags)
در حالتیکه در سایتی یک سری آدرس URL، یک صفحه را نمایش میدهند یا صفحات مختلف با محتوای بسیار مشابه دارید، گوگل این را به عنوان محتوای کپی شده و تکراری می شناسید و در یک کدام از این صفحه های نمیخزد؛ به این ترتیب این کاغذ هیچ ورودیای از گوگل دریافت نمیکند؛ زیرا این دو ورقه را به عنوان اسکن یکدیگر می شناسید تازمانیکه مشخص فرمایید کدام یک ورژن اساسی هست. برای تقابل با این خطا باید یک تگ کنونیکال در کدهای HTML وب سایت خود قرار دهید.
بیشتر بخوانید: تگ کنونیکال چیست؟ یادگرفتن به کار گیری از تگ canonical
نوع محتوای متا (Meta Content Type)
این متا تگ، نوع محتوا و کارکترهایی که در تارنما مصرف شده را معلوم میکند. به همین استدلال باید در آحاد صفحات تارنما استعمال شود. این متا تگ تضمین میکند که سایت شما و تمامی صفحه های آن، روی مجموع مرورگرها به صدق دیده شود و به هم نریزد.
تگهای عنوان (Title Tags)
تگهای عنوان، به بینندگان محتوا و موتورهای جستجو یاری میکنند تا بفهمند مسئله محتوای شما چیست. چیزی که درین تگ نوشته میشود در عنوان صفحه بالای مرورگر و پیشنمایش لینک و پیوند شیت در شبکههای اجتماعی قابل مشاهده می باشد. در حالتیکه که شما این تگ را به صفحات سایت اضافه نکنید، خود گوگل این شغل را جاری ساختن میدهد و بخشی از محتوا را در این تگ قرار میدهد که به درجه وب سایت شما آسیب میزند.
بیشتر بخوانید: تگ تایتل یا تگ عنوان (Title Tag) و نقش آن در بهینه سازی
متا لغت ها کلیدی (Meta Keywords)
متا کلمات کلیدی، یکی از ویژگیهای متا تگ نام (Name) میباشد که به کد آن اضافه میگردد و برای آرم دادن کلمه ها کلیدی شیت به موتورهای جستجو به عمل میرود. طبق اعلام گوگل در سال 2019 این شرکت از متا تگها دیگر در حاصل سکوبندی و الگوریتمهای سرچ استفاده نمیشوند.
متا تگ دیسکریپشن (Meta Descriptions)
این متا تگ، یک کد متنی هست که 160 کارکتر محدودیت داراست و در صفحه حاصل جستجو به کاربر نمایش داده میگردد. این متا تگ، مستقیما بر سکوبندی نتیجه ها تاثیری ندارد؛ ولی یک توضیح بهتر قادر است مخاطب را تشویق به کلیک روی سایت شما کند که همین استدلال باعث افزایش نرخ تبدیل میگردد که تاثیر مثبت روی سئوی وبسایت شما داراست.
متا تگ ربات (Robots Meta Tags)
متا تگ ربات، این قابلیت و امکان را میدهد که به روباتهای موتورهای جستجو بفهمانید که یک شیت خاص یا یک وبسایت را ایندکس نکند یا پیوندهایی که در این ورقه وجود دارااست را دنبال نکند. این تگ حاوی دستورات خاصی هست که درپی معرفی میکنیم.
اشکال دستورهای متا تگ robots
متا تگ ربات دارای مقادیر مختلفی میباشد که توسط آن ها میتوانید امرها مختلفی به موتورهای جستجو بدهید. به دنبال به تشریح این دستورها میپردازیم:
فرمان index در متا تگ robots
این دستور به موتورهای جستجو اعلام میکند که این ورقه را ایندکس کنند. اما به صورت پیش فرض، خود موتورهای جستجو این شغل را میکنند البته در حالتیکه بخواهید فقط به یک موتور جستجوی خاص اجازه دهید برگه را ایندکس کند می بایست از این دستور به کار گیری کنید.
امر noindex در متا تگ robots
برعکس دستور قبلی، این امر به موتورهای جستجو اعلام میکند که این شیت را ایندکس نکنند و در نتایج جستجوهای نمایش ندهند.
بیشتر بخوانید: تگ Noindex چیست و چه طور از آن استعمال کنیم؟
امر follow در متا تگ robots
این دستور به موتورهای جستجو اعلام میکند که پیوندهای داخل یک برگه را پیگیری کنند؛ مانند امر Index این دستور هم به صورت پیش فرض جاری ساختن میشود.
فرمان nofollow در متا تگ robots
دقیقا برعکس امر پیشین، این فرمان به موتورهای جستجو اعلام میکند که لینکهای درون یک صفحه را دنبال نکنند. البته می توانید این امر را برای فقط یک لینک در برگه هم اعلام کنید.
دستور noimageindex در متا تگ robots
به موتورهای جستجو اعلام میکند که تصاویری که در صفحه هستند را ایندکس نکنند؛ اما درحالتی که این عکس در جای دیگری لینک شده باشد موتورهای جستجو میتوانند آن را ایندکس کنند.
فرمان all در متا تگ robots
این دستور مساوی دو فرمان index و follow هست که به موتورهای جستجو اعلام میکند که این صفحه را به طور همزمان ایندکس و لینکهای آن را پیگیری کنند.
فرمان none در متا تگ robots
این دستور معادل دو دستور noindex و nofollow هست که به موتورهای جستجو اعلام میکند که این شیت را ایندکس نکنند و لینکهای موجود در آن را نیز دنبال نکنند.
دستور nosnippet در متا تگ robots
این فرمان به موتورهای جستجو اعلام میکند که متادسکریپشن این ورقه را در نتایج جستجو نشان ندهند.
فرمان nosnippet در متا تگ robots
دستور unavailable_after در متا تگ robots
به موتورهای جستجوی اعلام میکند که بعد از یک تاریخ مشخص و معلوم، دیگر این صفحه را در نتیجه ها جستجو نمایش ندهد.
دستور noarchive در متا تگ robots
این دستور به موتورهای جستجو اعلام میکند که نسخههای ذخیره شده از این شیت را در ورقه نتایج علامت ندهند.
امر nocache در متا تگ robots
این دستور شبیه به دستور noarchive است که برای موتورهای جستجوی MSN و Live به کار گیری میگردد.
دستور notranslate در متا تگ robots
این فرمان منحصر رباتهای گوگل میباشد و به آنها اعلام میکند که هیچ ترجمهای از این صفحه انجام ندهند.
دستور nositelinkssearchbox در متا تگ robots
این امر از نمایش قاب جستجو در برگه نتایج به وسیله موتورهای جستجو دوری میکند.
دستور nopagereadaloud در متا تگ robots
این دستور از قرائت اطلاعات شیت توسط ابزارهای صوتی هجران میکند و همچنین منجر میگردد این شیت در کاغذ نتایج جستجوهای صوتی نمایش داده نشود.
دستور max-snippet در متا تگ robots
با استفاده از این دستور میتوانید حداکثر تعداد کارکترهای متادیسکریپشن را معلوم فرمایید.
امر max-video-preview در متا تگ robots
این دستور حداکثر زمان یک کلیپ (به ثانیه) را برای پیش نمایش معلوم میکند.
امر rating در متا تگ robots
این امر به موتورهای جستجو اعلام میکند که محتوای شیت منحصر به فرد والاسالان میباشد.
دستور noydir در متا تگ robots
این امر به موتورهای جستجو اعلام میکند که در اسنیپت از توضیحات ورقه دایرکتوری یاهو به کارگیری نکند.
دستور noodp در متا تگ robots
به تارنماهای دایرکتوری ODP گفته میشود که از هر سایتی اطلاعات جمعآوری میکنند و ممکن می باشد در حاصل موتورهای جستجو ظاهر شوند مانند سایت dmoz. این امر اعلام میکند که وبسایتها OPD توضیحات وب سایت شمارا در حاصل جستجو نماد ندهند.
کاربرد متا تگ robots چیست؟
اولیه کاری که یک وبمستر بعد از ساخت وب سایت باید ایفا دهد، معرفی وب سایت و صفحه ها آن به موتورهای جستجو هست تا در نتایج جستجو علامت داده شود و بتواند ورودی دریافت کند. به کمک متا تگ robots میتوانید به موتورهای جستجو اعلام نمایید که میتوانند یک صفحه خاص را ایندکس کنند و یا برعکس و همچنین لینکهای باطن برگهها را پیگیری کنند یا خیر.
با دقت به توضیحاتی که ارائه دادیم، ممکن هست این پرسش ساخت شود که در صورتیکه مقصود متا تگ robots بهبود سئوی وبوب سایت می باشد، پس کاربرد دستورها نوفالو و نو ایندکس دراین متا تگ چیست و چرا باید اعلام کنیم که صفحات خاصی را ایندکس نکند؟
در پاسخ به این سوال، باید بیان کرد که ممکن است به هر دلیلی محتوایی را در وبسایت خود منتشر نمائید که نمیخواهید هرکسی به آن دسترسی داشته باشد (ولی توصیه میشود از ارائه این نوع محتواهای حساس و خصوصی بپرهیزید) دراین مورد ها می توانید با متا تگ robots آن ورقه یا پیوندها را مسدود فرمایید تا توسط گوگل ایندکس نشوند.
گاهی هم ممکن هست، بعضی صفحات شما ارزش خاصی نداشته باشند و یا میخواهید در بعدی آنانرا بهبود ببخشید و میخواهید موقتا در نتایج جستجو ظاهر نشوند. می توانید این صفحات را مسدود فرمایید تا خزندههای گوگل، صفحه های ارزشمندتر را ایندکس کنند.
Meta tag robots (چیست)
چرا Meta Tag Robots در سئو عنایت دارااست؟
اکثر متا تگهایی که در وبسایت استفاده میشوند روی seo تارنما شما اثرگذار هستند. نرم افزارنویسان و وبمسترها با استفاده از این متا تگها، اوامر مهمی را به موتورهای جستجو میدهند که سبب میشوند سئوی وب سایت بهبود یابد. متا تگ robots یکی تگهایی می باشد که روی سئوی داخلی تاثیر فراوانی دارد و بهتر هست به آن دقت شود.
یکیاز کارهای مهمی که می بایست برای صفحه های وب سایت خود ایفا دهید، این هست که مشخص نمائید کدام یک از آنها بها کمتری داراهستند و نباید توسط رباتهای گوگل ایندکس شوند. براین اساس صرفا صفحاتی در حاصل جستجو نمایش داده میگردند که قیمت بیشتری داشته و میتوانند مخاطب بیشتری جذب وب سایت شما کنند و همچنین Crawl Demand یا درخواست خزیدن وبسایت شما افزایش پیدا میکند.
نحوه استعمال از متا تگ robots
برای استفاده از متا تگ robots میتوانید از طریق نصیب Head سایت دستورات را وارد فرمائید. به این نکته دقت کنید که به صورت پیشفرض صفحه ها و لینک و پیوندهای باطن آن ها توسط موتورهای جستجو ایندکس و فالو می گردند و فقط چنانچه نیاز به وارد کردن این دستورات دارید که میخواهید دستور نوایندکس و نوفالو را بدهید یا قبلا وارد کرده بودید و میخواهید به ایندکس و فالو تغییرو تحول دهید.
برای وارد کردن دستور نوفالو در متا تگ Robots کد ذیل را در نصیب Head صفحه قرار دهید:
چنانچه تنها میخواهید که رباتهای گوگل از ایندکس کردن این شیت خودداری کنند میتوانید کد بالا را به صورت زیر وارد فرمائید:
اگر میخواهید کاغذ شما ایندکس نشود البته لینکهای آن فالو شوند دستور زیر را وارد کنید:
درصورتیکه می خواهید کاغذ شما ایندکس شود ولی لینکهای آن فالو نشوند، امر زیر را وارد فرمایید:
و در شرایطیکه می خواهید هم دستور نوایندکس و هم نوفالو را صادر فرمائید کد زیر را وارد نمایید:
در تارنماهای وردپرسی نیز میتوانید با افزونه yoast بهینه سازی به راحتی این اوامر را وارد فرمایید. کافی می باشد هنگام اضافه کردن پست، به بخش ذیل شیت بروید و از قسمت تنظیمات، تغییرات مدنظر خود را انجام فرمایید.
البته این بخش فقط برای یکی از صفحات است. در صورتیکه میخواهید تنظیمات کلی متا تگ robots را تغییر دهید به نصیب عنوانها و متاها بروید و در بخشهای طبقهبندی، بایگانیها و... میتوانید تنظیمات روبات متا را روی شرایط index یا noindex تنظیم فرمائید.
X-Robots-Tag چیست؟
یک شیوه جایگزین برای کنترل چگونگی خزیدن و حالت ایندکس صفحات سایت شما در موتورهای جستجو، به کارگیری از برچسب x-robots بهجای برچسبهای رباتهای متا است. درحالیکه به کار گیری از برچسبهای رباتهای متا در صفحه های HTML نسبتاً ساده می باشد، برچسب x-robots کمی پیچیدهتر هستند. در حالتی که می خواهید روش مدیریت محتوای غیر HTML، بهعنوانمثال PDF را در اختیار گرفتن نمایید، باید از برچسب x-robots استفاده نمائید. اینیک پاسخ هدر HTTP میباشد که میتواند بهجای یک برچسب HTML و هر دستورالعملی بهعنوان یک برچسب ربات متا استفاده شود همچنین قادر است بهعنوان یک برچسب x-robots استعمال شود. برای استعمال از برچسب x-robots، باید بتوانید به header .php, .htaccess یا فایل تنظیمات سرور وبسایت خود دسترسی پیدا نمایید.
x-robots-tag: noindex, nofollow
از برچسب x-robots به کارگیری فرمایید زمانی که:
زمانی که میخواهید شیوه خزیدن و فهرست بندی انواع فایلهای غیر HTML به وسیله موتورهای جستجو را کنترل نمایید
وقتی که باید راهبردها را روی تمام سایت و نه در هر کاغذ تنظیم نمائید

راهنمایی برای بهبود نمره سئو با استفاده از تحلیلهای سرچ کنسول