رفع مشکل محتوای تکراری با چند ترفند عالی و امتحان شده

محتوای تکراری، محتواییه که در بیشتر از یه مکان تو اینترنت ظاهر میشه، منظورمون از یه مکان یه آدرس وبسایت منحصر به فرد یا URL است، پس اگه یه محتوا تو دو تا آدرس سایت ظاهر بشه یعنی یکی از اونها کپی شده است! پس در حقیقت یعنی ما با یه مشکل روبرو هستیم! حالا نحوه رفع مشکل محتوای تکراری چطوریه؟ آیا این محتوا تاثیری روی سئو سایت میذاره؟

باید بگم اگرچه از نظر فنی مجازاتی برای این کار در نظر گرفته نشده، اما میتونه روی رتبه بندی‌های موتورهای جستجو تاثیر بذاره. در واقع وقتی گوگل با چندتا محتوای مشابه روبرو میشه نمیتونه تصمیم بگیره که کدوم یکی با جستجوی انجام شده، مرتبط‌تره، اینطوری ممکنه اعتبار یه محتوای اصلی به جایی این که به خودش تعلق بگیره برای یه محتوای کپی شده باشه!

حالا بریم ببینبیم این محتوا چیه و چطوری میشه از شر ضررهایی که داره خلاص بشیم:

چرا محتوای تکراری اهمیت داره؟

محتوای تکراری از چند نظر مهمه و برای همین هم ما امروز تصمیم گرفتیم دنبال آموزش‌هایی برای رفع مشکل Duplicate Content باشیم، اما خب اول لازمه بدونین اینطور محتواها چه اهمیتی دارن؟

برای موتورهای جستجو

محتوای تکراری میتونه سه تا مسئله اصلی برای موتورهای جستجو ارائه بده:

• اونها نمی‌دونن که کدوم نسخه باید حذف بشه و کدوم بمونه!
• اونها نمیدونن که آیا متریک‌های لینک (اعتبار قابل قبول، انکر تکست، کیفیت لینک و غیره) رو به یه صفحه هدایت کنن یا اونها رو بین نسخه‌های مختلف پخش کنن.
• اونها نمیدونن کدوم نسخه و برای نتایج کوئری رتبه بندی کنن.

برای صاحبان سایت

هنگامی که محتوای تکراری وجود داشته باشه، صاحب سایت ممکنه از لحاظ رتبه و ترافیک یه ضرری رو متحمل بشه. این تلفات اغلب بخاطر دوتا مشکل اصلی به وجود میان:

• برای ارائه بهترین تجربه جستجو، موتورهای جستجو به ندرت چندین نسخه از همون محتوا رو نشون میدن و بنابراین مجبور میشن اونی که از همه بهتره رو انتخاب کنن.
• کیفیت لینک میتونه بین سایت های دیگه‌ای که همین محتوا رو دارن پخش بشه، لینک های ورودی هم به جای این که مخصوص یه قطعه از محتوا باشن مال چند قطعه محتوا میشن. از اونجایی که این لینک های ورودی یه عامل مهم رتبه بندی به حساب میان، میتونن روی نمایش اون تیکه از محتوای شما تاثیر زیادی بذارن!

پس برای همینه که ما میخوایم تلاش کنیم تا با روش‌هایی باعث رفع مشکل محتوای تکراری بشیم.

مشکل محتوای تکراری چطوری اتفاق میفته؟

در اکثر موارد صاحبان وبسایت، عمداً محتوای تکراری ایجاد نمیکنن. اما این به این معنی نیست که پس لابد محتوای تکراری خیلی کم ایجاد میشه! خیر این یه خیال باطله! راستش رو بخواین حدود ۲۹ درصد از سایت ها محتوای تکراری دارن!

پس واجب شد که بدونیم این محتوا چطوری به وجود میاد و برای رفع مشکل محتوای تکراری باید چیکار کرد!

۱. تغییرات URL

پارامترهای URL مانند ردیابی کلیک و برخی از کدهای تحلیلی، میتونن باعث به وجود اومدن مشکل محتوای تکراری یا همون Duplicate Content بشن. این مشکل میتونه چیزی باشه که نه تنها توسط خود پارامترها ایجاد میشه بلکه ترتیب این پارامترها در URL هم باعث این مشکل میشن.

برای مثال به URL زیر نگاه کنین:

• www.widgets.com/blue-widgets?c… تکرار شده از  www.widgets.com/blue-widgets?c…&cat=3″ class=”redactor-autoparser-object”>www.widgets.com/blue-widgets است و این هم تکرار شده این www.widgets.com/blue-widgets?cat=3&color=blue است.

به طور مشابه نشست های ID باعث تولید محتوای تکراری میشن. این اتفاق وقتی میفته که یه کاربری از یه وبسایت بازدید میکنه و برای اون کاربر یه نشست ID جداگونه در URL ذخیره میشه!

نسخه های Printer-Friendly هم وقتی نسخه‌های چندگانه‌ای ازشون ایندکس میشه، میتونن باعث بروز مشکل محتوای تکراری بشن.

یه چیزی که بهتره همین الان در موردش بدونین اینه که از اضافه کردن پارامترهای URL یا ورژ‌ن‌های فرعی URL ها خودداری کنین.

۲. صفحات HTTP در مقابل HTTPS یا صفحات WWW در مقابل non-WWW

اگه سایت شما دارای نسخه‌های جداگونه در www.site.com و site.com است و همون محتوا تو هر دوتا نسخه وجود داره، شما خودتون نسخه تکراری از یه محتوا رو تولید کردین. این اتفاق درباره صفحاتی با HTTP و HTTPS هم صدق میکنه.

حالا اگه هر دوی این مدل صفحات زنده باشن و برای موتورهای جستجو قابل مشاهده باشن، ممکنه مجبور بشین برای رفع محتوای تکراری آستین بالا بزنین!

۳. محتوای کپی شده

محتوا فقط پست های وبلاگی یا محتوای مقاله‌ای نیست بلکه صفحات اطلاعات مربوط به یه محصول رو هم در بر میگیره. اسکرابرهایی که محتوای شما رو مجدداً در سایت خودشون منتشر میکنن یکی از رایج‌ترین دلایل اتفاق افتادن مشکل محتوای Duplicate است.

این مشکل برای سایت هایی که یه محصول رو میفروشن خیلی بیشتره چون اگه اونها اطلاعات یه سایت در مورد محصولی رو کپی کنن، کلی نسخه از اون محتوا به وجود میاد.

نحوه رفع مشکل محتوای تکراری

روش‌های رفع مشکل محتوای تکراری همشون نهایتاً به یه ایده اصلی میسرن و اون تعیین نسخه صحیح است!

هر وقت که محتوای یه سایت در چندین URL پیدا میشه، باید برای موتورهای جستجو کانونیکالیزه بشه!! بیایین به این سه تا روشی که برای رفع مشکل محتوای تکراری براتون آمداه کردیم، نگاهی بندازیم.

• استفاده از ریدایرکت ۳۰۱ برای تصحیح کردن URL ها
• ویژگی rel=canonical
• استفاده از ابزار سرچ کنسول گوگل

۱. ریدایرکت ۳۰۱ و رفع مشکل محتوای تکراری

در بسیاری از موارد بهترین راه برای رفع مشکل محتوای تکراری، تنظیم یه ریدایرکت ۳۰۱ از صفحه تکراری به صفحه اصلی است.

وقتی چندتا صفحه با پتانسیل رتبه بندی خوب در یه صفحه واحد قرار میگیرن، نه تنها رقابت بینشون تموم میشه بلکه سیگنال ارتباطی و محبوبیت بیشتری هم کسب میکنن و یه تاثیر مثبت بر توانایی صفحه برای رتبه بندی خوب میذارن.

۲. rel=Canonical و رفع مشکل محتوای تکراری

این مورد یه گزینه دیگه برای رفع مشکل محتوای تکراری استفاده از ویژگی rel=canonical است این ویژگی به موتورهای جستجو میگه که با فلان پیج باید طوری رفتار بشه که انگار یه کپی از یه URL خاصه و همه لینک ها، معیارهای محتوا و کلاً قدرت رتبه بندی که موتورهای جستجو به این صفحات میدن باید برای URL اصلی هم به حساب بیان!

ویژگی rel=canonical بخشی از هد HTML یه صفحه وب است و شبیه زیره:

<head>...[other code that might be in your document's HTML head]...<link href="URL OF ORIGINAL PAGE" rel="canonical" />...[other code that might be in your document's HTML head]...</head>

این ویژگی باید به قسمت HTML هر نسخه کپی شده از یه صفحه اضافه بشه و قسمت URL OF ORIGINAL PAGE در بالا با پیوند در صفحه اصلی جایگزین بشه.

این ویژگی تقریباً همون مقدار از لینک (قدرت رتبه بندی) رو به عنوان یه ریدایرکت ۳۰۱ عبور میده و به دلیل اجرای اون در سطح صفحه (به جای سرور)، اغلب زمان توسعه و پیاده سازی کمتری میگیره.

در زیر نمونه‌ای از این کانونیکال ها رو میبینین که در عمل به چه صورت هستن:

تو این تصویر ما میبینیم که BuzzFeed از ویژگی‌های rel=canonical استفاده میکنه تا از تطبیق پارامترهای URL استفاده کنه (تو این مورد منظورمون ردیابی لینک هاست).

اگرچه این صفحه توسط دوتا آدرس اینترنتی قابل دستیبابی است، اما ویژگی rel=canonical اطمینان میده که کلیه حقوق صاحبان سهام و معیارهای محتوا (رتبه، بک لینک و غیره) به صفحه اصلی تعلق دارن و با این حساب باعث رفع مشکل محتوای تکراری میشن.

۳. متا ربات‌های Noindex

یکی از متا تگ هایی که میتونه برای رفع مشکل محتوای تکراری مناسب باشه، استفاده از متا ربات‌ها موقع وارد کردن مقادیر noindex است که معمولاً به متا Noindex معروفن و از لحاظ فنی به عنوان “content=”noindex,follow شناخته میشن. این ربات های متا تگ میتونن به هد HTML از هر صفحه‌ای که باید از فهرست موتور جستجو حذف بشه، اضافه بشن.

فرمت معمول اونها به شکل زیره:

<head>…[other code that might be in your document’s HTML head]…<meta name=”robots” content=”noindex,follow”>…[other code that might be in your document’s HTML head]…</head>

ربات های متا تگ به موتورهای جستجو اجازه میدن لینک ها رو در صفحه کراول کنن اما اونها رو از گنجوندن این لینک ها در شاخص‌های خودشون بازمیدارن. نکته مهم اینه که محتوای تکراری یا صفحه‌ای که شامل این محتواست هنوز هم میتونه خزیده بشه حتی اگه به گوگل بگین این صفحه رو ایندکس نکن. زیرا گوگل خیلی محتاطانه با خزیده شدن محتوای تکراری در یه وبسایت برخورد میکنه (موتورهای جستجو عاشق این هستن که وقتی یه اروری تو کدها قرار دادین، همه چی رو ببینن در واقع این بهشون اجازه میده تا در شرایطی غیر مبهم “Judgment Call” ایجاد کنن).

پس در کل بدونین که استفاده از این ربات ها میتونه یه روش خوب برای رفع مشکل Duplicate Content در صفحه بندی باشه.

رسیدگی به Preferred domain و پارامترها در کنسول جستجوی گوگل

شما با استفاده از کنسول جستجوی گوگل میتونین دامنه مورد نظر سایت خودتون رو تنظیم کنین (مثلاً http://yoursite.com به جای http://www.yoursite.com) و مشخص کنین که آیا ربات های گوگل باید پارامترهای مختلف URL رو به صورت متفاوتی کراول کنه (رسیدگی به پارامترها).

بسته به ساختار URL شما و علت مشکل محتوای تکراری تنظیم یا مدیریت دامنه یا پارامترهای دلخواه، ممکنه یه راه حلی برای رفع مشکل محتوای تکراری ارائه بده.

اصلی‌ترین اشکال استفاده از پردازش پارامتر به عنوان روش اصلی شما برای مقابله با Duplicate Content اینه که تغییراتی که ایجاد میکنین فقط برای گوگل جواب میده!! هر قانونی که با استفاده از کنسول جستجوی گوگل وضع شده باشه، تاثیری در نحوه تفسیر بینگ یا هر خزنده موتور جستجوی دیگه‌ای از سایت شما نداره.

پس در واقع شما باید علاوه بر تنظیم کنسول جستجوی گوگل از سایر ابزار وب مستر برای بقیه موتورهای جستجو استفاده کنین!

چند متد اضافی برای رفع مشکل محتوای تکراری

خب حالا بهتره یه سری روش اضافه رو به صورت خلاصه و سریع برای حل مشکل محتوای تکراری در اختیارتون بذاریم:

۱. هنگام پیوند داخلی در سراسر وبسایت، انسجام خودتون رو حفظ کنین؛ اگه بخوایم با یه مثال براتون بگیم یعنی یه وبمستر مشخص کنه که نسخه کانونی یه دامنه weww.example.com است پس کلیه لینک های داخلی به جای http://example.com باید به http://www.example.com مراجعه کنن!

۲. برای اضافه کردن امنیت بیشتر در برابر اکسپرس محتوا که اعتبار سئو رو برای محتوای خودش به سرقت میبره، اضافه کردن یه self-referential rel=canonical link به سایت موجود شما، عاقلانه است. این یه ویژگی معمولیه که به URL ی که قبلاً در اون قرار داشته اشاره میکنه، در واقع این نکته‌ای برای خنثی کردن تلاش‌های اسکرابرها و رفع مشکل محتوای تکراری است.

یه self-referential rel=canonical link: بهتره بدونین که URL مشخص شده درrel=canonical همون URL پیج فعلیه!

درسته که همه اسکرابرها کد کامل HTML از منابع خودشون رو منتقل نمیکنن، بعضی‌هاشون این کار رو انجام میدن! برای کسایی که این کار رو انجام میدن، تگ self-referential rel=canonical کاری میکنه که وبسایت شما رو به عنوان سایت اصلی و اورجینال محتوا معتبر میکنه!

این هم از روش‌هایی که میتونین برای رفع مشکل محتوای تکراری ازشون استفاده کنین و سایت اصلی خودتون و اعتبار محتوا رو حفظ کنین، در واقع هدف ما از این مقاله این بود که اولاً متوجه بشبن محتوای تکراری فقط کار آدم‌های بد و رقیبای شما نیست بلکه میتونه توسط خودتون هم ایجاد بشه، دوماً این که فرقی نداره این کار رو چه کسی انجام داده مهم اینه که یاد بگیرین چطوری باهاش مقابله کنین و محتوای اصلی رو به گوگل معرفی کنین!

حالا نوبت شماست که به ما بگین آیا تا حالا با همچین مشکلی روبرو شدین؟ برای حل اون از چه روشی استفاده کردین؟ لطفاً تجارب و سوالات خودتون در رابطه با این موضوع رو با ما به اشتراک بذارین.