"Дубльований контент": коли зміст показується багаторазово на різних сторінках на і поза Вашого сайту, і пошукачі не знають яке місце розташування показати. Особливо, коли люди починають посилатися на всі версії контенту, проблема стає ще більше. Ця стаття призначається для Вас, щоб зрозуміти різні причини виникнення подвійного контенту і знайти рішення для кожного з них. Ви можете порівняти це з перебуванням на перехресті, коли дорожні знаки вказують у різні напрямки для одного і того ж кінцевого пункту: яку дорогу Ви повинні вибрати? І тепер, щоб зробити ще "гірше", кінцеві точки відрізняються також, але лише дуже небагато. Як читач, Ви не заперечуєте: Ви отримуєте зміст, за яким прийшли. Але пошукова система повинна вибрати, який показати в результатах пошуку, оскільки не хоче показувати те ж саме зміст двічі.

 Скажімо, Ваша стаття про ключовому слові x з'являється на http://www.example.com/keyword-x/, і те ж саме зміст також з'являється на http://www.example.com/article-category/keyword-x /, ситуація не нова: це відбувається у великій кількості сучасних систем управління контентом (CMS). Припустимо Ваша стаття була взята декількома блогерами, і одні з них посилаються на перший URL, а інші посилаються на другий URL. Це коли проблема пошукової системи показує свою справжню сутність: це - Ваша проблема. Це подвійне зміст - Ваша проблема, тому що обидві посилання просувають різні URL. Якби вони все посилалися на один основний URL, то Ваш шанс ранжирування в топ 10 для ключового слова x був би набагато вище.
 Причини подвійного контенту

Є десятки причин виникнення дубліката контенту. Більшість з них технічні: трапляється не дуже часто, що людина вирішує помістити те ж саме зміст в два різних місця, не виділяючи першоджерело, бо це здається неприродним більшості з нас. Технічні причини тим не менш численні. Це відбувається, головним чином, тому що розробники не думають як браузер або користувач, вже не кажучи про павука пошукової системи, вони думають як розробник. Що про згаданій статті, яка з'являється на http://www.example.com/keyword-x/и http://www.example.com/article-category/keyword-x/? Якщо Ви запитаєте розробника, то він скаже, що стаття існує тільки одна.
 Нерозуміння концепції URL

Той розробник зійшов з розуму? Ні, він просто говорить іншою мовою. Ви бачите, що цілий веб-сайт, ймовірно, наведено в дію системою бази даних. У тій базі даних є тільки одна стаття, програмне забезпечення веб-сайту просто враховує ту ж саму статтю в базі даних, яка буде відновлена ​​через кілька URL. Тому в очах розробника, унікальний ідентифікатор для тієї статті - посвідчення особи, яке стаття має в базі даних, не URL. У той час як для пошукової системи - URL унікальний ідентифікатор змісту.
ID сесії

Часто необхідно відслідковувати відвідувачів, і дозволити їм, наприклад, додавати вироби, які вони хочуть купити, в кошик покупок. Щоб зробити це, Ви повинні дати їм "сесію". Сесія - в своїй основі, коротка історія того, що відвідувач зробив на Вашому сайті і може містити такі речі, як предмети в їх кошику. Щоб підтримати сесію як відвідувач клацає від однієї сторінки до іншої, унікальний ідентифікатор, так званий ID Сесії, повинен бути збережений де-небудь. Найбільш поширене рішення полягає в тому, щоб зробити це за допомогою куки, однак, пошукові системи зазвичай не зберігають кукі.Что відбувається в такому випадку? Те, що деякі системи повертаються до використання ID Сесії в URL. У нашому випадку кожна внутрішня посилання на веб-сайті доклала ID Сесії до URL, і так як ID Сесії унікально для кожного випадку, це створює новий URL, і таким чином дубльований контент.
 Параметри URL, що використовуються для відстеження та сортування

Інша причина подвійного контенту - використання параметрів URL, які не змінюють зміст сторінки, наприклад в відстежують посиланнях. Ви бачите що http://www.example.com/keyword-x/и http://www.example.com/keyword-x/? source = rss фактично не той же самий URL для пошукової системи. Остання дозволяє відслідковувати джерело відвідування сайту, але так само ускладнює отримання хорошого ранжирування, дуже небажаний побічний еффект.Конечно, це відноситься не тільки до відстеження, а до будь-якого параметру, який додається до URL, який не змінює життєву частину змісту. Але чим би вони не були - все викликають дубльований контент.
Скрапери і синдикація контенту

У той час як більшість причин подвійного контенту Ваші власні, або принаймні "помилка" сайту, іноді інші веб-сайти, використовують Ваше вміст, з або без Вашої згоди. Вони не завжди посилаються на оригінальну статтю, і таким чином пошукова система не "отримує" її і повинна мати справу з ще однією версією тієї ж самої статьі.Чем більш популярним стає сайт, тим більше скраперов Ви будете отримувати, роблячи цю проблему більше і більше .

Правильні параметри

Інша часта причина полягає в тому, що CMS не використовує хороші і чисті URL, а частіше URL виду /? id = 1 & cat = 2, де id посилається на статтю і cat - до категорії. URL виду /? cat = 2 & id = 1 дасть ті ж самі результати в більшості систем веб-сайтів, але вони фактично абсолютно різні для пошукової системи.
 Багатосторінкові коментарі

У моєму улюбленому WordPress, але також і в деяких інших системах, є опція нумерувати сторінки коментарів. Це призводить до змісту, дубльованих через URL статті та URL статті + / comment-page-1 /, / comment-page-2 / і т.д.
Сторінки для друку

Якщо Ваша Система Управління Контентом створить сторінки для друку, і Ви посилаєтеся на них зі сторінок статті, то в більшості випадків пошукова система знайде їх, якщо вони не будуть спеціально заблоковані. Тепер подумайте, яку з версій повинна показувати пошукова система?
WWW проти не-WWW

Одна з найстаріших проблем, але іноді пошукові системи все ще розуміють її неправильно: WWW проти не-WWW дублює зміст, коли обидві версії Вашого сайту доступні. Менш загальна ситуація, але буває і так: http проти https - дублюють контент, де те ж саме зміст роздано по обом.
 Концептуальне рішення: "канонічний" URL

Як визначено вище, факт, що кілька URL призводять до того ж самого змісту, є проблемою, але це може бути вирішено. Людина, що працює в публікації, звичайно буде в змозі сказати Вам цілком легко, який "правильний" URL для певної статті повинен бути. Забавна річ полягає в тому, що іноді, коли Ви запитуєте 3 людей у ​​тій же самій компанії, вони дадуть 3 різних відповіді ...

У такій ситуації - це проблема, яка потребує вирішення, тому що в кінці кінців може бути тільки один URL. Цей "правильний" URL для частини змісту був визначений пошуковими системами як Канонічний URL.

Іронічне примітка з боку: канонічний - термін походить від римсько-католицької традиції, коли список сакральних книг був створений і прийнятий як справжній, вони були оформлені в канонічні Євангелія Нового Завіту. Іронія в тому, що Римсько-католицької церкви було потрібно приблизно 300 років і численні поєдинки, щоб придумати той канонічний список, і вони в кінцевому рахунку вибрали 4 версії тієї ж самої історії ...
 Виявлення наявності дубльованого контенту

Ви можете не знати, чи є подвійне зміст у Вашого сайту або статті. Дозвольте мені дати деякі методи виявлення їх наявності.
Панель інструментів веб-майстра Google

Панель інструментів веб-майстра Google - відмінний інструмент для ідентифікації подвійного змісту .. Увійдіть в панель для свого сайту, в розділ Діагностика -> Пропозиції HTML, там можна побачити картину такого змісту:

 Якщо сторінки мають подвійні назви або дублюють опису, це - недобре. Натискання на нього покаже URL, які мають подвійні назви або опису і допоможуть Вам ідентифікувати проблему. Проблема - те, що, якщо у Вас є стаття, як та про "ключовому слові x", і це виявляється в двох категоріях, назви могли б відрізнятися. Вони могли б, наприклад, бути "Ключовим словом X - Категорією X - Сайт" і "Ключове слово X - Категорія Y - Сайт". Google не буде вважати їх дублікатами, але Ви можете знайти їх в пошуку.
Пошук заголовків і фрагментів

Є кілька операторів пошуку, які дуже допоможуть у даному випадку. Якщо б Ви хотіли знайти все URL на своєму сайті, які ведуть до статей, що містить Ключове слово X, то наберіть наступну фразу в пошуку, наприклад Google:

1 site: example.com intitle: "Ключове слово X"

Google покаже всі сторінки на example.com, які містять то ключове слово. Чим більш точно вказати intitle частина, тим легше тим легше буде знайти і позбутися від подвійного змісту. Ви можете використовувати той же самий метод, щоб ідентифікувати подвійне зміст у всій веб-мережі. Скажімо, повна назва Вашої статті було "Ключове слово X - чому це дивно", тоді для пошуку необхідно набрати:

1 intitle: "Ключове слово X - чому це дивно"

І Google дав би Вам всі місця зі збігом за назвою. Іноді варто навіть шукати одне або два повні пропозиції з Вашої статті, оскільки деякі скрапери могли змінити назву. В деяких випадках, коли Ви робите пошук як цей, Google міг би показати повідомлення як це, на останній сторінці результатів:

Це - знак, що Google вже "роздуплився" результати. Таким чином, варто натиснути на посилання і подивитися на всі інші результати, можливо двійники сховалися саме там.
 Практичні рішення для усунення подвійного змісту

Як тільки Ви вирішили, який URL - канонічний для Вашого контенту, необхідно почати процес канонізації. Це, в основному, просто означає, що ми повинні повідомити пошуковій системі про це і дозволити їй знаходити канонічну версію сторінки якомога швидше. Є в основному чотири методи вирішення проблеми, в порядку переваги:

     Не створювати подвійного змісту
    Переадресація подвійного змісту до канонічного URL
    Додавання канонічного елементу посилання до подвійної сторінці
    Додавання посилання HTML від подвійної сторінки до канонічної сторінці

 Відхід від подвійного змісту

Від деяких вищезазначених причин є дуже прості способи позбавлення:

ID сесії в URL?

Часто можуть бути просто відключені в параметрах налаштування Вашої системи.

Є двійники сторінки для друку?

Вони абсолютно непотрібні: можна просто впровадити код роздруківки прямо на місці.

Багатосторінкові коментарі в WordPress?

Зазвичай ця функція за умовчанням вимкнена в налаштування на 99% сайтів у меню Обговорення.

WWW проти не-WWW?

Виберіть один і склейте з ним, переадресовуючи один до іншого. Ви можете також встановити перевагу в панелі інструментів веб-майстри, але повинні будете вимагати обох версій доменного імені.

Навіть якщо Ваша проблема легко вирішується, вона все ще стоїть того, щоб докласти зусилля і перешкоджати тому, щоб подвійне зміст з'явилося в подальшому. Це - безумовно краще рішення проблеми.
 Переадресація дубльованого контенту через 301 Redirect

У деяких випадках неможливо повністю запобігти систему, яку Ви використовуєте від створення неправильного URL для змісту, але іноді можливо переадресувати їх. Крім того, якщо Ви дійсно позбавляєтеся від деяких проблем подвійного змісту в цілому, упевніться, що переадресовує всі старі подвійні URL контенту до належних канонічним URL.
Використовуючи в посиланнях rel = "canonical"

Іноді Ви не хочете або не можете позбутися від подвійної версії статті, але Ви дійсно знаєте, що це - неправильний URL. Для такого специфічного питання вводять канонічний елемент зв'язку. Він міститься в розділ <head> сайту, і виглядає наступним чином:

<link rel="canonical" href="http://example.com/keyword-x/"/>

У href частини канонічної посилання Ви ставите правильний канонічний URL для своєї статті. Коли Google (або будь-яка інша пошукова система, яка підтримує його) знаходить цей елемент, то робить те, що є по суті м'яким 301 перенаправленням: передає більшу частину ваги посилання, зібраної тієї сторінкою до Вашої канонічної страніце.Етот процес трохи повільніше, ніж чистий 301 редирект, так що вирішуйте самі що використовувати.
Зворотній посилання до оригінального контенту

Якщо Ви не можете зробити нічого з вищезгаданого, через неможливість роботи з кодом, або якийсь інший,, додавання зворотного посилання на оригінал зверху або нижче статті теж є хорошою ідеєю. Це схоже на те, що робиться в RSS стрічці: додається зворотнє посилання на статтю. Якщо пошуковик зіткнеться з декількома посиланнями, що вказують на Вашу статтю, то він з'ясує досить скоро, що це - фактична канонічна версія статті.
Висновок: від подвійного контенту можна і потрібно позбуватися

Дублювання контенту відбувається всюду.Нет жодного сайту з 1000 сторінок, який не мав би хоч дещицю такого содержімого.Просто необхідно постійно за етмі стежити і вчасно устранять.Ваш сайт може злетіти в ранжуванні тільки від простого позбавлення від подвійного змісту. Пам'ятайте про це.