Intrebare robots.txt

[Christian Bogdan]

As vrea sa va intreb si eu cum este mai bine sa setez fisierul robots.txt,eu detin un site de filme online,seriale si emisiuni care este destul de bine clasat pe google si am facut o mica schimbare la fisierul robots.Asa l-am setat acum :
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

si inainte era fara primele 2 linii,este ok?Site-ul este wordpress

 

[AlexH]

User-agent: Mediapartners-Google
Disallow:

Inseamna ca Media Google nu poate accesa nimic de pe site-ul tau. Trebuie sa faci o mica modificare la aceasta.
User-Agent: Mediapartners-Google
Disallow: /

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Inseamna ca toate motoarele de cautare si orice bot de pe internet nu are voie sa acceseze acele doua foldere.

Cauta pe google termenii: robots.txt generator sau robots.txt generator wordpress pentru a genera un codul custom pentru site-ul tau.

 

[Christian Bogdan]

Inseamna ca Media Google nu poate accesa nimic de pe site-ul tau. Trebuie sa faci o mica modificare la aceasta.
User-Agent: Mediapartners-Google
Disallow: /



Inseamna ca toate motoarele de cautare si orice bot de pe internet nu are voie sa acceseze acele doua foldere.

Cauta pe google termenii: robots.txt generator sau robots.txt generator wordpress pentru a genera un codul custom pentru site-ul tau.

Iti multumesc frumos AlexH !!

 

[Cred44]

Va rog, care este linia de comanda pentru a exclude din indexare doar paginile site-ului, fara exceptie.
Acum imi apar in google la index ceva de genul www.siteulmeu.com/pag/1/, www.siteulmeu.com/pag/2/ etc.

Comanda este "Noindex" dar nu stiu mai departe ce sa adaug astfel inca sa elimine toate paginile din indexare.

Multumesc

 

[AlexH]

Cea mai simpla metoda este sa interzici lui google sa iti acceseze site-ul. Facut de mine pe un site de filme acum cativa ani.
Doar adaugi asta in fisierul robots.txt si rezolvi problema.
Plus poti adauga si in meta regula noindex
User-Agent: *
Disallow:

 

[Cred44]

Stiu, dar nu doresc sa-i interzic lui google sa ma viziteze. Vreau doar sa-i spun sa nu indexeze paginile site-ului, iar postarile sa le viziteze, cat mai des cu atat mai bine.

 

[AlexH]

Atunci noindex in meta si ai rezolvat problema.
Aici ai raspunsuri de la google
https://support.google.com/webmasters/answer/93710?hl=ro

 

[Cred44]

Daca pun in meta, nu risc sa nu se mai indexeze postarile?
Ma pot folosi de robots.txt punand cate o comanda
noindex: /pag1/
noindex: /pag2/
etc
Daca pun asa
noindex: /pag*/
aceasta steluta nu este rezolvarea? In sensul ca vor fi neindexate toate paginile indiferent cate am acum si cate vor aparea ulterior?

 

[AlexH]

Google va vizita site-ul tau dar nu va indexa postarile sau orice gaseste pe site.

 

[Cred44]

Intre timp am gasit rezolvarea folosind setarile din pluginul Yoast SEO
Acestea sunt setarile care m-au ajutat sa scot din indexul google paginile siteului si sa ramana doar postarile indexate.

 

[AlexH]

Da, ai elimitat descrierea normala de la blog si pune mica descriere de la articol.
Acum nu stiu daca excerpt este luat/generat automat din text sau trebuie scris de tine separat. Sub fiecare articol ai acele campuri care trebuiesc completate.