Probleme mit der robots.txt Datei
-
Ich habe schon längere Zeit Ärger mit mit der robots.txt-Datei. Mir scheint, dadurch werden viele meiner Webseiten nicht bei Google indexiert. Ich bin totaler Laie, was solche Probleme betrifft. Was kann ich tun, um solche Probleme zu beheben? Könnt ihr mal einen Blick darauf werfen, ob da alles in Ordnung ist oder ob ich irgendetwas verändern muss. Würde mich sehr freuen.
Indexiert, obwohl durch robots.txt-Datei blockiert.
Viele andere Seiten werden aber offensichtlich nicht indexiert.
Google zeigt mir auf Seite https://www.google.com/webmasters/tools/robots-testing-tool?hl=de&siteUrl=https://nixgut.wordpress.com/
# If you are regularly crawling WordPress.com sites, please use our firehose to receive real-time push updates instead.
# Please see https://developer.wordpress.com/docs/firehose/ for more details.Sitemap: https://nixgut.wordpress.com/sitemap.xml
Sitemap: https://nixgut.wordpress.com/news-sitemap.xmlUser-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /wp-signup.php
Disallow: /press-this.php
Disallow: /remote-login.php
Disallow: /activate/
Disallow: /cgi-bin/
Disallow: /mshots/v1/
Disallow: /next/
Disallow: /public.api/# This file was generated on Fri, 18 Dec 2020 18:46:35 +0000
0 Fehler
0 Warnmeldungen
Wenn ich das richtig verstanden habe hat die robots.txt-Datei 0 Fehler. Warum aber werden dann offensichtlich viele Seiten durch die robots.txt-Datei blockiert? Ich bin vollkommen ratlos.
- Das Thema ‘Probleme mit der robots.txt Datei’ ist für neue Antworten geschlossen.