Über einfache Anweisungen können wir die Webseite von der Indizierung in Suchmaschinen ausschließen.
Dazu legen wir eine Datei im Web-Root unter dem Namen robots.txt mit folgendem Inhalt an:
User-agent: *
Disallow: /
Die Datei wird von Suchmaschinen unter der eigenen Domain gesucht und als Hinweis verwendet. Der Inhalt sollte beispielhaft unter https://example.com/robots.txt abrufbar sein.
Damit geben wir den Suchmaschinen einen Hinweis, dass wir nicht länger indiziert werden wollen.
Zusätzlich können wir in den typischen Suchmaschinen entsprechende Anträge zur Entfernung stellen:
Google Search Console - Veraltete Inhalte aus der Google Suche entfernen
Yahoo bietet leider keinen beschleunigten Prozess und die Entfernung kann bis zu 12 Wochen dauern, nachdem die robots.txt eingestellt wurde.