Nel corso degli ultimi anni Reddit ha sperimentato un importante aumento di traffico dai motori di ricerca – non solo Google, ma anche Bing, DuckDuckGo e altri. Il motivo? Sembrerebbe che gli utenti abbiano preso l’abitudine di utilizzare la parola “Reddit” alla fine di qualunque chiave di ricerca, così da trovare rapidamente le conversazioni riguardanti prodotti, consigli di viaggio o altro ancora. Ma ora, a quanto pare, gli utenti dovranno necessariamente abbandonare questa abitudine. Secondo quanto riferito per la prima volta dal portale di informazione 404Media, infatti, Reddit ha cominciato a bloccare la scansione e l’indicizzazione del suo sito da parte della stragrande maggioranza dei motori di ricerca in circolazione. Anzi, diciamo pure tutti, tranne uno: Google.
Questo significa che, se adesso cominciate a cercare su Bing qualche conversazione di Reddit di vostro interesse, vi sarà impossibile reperirla. Soprattutto se si tratta di tematiche recenti, dato che l’indicizzazione del sito è stata sospesa. Anzi, Mashable ha addirittura riferito di non aver ottenuto alcun risultato effettuando una ricerca per “site: reddit.com” sul motore di ricerca di Microsoft. Ma questa potrebbe non essere una novità così inaspettata. Già lo scorso 25 giugno, infatti, Reddit aveva annunciato che stava apportando una modifica al suo Robots Exclusion Protocol (robots.txt), il file che controlla quali pagine di un sito vengono indicizzate e sottoposte a scansione da un motore di ricerca. Certo, in quell’occasione la compagnia aveva dichiarato che si trattava di un’azione necessaria a fermare i bot che stavano scansionando il sito, ma è probabile che in realtà ci fosse qualcosa di più.
In ogni caso, nessuno si aspettava che Reddit avrebbe tagliato fuori dal suo sito tutti i motori di ricerca più utilizzati dagli utenti. Google escluso, per fortuna. Ma perché soltanto il motore di ricerca di Big G può accedere alle conversazioni di Reddit e portarle sui suoi risultati di ricerca? La risposta potrebbe essere semplice: le due società sono fortemente legate tra loro. Appena qualche mese fa, infatti, hanno stipulato un accordo da 60 milioni di dollari che consente al gigante della ricerca di utilizzare i contenuti di Reddit per addestrare i suoi modelli di intelligenza artificiale. Ma Reddit ci ha tenuto a precisare che non dipende affatto da questo. “Blocchiamo tutti i crawler che non sono disposti a impegnarsi a non utilizzare i dati di scansione per la formazione sull’AI, il che è in linea con l’applicazione della nostra politica sui contenuti pubblici e il file robots.txt aggiornato”, ha riferito un portavoce, facendo chiarezza sulla questione.