Fișierele ai.txt, llms.txt și TDMRep sunt adesea menționate în același context cu robots.txt, dar, în practică, acestea au scopuri complet diferite. TDMRep este un mecanism formal de opoziție față de extragerea de text și date, în conformitate cu Directiva europeană privind DSM. ai.txt servește în primul rând ca o politică informală care reglementează utilizarea conținutului de către sistemele de IA, în timp ce llms.txt este o hartă a celor mai importante conținuturi pe care doriți să le prezentați modelelor lingvistice.
Cuprins
TDMRep – Un semnal juridic pentru extragerea de text și date
TDMRep a fost definit de W3C ca un protocol simplu care permite proprietarilor de conținut să restricționeze sau să permită extragerea de text și date într-un format lizibil de mașini. Acesta utilizează câmpurile `tdm-reservation` și `tdm-policy`, care pot fi specificate în metaetichetele HTML, anteturile HTTP sau prin fișierul `tdmrep.json` din directorul `.well-known`. O valoare a tdm-reservation setată la 1 indică faptul că drepturile TDM sunt rezervate, în timp ce valoarea 0 indică lipsa restricțiilor.
Spre deosebire de fișierul robots.txt, TDMRep nu controlează accesul fizic al boților la resurse. Acesta specifică drepturile de utilizare a conținutului în procesele de extragere a textului și a datelor, inclusiv pentru antrenarea modelelor de IA. Este în primul rând un indicator juridic și de licențiere care poate servi drept argument important în discuțiile cu furnizorii de soluții de IA.
ai.txt – Politica de utilizare a conținutului de către IA
ai.txt este un standard informal, în continuă evoluție, pentru un fișier situat de obicei la /ai.txt. Scopul său este de a descrie regulile privind utilizarea conținutului unui site web de către sistemele de IA. Într-un astfel de fișier, puteți specifica dacă acceptați utilizarea conținutului pentru antrenarea modelelor, rezumare, citare sau generarea de răspunsuri, precum și orice restricții și așteptări privind atribuirea.
În practică, ai.txt servește ca un strat de "consimțământ, nu de acces" – semnalează consimțământul sau lipsa acestuia, mai degrabă decât să acționeze ca un blocaj tehnic. Acesta nu înlocuiește termenii și condițiile de utilizare sau măsurile de securitate la nivel de server, dar contribuie la furnizarea unor orientări clare entităților care doresc să utilizeze conținutul dvs. într-un mod conform cu dorințele proprietarului.
llms.txt – o hartă a conținutului pentru modelele lingvistice
llms.txt este un fișier text sau Markdown situat de obicei la /llms.txt, al cărui scop nu este blocarea roboților, ci organizarea conținutului. Un astfel de fișier conține de obicei numele site-ului web, o scurtă descriere și o listă a celor mai importante subpagini – cum ar fi oferta principală, documentația, întrebările frecvente și articolele cheie – care sunt deosebit de utile pentru modelele lingvistice.
Vă puteți gândi la el ca la o hartă sau un ghid al conținutului pe care doriți ca IA să îl înțeleagă bine și, dacă este cazul, să îl citeze. llms.txt nu înlocuiește sitemap.xml sau robots.txt – ci servește mai degrabă ca un supliment care îndrumă modelele către surse aprobate și de înaltă calitate din cadrul domeniului dvs.
Ce controlează aceste mecanisme în practică?
TDMRep reglementează drepturile privind extragerea de text și date – acesta specifică dacă datele pot fi utilizate în procesele TDM, inclusiv în antrenarea modelelor de IA, dar nu blochează fizic accesul la site. ai.txt prezintă regulile privind utilizarea conținutului de către sistemele de IA, punând accentul pe consimțământul pentru antrenare, rezumare și alte forme de prelucrare. llms.txt, pe de altă parte, nu controlează nici drepturile, nici accesul – ajută modelele să găsească și să înțeleagă cel mai important conținut de pe site.
Toate cele trei mecanisme servesc mai degrabă ca semnale pentru sistemele ’cuminte" decât ca măsuri stricte de securitate. Controlul real asupra traficului revine în continuare fișierului robots.txt, configurației serverului, firewall-urilor și oricăror soluții WAF sau filtre din partea CDN-ului. Prin urmare, este recomandat să tratați TDMRep, ai.txt și llms.txt ca suplimente, mai degrabă decât ca înlocuitori ai instrumentelor tradiționale de securitate și SEO.