Robots.txt dosyaları hakkında bilgi edinme. robots txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı'nı kullanır.
Robot.txt Generator : https://www.seohocasi.com/robots-txt-generator/
Robot.txt Nedir?
Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, Google Botları için kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır. Sonuç olarak Robots.txt Google botları için olmazsa olmazlardandır. Şimdi biz de Robots.txt yapımını beraberce öğrenelim.
--------------------------------------------------
1. Robot.txt nedir nasıl oluşturulur? (0:05)
2. Robot.txt dosyasının hazırlanması (0:39)
3. Genel kullanımı (1:01)
4. Robot.txt dosyasını nasıl oluşturabilirim (1:35)
►► https://www.seohocasi.com/robots-txt-yapimi/
SEO Hocası‘nı tüm sosyal ağlarda takip edin ;
Website ►► https://www.seohocasi.com/
Instagram ►► https://www.instagram.com/seohocasi
Facebook ►► https://www.facebook.com/seohocasicom/
