Kapat

Hazır Sistemler İçin En İyi Robots.txt Ayarları

Anasayfa Blog İpuçları Hazır Sistemler İçin En İyi Robots.txt Ayarları
robots-txt

Robots.txt Nedir ? Robots.txt Ayarları Nasıl Yapılır?

Robots.txt ayarları sitenizin olmazsa olmazıdır. Arama motorları ilk olarak sitenizi taramaya başlamadan önce, robots.txt dosyasını tarar, siteniz için belirlemiş olduğunuz dizine eklenmesini istediğiniz veya eklenmemesini istediğiniz sayfaları belirtir. Hazır sistemler için en iyi robots.txt ayarları aşağıda ki gibidir güvenle kullanabilirsiniz.

Robots.txt nedir? robots.txt dosyası, tam anlamıyla arama motorlarının tarayıcılarının web sitenizin erişmesini istemediğiniz noktaları bildiren ve sitenizin ana dizinin de bulunan bir dosyadır. Bu txt dosyası ufak komut satırlarına sahip bir protokol olan arama motorlarının robotlarını engelleme işlemini kullanılır. Robots.txt içerisin de bulunan komut satırları, web siteinizin belirli ve/veya belirlediğiniz sayfaların, bölümlerin, dizinlerin, engellenmesi için veya arama motorlarının eklemesi için kullanılır.

Robots.txt içerisin de kullanılan kodların anlamı nedir?

# ( * ) Bu işaret, tüm arama motorlarına izin ver anlamına geliyor. Genel kullanım için, tümüne izin ver olarak’ta algılayabilirsiniz örneğin;  User-agent: * burada tüm arama motorlarına izin ver diyoruz.

# ( Allow: ) bu komut satırının anlamı, izin ver demek oluyor. Yani robots.txt dosyanızın içerisin de sitenizin sayfaları veya ana dizin’de ki klasörleri arama motorlarının indexlemesini istiyorsanız, Allow: satırı ile izin vereceksiniz.

# ( Disallow: ) Arama motorlarının sayfalarınızı, dizin klasörlerinizi, veya arama motorlarını engellemek için izin verme anlamını taşıyor. Bu komut satırıyla engellemek istediğiniz yani arama motorlarının taramamasını istediğiniz sayfaları disallow: komut satırıyla engelliyorsunuz.

Robots.txt dosyası nasıl oluşturulur? Robots.txt dosyası nerede olmalıdır?

Robots.txt dosyasını oluşturmak ve robots.txt ayarları yapmak oldukça basittir, dosya uzantısın’dan anlayacağınız gibi .txt dosyasıdır. Masaüstüne robots adında bir txt dosyası oluşturuyoruz ve daha sonra aşağıda ki vereceğim hazır sistemler için robots.txt komutlarını kendi sisteminize uygun olanı seçerek, masaüstüne oluşturmuş olduğunuz robots.txt dosyasının içerisine ekleyeceksiniz. Daha sonra bu dosyayı, sitenizin ana dizinine atacaksınız yani ftp’ye bağlanıp public_html klasörünün içerisine atacaksınız.

Önemli: robots.txt dosyasını oluştururken, dosya adını sadece robots olarak yazın, robots.txt olarak yazarsanız,  robots.txt.txt şeklin de olacaktır. Txt dosya uzantısı oluşturduğunuz için zaten otomatik olarak tanımlıyor. Sadece robots olarak yazın.

robots.txt ayarları

Wordpress için, en iyi robots.txt ayarları
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /tag

Sitemap: siteharitanızın yolu
MyBB için en iyi robots.txt ayarları

Sitemap: http://siteadresiniz.com/sitemap adresiniz

User-Agent: *
Disallow: /MyBB/captcha.php
Disallow: /MyBB/editpost.php
Disallow: /MyBB/misc.php
Disallow: /MyBB/modcp.php
Disallow: /MyBB/moderation.php
Disallow: /MyBB/newreply.php
Disallow: /MyBB/newthread.php
Disallow: /MyBB/online.php
Disallow: /MyBB/printthread.php
Disallow: /MyBB/private.php
Disallow: /MyBB/ratethread.php
Disallow: /MyBB/report.php
Disallow: /MyBB/reputation.php
Disallow: /MyBB/sendthread.php
Disallow: /MyBB/task.php
Disallow: /MyBB/usercp.php
Disallow: /MyBB/usercp2.php
Disallow: /MyBB/calendar.php
Disallow: /MyBB/*action=emailuser*
Disallow: /MyBB/*action=nextnewest*
Disallow: /MyBB/*action=nextoldest*
Disallow: /MyBB/*year=*
Disallow: /MyBB/*action=weekview*
Disallow: /MyBB/*action=nextnewest*
Disallow: /MyBB/*action=nextoldest*
Disallow: /MyBB/*sort=*
Disallow: /MyBB/*order=*
Disallow: /MyBB/*mode=*
Disallow: /MyBB/*datecut=*
Allow: /

vBulletin için en iyi robots.txt ayarları

User-agent: *
Disallow: /?ref=

User-agent: HTTrack
Disallow: /

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Microsoft URL Control – 5.01.4511
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: Microsoft URL Control – 6.00.8169
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Xenu’s Link Sleuth 1.1c
Disallow: /

User-agent: Xenu’s
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: searchpreview
Disallow: /

vBulletin için alternatif olarak kullanılabilir 2. robots.txt dosyası.

(2) vBulletin için en iyi robots.txt ayarları

User-agent: *
Disallow: /admincp/
Disallow: /chat/
Disallow: /tags
Disallow: /archive
Disallow: /ajax.php
Disallow: /forum
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /images/
Disallow: /flash/
Disallow: /includes/
Disallow: /install/
Disallow: /modcp/
Disallow: /subscriptions/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /external.php
Disallow: /faq.php
Disallow: /frm_attach
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /threadrate.php
Disallow: /usernote.php
Disallow: /showthread.php
Disallow: /vbSEO.php
Disallow: /vbSEOcp.php
Disallow: /vbSEOcpform.php

SMF için en iyi robots.txt ayarları

User-agent: *
Disallow: /admin/
Disallow: /adsystem/

veya;

User-agent: Slurp
Crawl-delay: 8

User-agent: msnbot
Crawl-delay: 5

User-agent: nutch
Crawl-delay: 5

User-agent: yeti
Crawl-delay: 8

User-agent: Yeti/1.0
Crawl-delay: 8

User-agent: naverbot
Crawl-delay: 8

User-agent: googlebot
Crawl-delay: 5

User-agent: dotbot
Crawl-delay: 5

User-agent: twiceler
Crawl-delay: 8

User-agent: yandex
Crawl-delay: 5

User-agent: Teoma
Crawl-delay: 5

User-agent: BoardReader
Crawl-delay: 8

User-agent: Exabot
Crawl-delay: 10

PhpBB için en iyi robots.txt ayarları

User-agent: *
Disallow: /forums/admin/
Disallow: /forums/images/
Disallow: /forums/includes/
Disallow: /forums/language/
Disallow: /forums/templates/
Disallow: /forums/common.php
Disallow: /forums/config.php
Disallow: /forums/groupcp.php
Disallow: /forums/memberlist.php
Disallow: /forums/modcp.php
Disallow: /forums/posting.php
Disallow: /forums/profile.php
Disallow: /forums/privmsg.php
Disallow: /forums/viewonline.php
Disallow: /forums/search.php
Disallow: /forums/faq.php

Drupal için en iyi robots.txt ayarları

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /sites/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
Disallow: /boost_stats.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
# Paths Fixed (clean URLs)
Disallow: /admin
Disallow: /comment/reply
Disallow: /contact
Disallow: /logout
Disallow: /node/add
Disallow: /search
Disallow: /user/register
Disallow: /user/password
Disallow: /user/login
# Paths Fixed (no clean URLs)
Disallow: /?q=admin
Disallow: /?q=comment/reply
Disallow: /?q=contact
Disallow: /?q=logout
Disallow: /?q=node/add
Disallow: /?q=search
Disallow: /?q=user/password
Disallow: /?q=user/register
Disallow: /?q=user/login

Opencart için en iyi robots.txt ayarları

User-agent: *
Disallow: /admin/
Disallow: /system/
Disallow: /image/
Disallow: /download/
Disallow: /vqmod/

Sitemap: https://siteadresiniz.com/index.php?route=feed/google_sitemap

 

+2000 Abone Arasına katıl

Web sitesin'den para kazanma sırrı nedir? Seo nasıl yapılır? Blog ipuçları ile site trafiğini nasıl artırırım? Seo araçlarını nasıl kullanabilirim? gibi tüm sorularınızın cevaplarını öğrenmek için, bültene abone olun.

Abone olduğunuz için teşekkür ederiz.

Bir şeyler yanlış gitti.

Popüler Yazılar

    DAHA FAZLA GÖSTER