llms.txt: Solusi Ajaib atau Hanya Ilusi? Analisis Data Nyata dari 10 Situs
Di dunia optimasi web yang terus berkembang, muncul standar baru yang disebut llms.txt. File sederhana ini dianggap sebagai “robots.txt untuk AI” – panduan yang memberi tahu model bahasa besar (LLM) bagaimana mereka harus merayapi dan memahami konten situs Anda. Tapi apakah ini benar-benar penting? Atau hanya tren sementara yang akan segera terlupakan?
Pertanyaan ini telah memecah komunitas digital menjadi dua kubu. Di satu sisi, ada yang menganggap llms.txt sebagai infrastruktur fundamental untuk era AI. Di sisi lain, banyak veteran SEO menganggapnya sebagai “teater spekulatif” – sesuatu yang terlihat penting tapi sebenarnya tidak berdampak signifikan.
Platform-platform besar seperti Google bahkan sempat mengadopsinya. Pada Desember 2024, perusahaan tersebut menambahkan file llms.txt di banyak situs developer dan dokumentasi mereka. Sinyalnya tampak jelas: jika perusahaan di balik standar sitemap mengimplementasikan llms.txt, pasti ini penting. Tapi ceritanya tidak sesederhana itu.
Google Masuk, Google Keluar: Kisah 24 Jam yang Mengguncang
Dalam waktu kurang dari 24 jam setelah implementasi, Google menarik llms.txt dari dokumentasi Search Developer mereka. John Mueller dari Google menjelaskan bahwa perubahan ini berasal dari pembaruan CMS yang tidak disadari oleh banyak tim konten.
Ketika ditanya mengapa file tersebut masih ada di properti Google lainnya, Mueller menjawab dengan diplomatis: “Mereka tidak dapat ditemukan secara default karena tidak berada di level teratas” dan “aman untuk berasumsi mereka ada untuk tujuan lain,” bukan untuk penemuan konten.
Peristiwa ini menimbulkan pertanyaan besar: Jika Google sendiri tidak konsisten dengan implementasi llms.txt, apakah kita harus menganggapnya serius?
Riset Nyata: Melacak 10 Situs Selama 180 Hari
Kami ingin data, bukan debat. Jadi kami melacak adopsi llms.txt di 10 situs berbeda yang mencakup berbagai industri: keuangan, B2B SaaS, e-commerce, asuransi, dan perawatan hewan peliharaan.
Riset ini dilakukan selama 180 hari – 90 hari sebelum implementasi dan 90 hari setelahnya. Kami mengukur:
- Frekuensi perayapan AI
- Traffic dari ChatGPT, Claude, Perplexity, dan Gemini
- Perubahan lain yang dilakukan situs selama periode yang sama
Hasil yang Mengejutkan: Data vs Harapan
Hasil penelitian kami menunjukkan gambaran yang jauh dari ekspektasi:
- 2 dari 10 situs mengalami peningkatan traffic AI sebesar 12,5% dan 25%
- 8 situs tidak menunjukkan perubahan yang terukur
- 1 situs mengalami penurunan sebesar 19,7%
Tapi cerita sebenarnya lebih kompleks dari angka-angka ini. Mari kita selidiki lebih dalam.
Kisah “Sukses” yang Bukan Tentang llms.txt
Neobank: Pertumbuhan 25% dengan Rahasia Lain
Platform perbankan digital ini mengimplementasikan llms.txt di awal Q3 2025. Tiga bulan kemudian, traffic AI mereka naik 25%. Tapi apakah ini karena llms.txt?
Mari kita lihat apa lagi yang terjadi dalam periode yang sama:
- Kampanye PR besar-besaran tentang lisensi perbankan mereka, dengan liputan di publikasi nasional utama
- Restrukturisasi halaman produk dengan tabel perbandingan yang dapat diekstrak untuk suku bunga, biaya, dan minimum
- 12 halaman FAQ baru yang dioptimalkan untuk ekstraksi
- Pusat sumber daya yang dibangun ulang dengan informasi dan konsep perbankan baru
- Masalah teknis SEO, seperti struktur header, diperbaiki
Ketika sebuah perusahaan mendapatkan liputan Bloomberg di bulan yang sama dengan peluncuran konten teroptimasi dan perbaikan error crawl, Anda tidak bisa mengisolasi llms.txt sebagai pendorong pertumbuhan.
Platform B2B SaaS: Pertumbuhan 12,5% dengan Waktu Sempurna
Perusahaan otomatisasi workflow ini melihat traffic melonjak 12,5% dua minggu setelah mengimplementasikan llms.txt. Waktu yang sempurna! Kasus tertutup? Tunggu dulu…
Tiga minggu sebelumnya, perusahaan ini menerbitkan 27 template AI yang dapat diunduh yang mencakup kerangka kerja manajemen proyek, model keuangan, dan perencana workflow. Alat fungsional ini, bukan pemasaran konten, yang mendorong keterlibatan di balik lonjakan tersebut.
Traffic organik Google ke template naik 18% selama periode yang sama dan terus naik sepanjang 90 hari yang kami ukur. Mesin pencari dan model AI menampilkan template karena mereka memecahkan masalah nyata dan meluncurkan bagian situs yang sama sekali baru – bukan karena mereka terdaftar di file llms.txt.
8 Situs di Mana Tidak Ada yang Terjadi
Delapan situs tidak menunjukkan perubahan yang terukur. Satu situs mengalami penurunan 19,7%.
Penurunan ini berasal dari situs asuransi yang mengimplementasikan llms.txt di awal September. Penurunan tersebut kemungkinan besar tidak ada hubungannya dengan file tersebut. Pola yang sama muncul di semua saluran traffic. Llms.txt tidak mencegah penurunan maupun menciptakan keunggulan apa pun.
Tujuh situs lainnya – e-commerce (perlengkapan hewan peliharaan, barang rumah tangga, fashion), B2B SaaS (HR tech, analitik pemasaran), keuangan, dan perawatan hewan peliharaan – semuanya mendokumentasikan konten terbaik mereka yang sudah ada di llms.txt. Itu termasuk halaman produk, studi kasus, dokumentasi API, dan panduan pembelian.
Sembilan puluh hari kemudian, tidak ada yang berubah. Traffic tetap datar. Frekuensi perayapan identik. Konten sudah terindeks dan dapat ditemukan, dan file tidak mengubah itu.
Pola yang Jelas: Konten Baru vs Dokumentasi Lama
Situs yang meluncurkan konten baru dan fungsional melihat keuntungan. Situs yang mendokumentasikan konten yang sudah ada tidak melihat keuntungan apa pun.
Ini adalah pelajaran penting: llms.txt tidak membuat konten Anda lebih baik. Itu hanya mendokumentasikan apa yang sudah ada.
Mengapa Ada Kesenjangan?
Tidak ada penyedia LLM besar yang secara resmi berkomitmen untuk mengurai llms.txt. Bukan OpenAI. Bukan Anthropic. Bukan Google. Bukan Meta.
John Mueller dari Google dengan jelas menyatakan: “Tidak ada layanan AI yang mengatakan mereka menggunakan llms.txt, dan Anda bisa tahu ketika melihat log server Anda bahwa mereka bahkan tidak memeriksanya.”
Itulah kenyataannya. File itu ada. Advokasi ada. Adopsi oleh platform tidak menunjukkan itu (setidaknya belum!).
Argumen Efisiensi Token (dan Batasannya)
Kasus terkuat untuk llms.txt adalah tentang efisiensi. Markdown menghemat waktu dan token ketika agen AI mengurai dokumentasi. Struktur bersih alih-alih HTML kompleks dengan navigasi, iklan, dan JavaScript.
Vercel mengatakan 10% pendaftaran mereka berasal dari ChatGPT. Llms.txt mereka mencakup deskripsi API kontekstual yang membantu agen memutuskan apa yang akan diambil.
Ini penting – tetapi hampir secara eksklusif untuk alat developer dan dokumentasi API. Jika audiens Anda menggunakan asisten coding AI seperti Cursor atau GitHub Copilot untuk berinteraksi dengan produk Anda, efisiensi token meningkatkan integrasi.
Untuk e-commerce yang menjual perlengkapan hewan peliharaan, asuransi yang menjelaskan cakupan, atau B2B SaaS yang menargetkan pembeli non-teknis, efisiensi token tidak diterjemahkan menjadi traffic.
llms.txt adalah Sitemap, Bukan Strategi
Perbandingan paling akurat adalah sitemap.
Sitemap adalah infrastruktur yang berharga. Mereka membantu mesin pencari menemukan dan mengindeks konten lebih efisien. Tetapi tidak ada yang mengkredit pertumbuhan traffic untuk menambahkan sitemap. Sitemap mendokumentasikan apa yang ada; konten mendorong penemuan.
Llms.txt bekerja dengan cara yang sama. Ini dapat membantu model AI mengurai situs Anda lebih efisien jika mereka memilih untuk menggunakannya, tetapi tidak membuat konten Anda lebih berguna, berwibawa, atau lebih mungkin menjawab kueri pengguna.
Dalam analisis kami, situs yang tumbuh melakukannya karena mereka:
- Membuat aset fungsional seperti template yang dapat diunduh, tabel perbandingan, dan data terstruktur
- Memperoleh visibilitas eksternal melalui pers dan backlink
- Memperbaiki hambatan teknis seperti masalah crawl dan pengindeksan
- Menerbitkan konten yang dioptimalkan untuk ekstraksi, termasuk FAQ dan perbandingan terstruktur
Llms.txt mendokumentasikan upaya tersebut. Itu tidak mendorong mereka.
Apa yang Benar-Benar Berhasil di Era AI
1. Buat Aset yang Fungsional dan Dapat Diekstraksi
Platform SaaS membangun 27 template yang dapat diunduh yang dapat digunakan pengguna segera. Model AI menampilkan ini karena mereka memecahkan masalah nyata, bukan karena mereka terdaftar di file markdown.
2. Strukturkan Konten untuk Ekstraksi
Neobank membangun kembali halaman produk dengan tabel perbandingan dengan suku bunga, biaya, dan minimum akun. Ini adalah data yang dapat ditarik model AI langsung ke dalam jawaban tanpa interpretasi.
3. Perbaiki Hambatan Teknis Terlebih Dahulu
Neobank memperbaiki error crawl yang telah memblokir konten selama berbulan-bulan. Jika model AI tidak dapat mengakses konten Anda, tidak ada jumlah dokumentasi yang membantu.
4. Dapatkan Validasi Eksternal
Liputan dari Bloomberg dan publikasi besar lainnya mendorong traffic referral, pencarian bermerek, dan kemungkinan memengaruhi bagaimana model AI menilai otoritas.
5. Optimalkan untuk Niat Pengguna
Kedua situs menjawab kueri spesifik: “template manajemen proyek terbaik” dan “bagaimana suku bunga [merek] dibandingkan?” Model menampilkan konten yang memetakan apa yang ditanyakan pengguna, bukan konten yang hanya terdokumentasi dengan baik.
Tidak satu pun dari ini memerlukan llms.txt. Semuanya mendorong hasil.
Haruskah Anda Mengimplementasikan File llms.txt?
Jika Anda adalah alat developer di mana asisten coding AI adalah saluran distribusi utama, maka ya – efisiensi token penting. Audiens Anda sudah menggunakan agen untuk berinteraksi dengan dokumentasi.
Untuk semua orang lain, perlakukan llms.txt seperti sitemap: infrastruktur yang berguna, bukan tuas pertumbuhan.
Ini praktik yang baik untuk memilikinya. Itu tidak akan merugikan. Tetapi jam yang dihabiskan untuk mengimplementasikan llms.txt seringkali lebih baik dihabiskan untuk:
- Merestrukturisasi halaman produk dengan data yang dapat diekstraksi
- Menerbitkan aset fungsional
- Memperbaiki masalah teknis SEO
- Membuat konten FAQ
- Memperoleh liputan pers
Taktik-taktik ini telah menunjukkan ROI nyata dalam penemuan AI. Llms.txt belum – setidaknya belum.
Kesimpulan: Fokus pada Fundamental, Bukan Format
Pelajaran di sini bukanlah bahwa llms.txt buruk. Ini adalah bahwa kita mencari kendali dalam sistem di mana aturan belum ditulis. Llms.txt menawarkan kenyamanan itu: sesuatu yang konkret, dapat ditindaklanjuti, dan familiar, berbentuk seperti standar web yang sudah kita ketahui.
Tapi terlihat seperti infrastruktur tidak sama dengan berfungsi seperti infrastruktur.
Fokus pada apa yang benar-benar berhasil:
- Buat konten yang berguna – Konten yang memecahkan masalah nyata akan selalu menang
- Strukturkan untuk ekstraksi – Buat mudah bagi AI dan manusia untuk memahami
- Buat dapat diakses secara teknis – Jika AI tidak bisa merayapi, tidak ada yang penting
- Dapatkan validasi eksternal – Otoritas masih penting di era AI
Platform dan format akan berubah. Fundamental tidak akan berubah. llms.txt mungkin menjadi standar di masa depan, atau mungkin tidak. Tapi prinsip-prinsip konten berkualitas, struktur yang jelas, dan aksesibilitas teknis akan selalu relevan.
Jadi, apakah Anda harus mengimplementasikan llms.txt? Jika mudah dan cepat, mengapa tidak. Tapi jangan berharap keajaiban. Dan jangan pernah mengorbankan strategi konten yang solid untuk mengikuti tren teknis yang belum terbukti.
Ingat: Di dunia AI, seperti di SEO, konten adalah raja. Teknologi hanyalah pelayan yang baik.
