Sebelum Anda melakukan penelusuran, crawler web mengumpulkan informasi dari ratusan miliaran halaman dan mengelolanya di indeks Penelusuran.

Dasar-dasar Penelusuran

Proses crawling dimulai dengan daftar alamat web dari aktivitas crawling sebelumnya dan peta situs yang diberikan oleh pemilik situs. Saat mengunjungi situs, crawler kami menggunakan tautan pada situs tersebut untuk menemukan halaman lainnya. Software ini memberikan perhatian khusus ke situs baru, perubahan pada situs yang sudah ada, dan tautan yang tidak lagi aktif. Program komputer akan menentukan situs mana yang di-crawl, serta seberapa sering dan berapa banyak halaman yang diambil dari tiap situs.

Kami menawarkan Search Console untuk memberikan pilihan terperinci kepada pemilik situs terkait cara Google meng-crawl situs: mereka dapat memberikan petunjuk mendetail tentang cara memproses halaman di situsnya, dapat meminta crawl ulang, atau dapat memilih untuk tidak menggunakan crawling sama sekali melalui file yang disebut “robots.txt”. Google tidak pernah menerima pembayaran agar suatu situs lebih sering di-crawl. Kami menyediakan fitur yang sama untuk semua situs untuk memastikan kemungkinan hasil terbaik bagi pengguna.

Mencari informasi dengan crawling

Web itu seperti perpustakaan yang terus berkembang dengan miliaran buku tanpa sistem pengarsipan terpusat. Kami menggunakan software yang dikenal sebagai crawler web untuk menemukan halaman yang tersedia secara publik. Crawler akan memeriksa halaman dan mengikuti tautan di halaman tersebut, sama seperti yang Anda lakukan saat browsing konten di web. Crawler akan memeriksa setiap tautan dan mengirimkan data terkait halaman tersebut kembali ke server Google.

Mengelola informasi dengan pengindeksan

Saat crawler menemukan halaman web, sistem kami akan merender konten halaman tersebut, sama seperti yang dilakukan browser. Kami mencatat sinyal-sinyal penting — mulai dari kata kunci hingga update situs — dan kami tetap melacak semuanya di indeks Penelusuran.

Indeks Google Penelusuran berisi ratusan miliar halaman dan memiliki kapasitas hingga lebih dari 100.000.000 GB. Ini serupa dengan indeks di bagian belakang buku, dengan entri untuk setiap kata yang terlihat di setiap halaman web yang kami indeks. Saat mengindeks halaman web, kami menambahkannya ke entri untuk semua kata yang ada di dalam halaman tersebut.

 

 

Dengan Grafik Pengetahuan, kami terus berupaya lebih dari sekadar pencocokan kata kunci untuk lebih memahami orang, tempat, dan segala hal yang Anda cari. Untuk melakukannya, kami tidak hanya mengelola informasi tentang halaman tetapi juga berbagai jenis informasi lainnya. Saat ini, Google Penelusuran dapat membantu Anda menelusuri teks dari jutaan buku yang ada di berbagai perpustakaan ternama, memperoleh info tentang waktu tempuh perjalanan dari perusahaan transportasi umum lokal, atau membantu Anda melihat data dari sumber publik seperti Bank Dunia.