গুগল জানে না এমন কিছু নেই। এমনকি আপনার সম্পর্কেও গুগল ভালোই খোঁজখব রাখে। যদি আমাদের কোনও তথ্যের প্রয়োজন হয় যা আমরা জানি না। খুব সহজেই তা আমরা গুগল করে জেনে নিতে পারি। গুগল যদি শিক্ষক হয় আমরা হলাম তার ছাত্র।
এখন প্রশ্ন হল গুগল কিভাবে এতসব শিখল? এতসব জানল? গুগল এর কাজ হল ইন্টারনেটে যত ওয়েবসাইট আছে , তার মধ্যে যত ডাটা আছে তা একত্রিত করা। এর মধ্যে যে ডাটা ব্যবহারকারী-দের প্রয়োজন সেই অনুযায়ী ব্যবহারকারীদের তা পরিবেশন করা। তো এই ওয়েবসাইট এবং ওয়েবসাইটের মধ্যে যে ডাটা তা গুগল কিভাবে সংগ্রহ করে? এর জন্য গুগলের নিজস্ব কোড আছে নিজস্ব এলগরিদম আছে তার মাধ্যমে গুগল ইন্টারনেট এ থাকা সমস্ত ওয়েবসাইট গুলি ক্রলিং করে, বলতে গেলে স্ক্যানিং করে এবং ডাটাগুলি নিজস্ব ডাটাবেস এ স্টোর করে। আর হ্যাঁ, গুগল ঠিক ততটুকুই জানে যতটুকু তাকে শেখানো হয়। আর শেখা কাজটা গুগল বিভিন্ন ওয়েবসাইট থেকে সংগ্রহ করে। ওয়েবসাইট তো যে কেউ বানাতে পারে, তার মানে দাড়াল গুগলকে যে কেউ শেখাতে পারে, তাতে গুগলের কোনো আপত্তি নেই।
কোনো কিছু জানতে হলে আমরা যেটা করি তা হল গুগল সার্চ অপশনে গিয়ে আমরা সেই বিষয়টি সার্চ করি। যদি আমরা সার্চ করি ক্রিকেট ওয়ার্ল্ড কাপ তাহলে গুগল তৎক্ষণাৎ ক্রিকেট বিশ্বকাপ সম্পর্কে তথ্য শো করবে। আর আমরা যখন কোনো কিছু সার্চ করি তখন গুগল তার মধ্যে ইন্ডেক্স করে রাখা ওয়েবসাইট গুলি যেগুলো গুগল শিখেছে বলতে গেলে ক্রলিং করে রেখেছে অথবা স্ক্যানিং করে রেখেছে সেগুলোরই লিস্ট আমাদের দেখায়। এখানে একটি বিষয় উঠে এল গুগল ওয়েবসাইট গুলি ইন্ডেক্স করে অর্থাৎ লিস্ট তৈরী করে , এই লিস্ট গুগল কিভাবে তৈরী করে? এর জন্য গুগল যেটা ব্যবহার করে তা হল স্পাইডার। বলতে গেলে স্পাইডার হল গুগলের নির্দিষ্ট একটি প্রোগ্রামিং বা কোডিং যার মাধ্যমে গুগল ওয়েবসাইট ক্রলিং করে স্ক্যানিং করে। তো এই প্রোগ্রামিং বা কোডিং অর্থাৎ স্পাইডার এর মাধ্যমে গুগল ওয়েবসাইট এর ভিতরে প্রবেশ করে ডাটা ক্রলিং শুরু করে।
এই সময়ে ওয়েবসাইট টির মধ্যে আরও যতগুলি ওয়েবসাইট হাইপারলিংক থাকবে অর্থাৎ ওয়েবসাইটটি আরও যেসব ওয়েবসাইট গুলিকে পয়েন্ট করবে, স্পাইডার সেই ওয়েবসাইট-গুলির মধ্যেও চলে যাবে। ধরা যাক কোনো একটি ওয়েবসাইট পয়েন্ট করছে ছয়টি অন্য ওয়েবসাইট-কে স্পাইডার গুলি সেই ছয়টি ওয়েবসাইটে প্রবেশ করবে। আবার এই ছয়টি ওয়েবসাইট যদি আরও ছয়টি করে ওয়েবসাইট-কে পয়েন্ট করে তাহলে স্পাইডার সেগুলোতেও প্রবেশ করবে। তারপর ছয় তারপর আবারও ছয় চলতেই থাকবে। গুগলের স্পাইডার গুলি এভাবেই সম্পূর্ণ ইন্টারনেট জুড়ে জাল তৈরী করে প্রতি মুহূর্তে ওয়েবসাইট স্ক্যানিং করতেই থাকে। এবং সমস্ত ওয়েবসাইট এর টাইটেল, ডেস্ক্রিপশন, ইউ.আর.এল, হাইপারলিংক সহ বিভিন্ন তথ্য তার ডাটাবেস এ স্টোর করতেই থাকে।