আর্টিকেলের শিরোনাম: গুগলবট ও অন্যান্য সার্চ ইঞ্জিন ক্রলারদের ইউজার এজেন্ট তালিকা (২০২৫ আপডেটেড)

ওয়েবসাইটের মালিক এবং এসইও (SEO) বিশেষজ্ঞদের জন্য সার্চ ইঞ্জিন ক্রলার বা বট-এর কার্যক্রম বোঝা অত্যন্ত জরুরি। এই বটগুলো আমাদের কন্টেন্ট ইনডেক্স করে এবং সার্চ রেজাল্টে প্রদর্শন করে। কিন্তু আপনি কি জানেন এই বটগুলোকে কীভাবে শনাক্ত করবেন? উত্তর হলো তাদের ইউজার এজেন্ট স্ট্রিং দিয়ে।

প্রতিটি সার্চ ইঞ্জিন ক্রলারের একটি নির্দিষ্ট ইউজার এজেন্ট থাকে, যা দিয়ে তারা নিজেদের পরিচয় দেয়। আপনার ওয়েবসাইটের সার্ভার লগে এই ইউজার এজেন্টগুলো দেখে আপনি বুঝতে পারবেন কোন কোন বট আপনার সাইট ভিজিট করছে। অনেক সময় ক্ষতিকর বটগুলোও গুগলবটের মতো ভালো বট হওয়ার ভান করে, তাই আসল ইউজার এজেন্টগুলো চিনে রাখা জরুরি।

এই আর্টিকেলে আমরা গুগলবটসহ অন্যান্য জনপ্রিয় সার্চ ইঞ্জিনগুলোর সর্বশেষ ইউজার এজেন্ট স্ট্রিংয়ের একটি তালিকা প্রদান করছি।

(আপনি এখানে আপনার “ইউজার এজেন্ট কী?” আর্টিকেলটির লিংক যুক্ত করতে পারেন।)

Googlebot User Agents

গুগল তার বিভিন্ন কাজের জন্য একাধিক ক্রলার ব্যবহার করে। নিচে সবচেয়ে পরিচিত গুগলবটগুলোর ইউজার এজেন্ট দেওয়া হলো:

Googlebot (Desktop): ডেস্কটপ থেকে আপনার সাইটকে ক্রল করার জন্য এই ইউজার এজেন্টটি ব্যবহৃত হয়।
Mozilla/5.0 (compatible; Googlebot/2.1; +[সন্দেহজনক লিঙ্ক সরানো হয়েছে])
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +[সন্দেহজনক লিঙ্ক সরানো হয়েছে]) Chrome/W.X.Y.Z Safari/537.36

Googlebot (Mobile): মোবাইল ডিভাইস থেকে আপনার সাইটকে ক্রল করার জন্য এটি ব্যবহৃত হয়। বর্তমানে গুগল “Mobile-First Indexing” ব্যবহার করে, তাই এটিই সবচেয়ে বেশি দেখা যায়।
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +[সন্দেহজনক লিঙ্ক সরানো হয়েছে])

Googlebot Images: আপনার সাইটের ছবি ইনডেক্স করার জন্য এই বটটি আসে।
Googlebot-Image/1.0

Googlebot Video: ভিডিও কন্টেন্ট ইনডেক্স করার জন্য এই বট ব্যবহৃত হয়।
Googlebot-Video/1.0

Google-Extended: এটি একটি বিশেষ ক্রলার যা Google News এবং Discover-এর মতো প্ল্যাটফর্মের জন্য ডেটা সংগ্রহ করে। আপনি যদি চান আপনার কন্টেন্ট এই প্ল্যাটফর্মগুলোতে না দেখানো হোক, তাহলে এই ইউজার এজেন্টটিকে ব্লক করতে পারেন।
Google-Extended

অন্যান্য প্রধান সার্চ ইঞ্জিনের ইউজার এজেন্ট

Bingbot (Microsoft Bing): বিং সার্চ ইঞ্জিনের প্রধান ক্রলার।
Mozilla/5.0 (compatible; Bingbot/2.0; +[সন্দেহজনক লিঙ্ক সরানো হয়েছে])

DuckDuckBot (DuckDuckGo): প্রাইভেসি-কেন্দ্রিক সার্চ ইঞ্জিন DuckDuckGo-এর ক্রলার।
DuckDuckBot/1.0; (+[সন্দেহজনক লিঙ্ক সরানো হয়েছে])

YandexBot (Yandex): রাশিয়ার সবচেয়ে জনপ্রিয় সার্চ ইঞ্জিন Yandex-এর ক্রলার।
Mozilla/5.0 (compatible; YandexBot/3.0; +[সন্দেহজনক লিঙ্ক সরানো হয়েছে])

Baiduspider (Baidu): চীনের প্রধান সার্চ ইঞ্জিন Baidu-এর ক্রলার।
Mozilla/5.0 (compatible; Baiduspider/2.0; +[সন্দেহজনক লিঙ্ক সরানো হয়েছে])

এই তথ্য কীভাবে ব্যবহার করবেন?

লগ ফাইল বিশ্লেষণ: আপনার সার্ভার লগ ফাইল পরীক্ষা করে আপনি দেখতে পারেন কোন কোন বট আপনার সাইট ভিজিট করছে এবং কতবার করছে।
বট যাচাই করা: অনেক সময় ক্ষতিকর বট নিজেকে গুগলবট হিসেবে পরিচয় দেয়। আসল গুগলবট যাচাই করার জন্য আপনি আইপি অ্যাড্রেসের উপর একটি রিভার্স ডিএনএস (Reverse DNS) লুকআপ চালাতে পারেন। আসল গুগলবটের আইপি অ্যাড্রেসের ক্ষেত্রে ডোমেইন নেম .googlebot.com বা .google.com এ শেষ হবে।
robots.txt ফাইল নিয়ন্ত্রণ: আপনি robots.txt ফাইল ব্যবহার করে নির্দিষ্ট কোনো বটকে আপনার সাইটের নির্দিষ্ট কোনো অংশ ক্রল করা থেকে বিরত রাখতে পারেন। উদাহরণ:
User-agent: Bingbot
Disallow: /private/

শেষ কথা:

সার্চ ইঞ্জিন বট এবং তাদের ইউজার এজেন্ট সম্পর্কে জানা যেকোনো ওয়েবমাস্টার বা এসইও প্রফেশনালের জন্য আবশ্যক। এটি আপনাকে আপনার সাইটের উপর আরও বেশি নিয়ন্ত্রণ দেবে এবং এসইও কার্যক্রমকে আরও কার্যকর করতে সাহায্য করবে।