অধিনায়কের দায়িত্ব পালন করতে গেলে মাঠ ও মাঠের বাইরে অনেক ভুলত্রুটি হতেই পারে। কোনো খেলোয়াড়ের পক্ষ থেকে কোনো অভিযোগ থাকলে সেটি তাঁর সঙ্গেই আলাপ করতে পারতেন বলে মনে করেন ইউনিস। তিনি বলেন, ‘যদি খেলোয়াড়দের আমার ব্যাপারে কোনো অভিযোগ থাকত, তাহলে আমার সঙ্গে কথা বলতে পারত। তারা দাবি করেছিল, আমাকে অধিনায়কের পদ থেকে সরাতে চায় না তারা। শুধু ক্রিকেট বোর্ডকে তাদের সঙ্গে আমার আচরণের সুর নরম করতে বলেছিল তারা।’
কিন্তু ইউনিসের দাবি, ক্রিকেটাররা ঠিকই বোর্ডের সঙ্গে কথা বলতে গিয়ে তাঁর পদত্যাগের দাবি তুলেছিলেন। আর এর পেছনে মূল কলকাঠি নেড়ে ছিলেন আফ্রিদি। পিসিবি চেয়ারম্যানের সঙ্গে আফ্রিদির সাক্ষাৎ প্রসঙ্গে ইউনিস বলেন, ‘যদি তা–ই হয়, তাহলে তৎকালীন পিসিবি (পাকিস্তান ক্রিকেট বোর্ড) চেয়ারম্যান এজাজ বাটের সঙ্গে যখন সাক্ষাৎ করতে গেল, জ্যেষ্ঠ খেলোয়াড়দের একজন, শহীদ আফ্রিদি বারবার অধিনায়ক পরিবর্তনের জন্য আবেদন জানিয়েছিল। আমার কাছে এটা অবশ্যই অধিনায়কত্ব পাওয়ার উচ্চাকাঙ্ক্ষা।’
ইউনিসের অধিনায়কত্বের ক্ষমতায় মুগ্ধ ইমরান খান বরাবর চেয়েছিলেন এই ব্যাটসম্যান দলের অধিনায়ক থাকুন। কিন্তু ২০০৯ সালে কিংবদন্তিকে হতাশ করে অধিনায়কের পদ থেকে ইস্তফা দেন ইউনিস। তখন মিসবাহ উল হককে টেস্টের দায়িত্ব এবং আফ্রিদির কাঁধে তুলে দেওয়া হয় সাদা বলের ক্রিকেটের অধিনায়কত্বের দায়িত্ব।
সতীর্থদের এমন আচরণে ক্ষুব্ধ ইউনিস নাকি শেষ চার বছর নিজের হোটেলরুম থেকেই বের হতেন না। শুধু ম্যাচ বা অনুশীলনের জন্য বের হতেন। অন্য সময় সতীর্থদের সঙ্গে আড্ডা বা গল্প না করে নিজেকে রুমেই আটকে রাখতেন।
২০১৬ সালে ওয়ানডে থেকে অবসরের ঘোষণা দেন ইউনিস। ইংল্যান্ডের বিপক্ষে ম্যাচের আগে সবাইকে অবাক করে দিয়ে সাদা বলের ক্রিকেট থেকে সরে দাঁড়ান তিনি। যদিও সিদ্ধান্তটি হুট করে ছিল না বলে জানিয়েছেন ইউনিস, ‘সেটি হঠাৎ নেওয়া কোনো সিদ্ধান্ত ছিল না। যেহেতু এর আগের দুই বছর ওয়ানডেতে একাদশে সুযোগ পাচ্ছিলাম না, তাই সিদ্ধান্তটি আগেই নিয়ে রেখেছিলাম।’
২০১৭ সালে সব ধরনের ক্রিকেট থেকে অবসর নেন ইউনিস। এর আগে ১১৮ টেস্ট খেলে ১০০৯৯ রান করেছেন তিনি। পাকিস্তানের হয়ে টেস্টে সর্বোচ্চ রান তাঁরই। ২৬৫ ওয়ানডে খেলে তাঁর রান ৭২৪৯।