بعد از سه، چهار ماه که در شهرداری مشغول بودم روزی احمد نامدار به من اطلاع داد که شاه به امینی گفته که نصر در شهرداری کارش تمام است و باید برود. شما فردا به نخست‌وزیری بیایید. فردا صبح به نخست‌وزیری رفتم. ابتدا امیر عزیزی ــ وزیر کشور ــ آمد و گفت: سه چهار ماه قبل شاه به من گفت: این جوان را که آوردید و معاون شهردار قرار دادید بهتر است شهردار باشد و من به شاه گفتم: نخست‌وزیر نسبت به نصر رودرواسی دارد ولی تمام احتیاجات او را به نفیسی دادیم.  یک ماه بعد شاه به من گفت: این [نفیسی] که همه کارها را بلد است چرا کسی را بالای سرش گذاشته‌‌اید مجددا همین جواب را به ایشان دادم. پریروز باز مرا خواستند و گفتند من نمی‌خواهم این [دکتر نصر] شهردار باشد، باید فلانی [نفیسی] را شهردار کنید. مطلب را به نخست‌وزیر گفتم و ایشان هم خیلی ناراحت شد و می‌گوید حالا من با دکتر نصر چه کار کنم؟ من هم به ایشان گفتم: آقا اگر تو دکتر نصر را می‌خواهی استعفا بده و اگر مایلی نخست‌وزیر باشی اینقدر شاه را ناراحت نکن. تو که وزیران خودت را این جور انتخاب کردی و بیشتر آنان را نمی‌شناختی حالا چه اصراری نسبت به نصر داری؟

در این بین آقای دکتر امینی وارد شد و خطاب به من گفت: از دست تو روز و شب ندارم. گفتم: عجب من چوب دو سر طلا شدم. عنوان مال دیگری است و زحمتش مال من، تازه بدهکارم. دکتر امینی گفت: حقیقتش من برای دکتر نصر ناراحتم. به ایشان گفتم: اجازه می‌دهید من پیشنهاد بکنم؟ گفت: بگو. گفتم: شما و دکتر نصر و آقای اشتری که وزیر مشاور شماست هر سه برای موعظه خوب هستید به‌طوری‌که برای هر کسی صحبت کنید، طرف پس از تعظیم، حق را به شما می‌دهد. دکتر نصر را هم به‌عنوان وزیر مشاور معرفی کنید. این کار برای ایشان خیلی بهتر و راحت‌تر از کار شهرداری است و میدان وسیعی برای صحبت ایشان فراهم می‌کند. امیرعزیزی بلافاصله بلند شد و مرا بوسید.

دکتر امینی گفت: پیشنهادت عالی است و فوری گوشی تلفن را برداشت و از وزیر دربار خواست که از شاه پنج دقیقه وقت بگیرد برای یک کار فوری و مثل برق عازم دربار شد. فوری هم برگشت. عزیزی از او پرسید: چی شد؟ امینی گفت: وقتی این پیشنهاد را به شاه گفتم، گفتند: چرا ده دقیقه قبل که اینجا بودی نگفتی؟ جواب دادم که این پیشنهاد را احمد نفیسی داد. شاه گفت: اینکه عقلش می‌رسد هم تو را خوشحال و هم شر این مرد را از سر من کوتاه کند، چرا زودتر او را سر کار نیاوردی؟ خلاصه آقای دکتر نصر وزیر مشاور شد. اما دکتر امینی هنوز حاضر نبود مرا به‌عنوان شهردار معرفی کند و به امیرعزیزی گفت: فلانی را برای معرفی نزد شاه ببرید به‌عنوان کفیل شهرداری. روزی که با عزیزی به کاخ سعدآباد رفتیم وزیر کشور خطاب به شاه گفت: برحسب دستور آقای نخست‌وزیر، احمد نفیسی را به‌عنوان کفیل شهرداری معرفی می‌کنم. شاه گفت: باز هم که شهردار نشد. عزیزی گفت: قربان، به نظر آقای نخست‌وزیر ایشان برای این کار خیلی جوانند. شاه گفت: نخیر، باید شهردار تهران باشد…

احمد نفیسی، کتاب خاطرات «برنده‌ها هم بازنده‌اند»