از همان سال هایی که زمزمه ساخت برج میلاد مطرح شد، شایعه ای به گوش می رسید که قرار است برج میلاد ساخته شود تا جایگزین نماد تهران یعنی برج آزادی شود؛ شایعه ای که هنوز هم به قوت خود باقی است. این گروه بر این باورند که برج آزادی، نمادی از طاغوت است و برج میلاد ساخته شده تا به عنوان نماد و دستاوردی از انقلاب اسلامی ایران باشد. این شایعه زمانی قوت گرفت که روز به روز بر تبلیغات و برنامه هایی که در برج میلاد برگزار می شود، افزوده شد به طوری که امروز نمی توان به سادگی از کنار نقشی که برج میلاد در عرصه فعالیت های فرهنگی و حتی اقتصادی دارد، گذشت. اما با این وجود هنوز هم بسیاری از کارشناسان