Camideki kıblenin yanlış olduğu 1.5 yıl önce fark edildi, cemaat bir süre kendi tahmin ettiği kıble yönüne dönerek namazını kıldı. Son bir yıldır ise kıble yönüne ip çekilerek namaz kılındı. Camide kalıcı çözüm üretilemeyince yıkımına karar verildi. Cumhurbaşkanı Recep Tayyip Erdoğan, 2007'de Başbakanlığı döneminde bu camide cuma namazını kılmıştı. Sarayköy'ün Efeler Meydanı'nda 1904 yılında yapılan Ağalar Camisi, 1966 yılında tadilat geçirdi. Ancak 100 yılı aşkın bir süredir caminin kıblesinin yanlış yöne baktığını kimse fark etmedi.

Cemaat kıble sandığı yöne doğru namazını kıldı. Kıblenin yanlış yöne baktığı 1.5 yıl önce fark edilince başka çözümler denendi. Cemaat ve imam, bir süre kendi tahmin ettikleri kıble yönüne doğru namazını kıldı. Geçen yıl da ilçe müftülüğü, kıblenin doğru yönünü gösteren ip çekerek, cemaatin bu ipin arkasında namazını kılmasını sağladı. Ağalar Camisi'nin kıblesinin yanlış olması cemaati de böldü. Bir kısım caminin yıkılıp yeniden yapılmasını isterken, diğer kısım yıkıma karşı çıkarak ipli yöntemin kıble sorununu çözdüğünü belirtti. Caminin yıkılmasını isteyen cemaatin çoğunlukta olması üzerine yıkım kararı alındı. Caminin yıkımının kısa süre içinde tamamlanacağı ve yeni caminin de aynı yere kıbleyi doğru yönde gösterir şekilde yapılacağı öğrenildi. 

Sarayköy İlçe Müftülüğü caminin bahçesine 'Cennette sizin de bir köşkünüz olsun' yazılı afiş asarak yeni caminin yapımı için yardım toplamaya başladı.  Denizli İl Müftüsü Mehmet Aşık, caminin kıblesinde biraz sapma olduğunu ve dinen sakınca olmadığını belirterek, "Caminin kıblesinde biraz sapma olduğunu bizde tespit ettik. 45 dereceye kadar olan sapmalarda dinen bir mahsur yok. Cemaat rahat olsun, geçmişte kılınan namazlar için mahsuru yok, kılınan tüm namazlar geçerlidir" dedi.  14 Eylül 2007 tarihinde Denizli'nin Sarayköy İlçesine gelen dönemin Başbakanı olan Cumhurbaşkanı Recep Tayyip Erdoğan'da Cuma namazını Ağalar Camisinde kılmıştı.