Rize'nin Güneysu ilçesindeki 1130 rakımlı "Dua Tepesi" olarak isimlendirilmeye başlanan Kıble Dağı'nın zirvesine inşa edilen ve manzarasıyla ziyaretçilerini hayran bırakan Kıbledağı Hacı Hafız Yusuf Yılmaz Camii'nin yapımı 2 yılda tamamlandı. Osmanlı döneminin önemli eserlerinden Üsküdar'daki Şemsi Ahmet Paşa Camisi'nin mimarisi ile yapılan caminin açılışı Cumhurbaşkanı Sayın Recep Tayyip Erdoğan'ın Güneysu ziyareti sırasında gerçekleştirildi.
Güneysu ilçesinde, kıble yönünde olması ve ilçenin birçok yerinden görülebilmesi nedeniyle Kıbledağı ismiyle anılan 1130 rakımlı dağın zirvesine inşa edilen caminin yapımı yaklaşık 2 yıllık çalışmanın ardından sona erdi.
Söz konusu proje çerçevesinde camiye giden yolun yapımı tamamlandıktan sonra etrafında yürüyüş parkuru, dinlenme alanı, konukların çay içebileceği park alanı ve mesire yerleri inşa edilerek, güzel vakit geçirmek isteyen vatandaşların hizmetine sunuldu.
Tarihi bir geçmişi de olan Cami, ilk olarak 1800'lü yıllarda Meşula Mehmet Efendi ve Kuş Ahmed Efendi tarafından inşa ettirildi. 1960 yılında bu ahşap camide yangın çıkması nedeniyle Yusuf Yılmaz Hocaefendi tarafından yapı yeniden taştan yapıldı. Yapı uzun yıllar bir dua ve ibadet merkezi olarak kullanıldı. Bölgeye gelen insanların yaya olarak ulaştıkları camide konaklama imkânı da bulunmaktaydı.