Şeyh Yahşi isminde bir mutasarrıf tarafından yaptırıldığı anlaşılmaktadır. Yapım tarihi tam olarak tespit edilememekle birlikte;  Fatih’in 1946 yılında yaptırdığı Karaman eyaleti vakıflarının tahririnde bu zaviyenin adı da geçmektedir. Uzluk zaviyenin adını “Bahşayiş” şeklinde okumuştur. Zaviyenin tasarrufu Abdül Ali adında bir kişinin üzerindedir. Bu zaviyenin tasarrufu, Sultan Mehmet’in hükmü ile Bahşayiş bin Ali üzerindedir. Zaviyenin gelirleri arasında bağ, bahçe, kovan yani arı ve koyun vergisi bulunmaktadır. Günümüzde zaviye tamamen ortadan kalkmış durumdadır. Ancak eski cami yanında Şeyh Bahşi’ye ait olduğu söylenen bir mezar bulunmaktadır. Mezar üzerine birkaç yıl önce mermerden sanat değeri olmayan küçük bir türbe yaptırılmıştır.

Zaviyenin mutasarrıfı Şeyh Sadık’ın beratı yenilenmiştir. Şeyh sadık görevinden feragat edince yerine Şeyh İsmail atanmıştır. Şeyh İsmail’in feragati üzerine 1769 tarihinde oğlu Şeyh İbrahim ve emmisinin oğlu Şeyh Bahşi bin İsa zaviyedarlık görevine atanmıştır.