قلعه به پیرامون تپه ای كه آرامگاه سید واقف بر فراز آن قرار دارد ایجاد شده و دارای حصاری قدیم و خشتی است كه در ادوار مختلف مورد تعمیر قرار گرفته است. گمان قوی بر آن است كه پس از درگذشت سید واقف و ضعف خاندان گوركانی كه منجر به پیدایش حكومتهای ملوك الطوایفی در قسمتهای مختلف ایران و تاخت و تاز انان به قلمرو یكدیگر شد مردم افوشته نزدیك گنبد سید واقف این قلعه را بنا گذاشتند . این قلعه در زمانهای گذشته به دفعات مكرر مورد مرمت قرار گرفته است زیرا به هنگام تاخت و تاز بیگانگان مردم از این قلعه به عنوان پناهگاه و سنگر استفاده می كردند چه بسا كه در بسیاری از این پایداریها در برابر هجوم اشرار تاب مقاومت نیاورده و پس از سقوط استحكامات آن ویران شده است چون این قلعه در محله باغباد بنا شده به قلعه باغباد معروف است اما در معنی كلمه باغباد به مقاله جشن باغباد به شرح زیر استناد می شود :