文明二年（１４７０年）、長野県北佐久郡立科町（当時は芦田村）に、芦田備前守光徳の嫡子右衛門尉光玄が、父光徳の菩提を弔うために寺を創建し、その名を光徳寺と称した。その後天正１８年（１５９０年徳川家康が江戸城に入城した年）に芦田康寛は徳川家康の信頼厚く、より江戸に近いところへと立科から藤岡に転封された。芦田家の菩提寺であった光徳寺も共に移すこととなり、本堂・庫裡は解体して運ばれ、再び藤岡に建てられた。徳川幕府より御朱印地１５石を賜り地方の名刹となる。山内には山門、総門、裏門が建設され、鐘楼堂、鎮守寺の稲荷神社などが回廊で結ばれた素晴らしい伽藍であったという。

　光徳寺の御開山様は、通幻禅師様（大本山総持寺第５世住職）の法孫である鷹林伊隼和大和尚である。それから第7世の猶國知存大和尚の時に藤岡へ移転された。この猶國知存大和尚は大変立派な方で、藤岡に来てから下大塚の源性寺と高山の興禅院を開き、更に大本山総持寺の輪番住職となられた。その後、第１０世光山梵徳大和尚が上大塚の大雲寺を開き、３寺の末寺を持つ寺となった。

　立科町で１２０年、藤岡に来てから４４４年余り、昭和１２年に本堂、昭和２５年に山門の改築修繕を行い、昭和６３年に観音堂、水屋を建設、さらに第３２世現住職文光和尚により平成１２年に客殿、庫裡が整備され、平成２７年新本堂が完成。現在に至る。