棠樾從宋以前，就有鮑、汪、董、姚、張等姓居住，棠樾又有上下之分，大體説自村西軟橋頭，大母埸溪岸向東到鄣山公墓、牌樓塘一帶稱“上棠樾”。自此，以下為下棠樾。
村名“棠樾”二字，來源於《詩經甘棠》篇周賢呂台伯的故事。台伯深入民間在一棵甘棠樹下辦公，甚得民心，後來特意保護那棵甘棠，讓它枝葉茂盛，清陰滿地。因而把“棠陰”一詞喻為“德政”，棠樾的“樾”字，即指樹陰而言。過來也有人將村名寫作“唐越”。這二個安在當時的農具與墓碑上都能見到。唐是指唐代，越是指“越國公”。
這是為了紀念隋未鮑安國佐助他的妻舅汪華起義保衞六州，百姓免於難得到二州萬民歌頌，民心所歸，唐太宗封汪華為越國公、忠烈王，人民百姓將汪華奉為神靈、村村建汪王廟，香火不斷，所以又有了“唐越”村名。
棠樾在明清屬直隸省徽州府新安衞、袞繡鄉、清屬22都9圖、大和社、慈孝裏、民國屬歙縣豐山鄉、棠槐保，建國後屬富埸鄉，現屬鄭村鎮。
元、明之際，棠樾村人進行了大規模的水系改造，棠樾來自靈山之水、分為兩條，一條自東山、槐塘而來，過村北流入模路塘；另一條去村西沿靈山山脈至西沙溪，此為村中主要水源。
玉正年間，鮑佰源倡導族人截流築成“大姆壩”，灌溉田600餘畝，確保了棠樾農田旱澇保收，同時引水入村，沿村南環繞如帶(前後街有水圳，前暗入地下，後顯露可取用，現已填塞)。又引模路塘水繞村東兩股水去驄步亭匯合，潺潺流至七星墩義善亭(現已毀)水口。
明永樂18-19年對大姆壩重建，並在大姆壩下掘出了一連串的山塘水庫，作為調節，村西北山上的德公塘是一個周遭用條石砌築成的大水庫，保證了大旱時村中的農用水。
建國前，居民以鮑姓為主，其他有汪、吳、董、姚、張、夏、畢等姓。姓屬東晉咸和年間新安太守鮑弘的後裔，原居豐樂河南岸的金圭坦——鮑屯。據明氏記載，由鮑屯分遷各地的鮑氏已有29派。鮑弘的十世孫蘿節居徽郡河西塢至十二世的鮑榮，稱“棠樾派之始祖”，南宋後由棠樾派遷出的，可考的，約有40多個。要目如下：贛州、荊州、蕪湖、無為、桐城、繁昌、和州、鎮江、淮西、淮安、當塗、揚州、蜀源、巖鎮、黃山橋、蕃村、亳州、漳州、通州、杭州、貴池、新館、南村、紹興、衢州、貴州、安順等。
