历史上，几次北方汉人大规模南迁均因为社会动荡不安、纷乱相乘。魏晋南北朝的动乱、唐末黄巢起义、宋末元兵南侵，使中原汉人南迁，带来了中原的建筑技术和形式。
客家人千里迢迢迁往闽、粤、赣等山区，而在迁往东南肥沃富饶的漳州平原时，就遭到了闽南人的殊死抵抗。因此在这一带土楼最为集中，其防御性也最为突出。这正是民系冲突激烈的反映。
而迁往闽西的客家人则与当地人虽有主、客之分，但冲突并不十分激烈；主要是因为闽西较为落后，客家人在数量上已超过当地人，生产技术、文化水平均占优势；客家人的迁入使闽西得到开发，而在与闽西当地人长久相处中甚至还形成了共同的语言——闽西客话。因此这一带客家民居防御性便不如闽南客家民居突出。
总之，在客家人聚居地区大量的楼、围、堡形式的民居，倘若没有动荡不安的社会环境、激烈不断的民系冲突的催化作用，是难以兴起并蓬勃发展的。
