傳說賽夏族的祖先發源發大霸尖山,目前則定居於苗栗縣南庄鄉與新竹縣的五峰鄉境內。賽夏族自稱Saysyst,有「真人」的意思。四週為泰雅族及客家村落所環繞,由於地緣關係,與平地漢人接觸頻繁也因此受漢人和泰雅族之習俗影響亦深。

社會，有很清楚的姓氏制度。賽夏族人的姓氏制度很特殊，以動物、植物、自然現象做為氏族的圖騰，並加以運用在漢姓上面。如目前姓「風」的族人相傳是風的後代；「日」姓族人則是神話中射日英雄的後代；而「芎」姓表示他們的祖先來自長滿九芎樹林的地方。 這些姓氏不僅說明了賽夏族人的圖騰觀念，也符合了氏族的需要，由於傳統姓氏轉換至漢姓的成功，賽夏族是台灣原住民族當中，唯一能夠直接由漢姓看出氏族關係的族群。