世仆制起源于封建社会的蓄奴制。西晋末“五胡乱华”，相当多汉人逃离兵乱的北方到达现在的广东地区。汉人中的豪族征服一些势弱汉人及大部份少数民族，并将这些人收为奴隶，并规定奴隶的子孙世代都是主人家族的奴隶。蒙古人与满州人也有此制度，蒙古人叫门户奴隶那可儿，满州人叫包衣阿哈。在日本，这种身份的奴隶称为谱代下人或谱代奉公人，各地区又有家抱（けほう）、门屋（もんや）、庭子（にわこ）、内百姓等称呼。