玉島はかって吉備の穴海と呼ばれる浅い海の西端部で、現在の船穂地区の丘陵部付近までその穴海は広がり、その穴海の中に乙島、柏島等の島と、七島、阿弥陀島等の小さな島々が集まって浮かんでいた。柏島、乙島は源平水島合戦の戦場としても知られ、柏島山上には良寛和尚修行の寺、円通寺がある。中国山地から高梁川で運ばれてくる土砂の沖積が進んだ江戸時代になると備中松山藩による新田開発が進められ北前船高梁川を利用した高瀬舟の往来で栄え、堤防上には町並みが作られて今の玉島の原型が出来上がっていった。