童軍活動早於1909年，由一些英國商人和軍人引進香港；而第一個在香港組成的旅團 - 香港第1旅，是於1913年9月在位於香港島的聖若瑟書院成立的。由於當時香港童子軍總會尚未成立，本港的童軍單位都隸屬英國童子軍總會。

香港童子軍總會於1915年組成。成立初期，總會主力負責統籌童軍訓練與活動事務，在行政管理上並沒有區域的劃分。第一次世界大戰結束後，童軍運動在香港再度活躍起來，新旅團如當時的香港第7旅【英皇書院，即現時港島第5旅】、香港第10旅【聖保羅書院】、香港第12旅【皇仁書院】及香港第15旅【華仁書院】等亦相繼誕生。

香港童軍運動的正式管理制度劃分，要追溯至1951年。為免將童軍活動過份集中在其身上，總會決定接納專責英聯邦國家或及地區童子軍運動的巡迴總監杜爾先生之建議，正式將香港劃分成3個童軍區 － 香港區、九龍區及新界區。當時的香港區其實是港島地域的前身，而黃康偉先生獲委任為香港區第一位區總監。

50年代，香港區的童軍運動發展蓬勃，新旅團不斷成立。為配合發展，香港區於1952年擴展為域多利亞區（其後改稱維多利亞區）和黃泥涌區，兩區的區總監分別為余子洲先生和黃康偉先生。

1958年，總會把管理範圍的名稱改為地方，成立了港島地方、九龍地方及新界地方。謝炳奎先生獲委任為第一位港島地方總監。港島地方於1967年改稱為港島地域，而地域再劃分為太平山地方和畢架山地方。太平山地方包括由維多利亞區劃分出來的維多利亞城區、西區及長洲區；畢架山地方則包括由黃泥涌區分拆出來的東區、北區及筲箕灣區。不久，總會取消了地方架構，所有童軍區由地域直接管轄。

此後，隨著童軍運動在港島地域的迅速發展和人口分佈，地域內童軍區域的規劃曾先後作出數次更改。1973年，長洲區改稱為離島區，並轉為隸屬於新界地域。同年，東區劃分成東區和銅鑼灣區。1983年，西區和筲箕灣區分別劃分部份地方成為南區。由東區擴展而成的銅鑼灣區，於1996年再度與東區合併為灣仔區。1999年，柴灣區正式成立。

1954年，香港童子軍總會由花園道摩士小屋遷往九龍覺士道摩士大廈，摩士小屋於是成為香港區的童軍總部。港島地方成立初期，其總部同樣設於摩士小屋，直到1978年才搬到新落成之愛群道鄧肇堅大廈。