建監經費及雇用人員前後到位後，除行政人員仍在臺東監獄辦公及建材補給外，其餘人員開始準備戒護各監挑選之建監收容人80名進入綠島。當時綠島除指揮部有少將專用吉普車乙輛外，別無交通車輛，遂於臺東訂製鐵牛車（柴油機用三輪車）乙台，供作搬運建材紅磚、砂石等之用。

　　先遣人員李東明先生、李德生先生（綠島籍、木工專長）等二人，先行搬運載送床舖板料、燒飯用生煤（當時無焦煤、瓦斯與柴火）及炊具等，坐著漁船（當日風大浪大）抵達綠島後，旋至綠島鄉公所舊倉庫搭建通舖及興建爐灶，初步完成簡易工寮及炊煮處所，俾供收容人食宿用。

      隨後，戒護科長李正傑先生，率員戒護收容人連同雇用技工和鐵牛車乙台，前往臺東富崗港搭乘軍方「金星福」木殼船前往綠島。時人員和收容人先上甲板，繼而鐵牛車由司機李憲明先生用跳板開上船，由於船體寬度與鐵牛車長度相差無幾，經進退三次方順利開上甲板固定，然鐵牛車開上船時，木殼船因擦撞碼頭岸邊，造成船體破洞卻無人知曉，直臨開船之際，幸而上天佑之，岸上有人看見船體破損，並高喊「有洞，有破洞！」後，眾人方驚覺，隨即上架補洞，方免此飛災橫禍。是日船抵綠島時已夜色如墨，只能以手電筒照明四下，且採摸頭方式清點收容人人數後，戒護至中寮預建之通舖用餐就寢。

     收容人於工寮休息三天後正式開工，之後每日早出晚歸，從工寮到工地步行約需半小時，伙食為四菜一湯，均席地而食，副食不夠時，則由公費貼補。處遇上採香菸開放發給（當時各監獄為全面菸禁），加上工資（勞作金）足夠使用，於是收容人們生活自由自在，相對工作賣力，囚情尚稱安定。

　　為使員工於艱辛之興造過程中安定下來，時委由臺東監獄作業科承造員工宿舍10戶及典獄長宿舍乙戶，完工後所花用工程費計新台幣24萬元。本監建築基地呈長方形狀，地勢前低後高，須靠人力將後方沙土挑平回填前方，建地係砂質土壤，當時並無推土機、壓土機，全靠人工挑填壓實，經伍作業導師設計多顆上圓下方之大鐵球，由人工自上而下大力壓實整平，始完成整地工作。

      整地完成後開始正式建屋，於鋼筋加工、定板模、挖地基，建屋挖地基時，柱基處需加強深度，並打下先處理過之防腐堅木樁六支，然後陸續施以豎立鋼筋柱加地樑、灌水泥砌屋牆、立窗門、打地基、灌屋頂、粉光及磨地等工事，一切按法施工，又搭鷹架供工人攪拌水泥（當時工地沒有預拌機及震動器等灌漿機械與設備），水泥成分比例為1：2：4，後依序興建廚房、發電機房、舍房、工廠、辦公室、中央台、串廊、隔離舍（註3）、宿舍及大圍牆等，至於大禮堂部分，則為接任典獄長屠其煥先生任內所建。

（註3：本監隔離舍設計採舍房背靠背式建築，位於主要建築基地後方，須由收容人挖挑土方至前方低漥處填實，時為鼓勵挑土賣力者，曾以三五牌洋煙作為獎品，掛在低窪處供收容人分組挑土比賽，在工作艱難時，如此方法屢屢效果顯著。）