流刑地の島まで、船で五時間って近すぎませんかね？ 島には普通に町があり、産業もあるようですから、小舟を作って簡単に逃げ戻り放題になるんじゃないでしょうか？
遠島刑は時代や地域によっては、死刑以上の過酷な刑罰なので、もっと厳しい条件にした方が良いと感じました。