後來河合若子被父母做主嫁給了一個日本軍官, 河合仙便把蘇曼殊當作自己的孩子撫養,兩人以母子相稱。
直到蘇曼殊5歲,被父親帶回廣東老家認祖歸宗,而河合仙一個人留在了日本。由於父親常年在外,母親又不在身邊,幼小的蘇曼殊在妻妾成群的蘇家飽受欺凌,不但被人罵是「東洋雜種」,幾位夫人也整天刁難他。
在蘇曼殊12歲時,不幸患上了瘧疾,家裡沒人管他,還把他丟到柴房裡自生自滅。
在經歷了那場病痛折磨後,他選擇離開蘇家,去寺廟尋求佛祖的庇佑,這是他的第一次出家,不是因為看破紅塵,而是為了生存。
但他後來因為一時嘴饞,把一隻病鴿烤熟吃了,被發現後逐出了寺院,無處可去的他,只能回到了蘇家。