京都府相楽郡大河原村南大河原（現・南山城村）にて、小学校の教頭の長男として生まれ、三重県名賀郡古山村菖蒲池（現・伊賀市）で育つ。1938年、三重県立上野中学校 (旧制)に入学。同校では、書を松永楳園に、油絵を佐々木三郎に学ぶ。

1943年に同校を卒業し、三重師範学校（現・三重大学教育学部）に入学。在学中、学徒出陣で徴兵され、沖縄に派遣される予定だったが、艦船がなかったために鹿児島で足止めされ、そこで敗戦を迎える。のち選科生として京都大学文学部に入学し、井島勉のもとで美学を学んだ。京都大学卒業とされる場合もあるが、卒業の事実は確認できていない。

師範学校卒業後、隣村の国民学校に教員として勤務。1946年、奈良国立博物館の第1回正倉院展を観に行った足で奈良在住の書家・辻本史邑に入門し、書の道に入る。日本書藝院展に出品した漢詩で推薦一席（最高賞）を1951年から2年連続で受賞するなど、20代の頃から頭角をあらわし、頂点にまで上り詰めるも、師辻本史邑の死を機に、1958年、日本書藝院や奎星会を退会して書壇から退き、以後は特定組織に属さず独自の世界を作り続けた。

1952年3月、故郷の伊賀から大阪に移住し、大阪府大阪市や八尾市に住んでいたが、30年後に故郷の伊賀に帰った。50歳を過ぎて自然豊かな故郷の伊賀に戻ってからは、山野を歩き、自然に着想を求めた素朴な画に詩文を添えた「詩書画」の世界を確立した。かつては高校で書道と国語の教員を務め、教職員組合活動にも参加したことがある。リベラルな思想の持ち主であり、日展の保守的体質には批判的。政党では日本共産党に期待を寄せるコメントを出したことがある。

また、昭和天皇の戦争責任についても「わたしは、昭和天皇と東條英機とは、りっぱな戦争責任者だ、と思う」と発言したことがある。歌手の高橋真梨子のファンである事をNHKラジオ第1放送で語っている。また、ジャン・ミッシェル・ジャールの『磁界』を愛聴し、「ジャンの曲には、追憶と幻想が入りみだれ、わたしの脳髄の吐息を、やわらげてくれた」とも語っている。2010年10月3日、急性心不全のため奈良県天理市の病院で死去。84歳没。越前屋俵太の別名：俵越山は本人にあやかって命名されている。なお、孫の榊太基は伊賀市の伊賀青年会議所（伊賀JC）で地域革新委員長を務め、同市のマスコットキャラクター「いが☆グリオ」をデザインした。

1926年　三重県に生まれる
1953年　大阪に出て、難波・東淀川などを転々
1981年　親の死去に伴い帰郷、山国の山中暮らしを続けている