1944年12月12日、愛知県中島郡萩原町(現・一宮市)に生まれる。「燃えよドラゴンズ!99」のカップリング曲「ROCK’N ROLL ふるさと」の歌詞には生家への行き方が書かれている。父親は石川県河北郡津幡町笠谷の旧家の出で、父方の祖父は「立山伊次郎」の四股名で雷部屋に所属した力士であった。舟木が父から聞いたという話によると、本名の「成幸」という名前は楠木正成と真田幸村の二人の武将から一字ずつとって命名したとのことである。音楽に興味を持ち始めたのは、1か月間肩叩きを続けたご褒美にと祖母からハーモニカをプレゼントしてもらったこと、ラジオで三橋美智也の歌を聴いたことがきっかけの一つ。13歳年下の弟が出来た頃、家が貧しかったことから「誰かがこの家にお金を入れ続けないと。弟が物心つくまでに人並みの生活をさせてあげたい」として学校卒業後は自分の才能で短い間に稼げる世界に行きたいと思うようになり、そんな時に友人の家のテレビで歌手を見て、これだと思い歌手を目指すようになった。中学2年生の時に父に頼み込み、中学の音楽の先生の紹介で指揮者の山田昌弘を紹介してもらい、名古屋市内の教室に通ってレッスンを受ける。高校2年であった1962年2月、地元のCBCテレビの番組『歌のチャンピオン』に出場して松島アキラの『湖愁』を歌い、チャンピオンになる。同年3月、名古屋市内のジャズ喫茶で行われた「松島アキラショー」で、ステージ上の松島アキラが『湖愁』を誰か一緒に歌わないかと客席に声を掛けた所、前列に居た高校生が勢いよく手を上げた。少年は隣に居た同級生に手首を掴まれての事であった。狐に摘まれた表情で舞台に上がった少年は、見事松島と共に「湖愁」を歌いきった。この少年こそ、後の舟木一夫である。
偶然そこに取材に来ていた「週刊明星」の記者恒村嗣郎が目を付け、上田少年に氏名と住所を聞き、東京に帰ると、早速ホリプロの会長だった堀威夫に名古屋での出来事を話し、興味を持った堀は、電話で上田少年を日本コロムビアのディレクターだった斎藤昇に紹介。斎藤は作曲家遠藤実にレッスンを受けさせることにし、斎藤昇に歌のテープを送ることを依頼。そのテープを聴いた堀は、翌年5月上田少年を上京させ、愛知高等学校から転校した自由ヶ丘学園高等学校へ通いながら、遠藤実のレッスンを受けることとなった。