天保11（1840）年、現在の埼玉県深谷市の血洗島の農家の家に生まれる。幼い頃から家業である藍玉の製造・販売・養蚕を手伝う一方で、父・市郎右衛門から学問の手ほどきを受ける。七歳になると従兄の尾高惇忠（じゅんちゅう）のもとへ『論語』などの漢籍をはじめとする学問を習いに通う。

20代で尊王攘夷思想の影響を受け、倒幕思想を抱き、惇忠らと高崎城乗っ取りを計画。しかし惇忠の弟・長七郎は京都での見聞からこれに反対、計画は中止に。

その後、従兄の渋沢喜作とともに京都へ向かい、一橋（徳川）慶喜に仕官。一橋家で実力を発揮し、二七歳のとき、慶喜の弟・徳川昭武に随行し、パリ万国博覧会を見学し、欧州諸国の実情に触れる。

明治維新となって帰国すると、日本で最初の合本（株式）組織「商法会所」を静岡に設立。その後、明治政府の大蔵省に仕官。大蔵省退官後、一民間経済人として株式会社組織による企業の創設・育成に力を入れるとともに「道徳経済合一説」を唱え、第一国立銀行（現・みずほ銀行）ほか、東京瓦斯（がす）、東京海上火災保険（現・東京海上日動火災保険）、王子製紙（現・王子製紙、日本製紙）、日本鉄道（現・JR東日本）、秩父セメント（現・太平洋セメント）、帝国ホテル、秩父鉄道、京阪電気鉄道、東京証券取引所、麒麟麦酒（現・キリンホールディングス）、札幌麦酒（現・サッポロホールディングス）、東洋紡績（現・東洋紡）、大日本製糖、明治製糖、澁澤倉庫など、多種多様の企業の設立や運営に関わり、その数は500以上といわれている。

また、社会活動に熱心で、東京市からの要請で養育院（現在の東京都健康長寿医療センター）の院長を務めたほか、東京慈恵会、日本赤十字社、癩癩らいら予防協会の設立などに携わり、財団法人聖路加国際病院初代理事長など、約600もの社会公共事業、福祉・教育機関の支援と民間外交にも熱心に取り組み、数々の功績を残した。昭和6（1931）年、91年の生涯を閉じる。