胡宗南1896年5月12日出生，祖籍浙江镇海。1915年中学毕业后，先后受聘于孝丰县立小学和私立王氏小学，任国文、历史和地理教员。
1924年，胡宗南前往浙江湖州参加别动队，与王亚樵结拜为金兰兄弟。
别动队解散后，胡宗南到广东投考黄埔军校，因其身高不足，体格检查时被淘汰，经军校党代表廖仲恺特许参加考试4月被录取。
胡宗南于6月16日正式入学，此间结识了“同乡”蒋校长，11月于黄埔军校毕业后，胡宗南被分配在军校教导第1团第3营第8连任少尉见习。
1923年，教导团奉命参加讨伐陈炯明的东征，胡宗南作战勇敢，表现优异，在激烈的战斗之中不畏枪林弹雨，在战斗最激烈的时刻始终指挥两挺机枪掩护官兵作战，胡宗南第一次在军中崭露头角，并得到了蒋介石的注意和器重，胡宗南因功被晋升为机枪连上尉副连长。当时，对于黄埔军校第1期的毕业生的评价，有这样的说法：文有贺衷寒，武有胡宗南，能文能武李默庵。
在蒋校长提携下，1927年5月胡宗南任第1军第1师少将副师长兼第2团团长，成为国民党黄埔系学生的第1个将军，后来又成为黄埔同学中第一个军长、第一个兵团总指挥、第一个集团军总司令、第一个战区司令长官。
1931年1月13日，胡宗南升任第1师中将师长，开始建立自己的军事体系，形成黄埔系“少壮派集团”。
1932年3月，蒋介石授意其心腹贺衷寒、康泽、胡宗南等人（均为黄埔军校毕业生）成立特务组织“中华民族复兴社”（仿照法西斯特务组织意大利黑衫党、德国褐衫党，又称“蓝衣社”），由蒋介石核定干事十三人为该组织骨干，被称为“十三太保”。胡宗南居蒋介石“十三太保”之首，以黄埔系“太子”自诩。
1932年5月胡宗南参加“围剿”大别山的红4方面军，不久率领第1师进入甘南布防。1935年6月积极参加拦截围攻长征红军，11月22日当选为国民党第5届中央监察委员，标志着黄埔系的势力开始进入中央决策机构。
1936年4月21日胡宗南为第1军军长，兼第一师师长，进攻陕北红军，彭德怀率领红军迎击，大败胡宗南。12月12日“西安事变”爆发，胡宗南正在陕西惠安堡附近，得知蒋介石被扣的消息后，旋即赶到天水，支持戴笠赴西安营救蒋介石。
1937年7月7日抗战爆发，胡宗南率部参加淞沪会战，13日升任第17军团军团长。1939年8月4日任第34集团军总司令，成为黄埔系学生的第1个集团军总司令；12月，胡宗南受蒋介石指使，集结部队准备向延安进攻。
1940年1月，蒋介石掀起第一次反共高潮，胡宗南奉命在空军的配合下，向陕甘宁边区纵深进犯，蚕食5个县，并公开喊出“消灭边区”的口号，严密封锁，构筑了一条长达700余里的由碉堡、工事组成的封锁线。1942年7月23日，胡宗南升任第8战区副司令长官兼第34集团军总司令，掌握第8战区实权，屯兵西北，封锁、侵犯陕甘宁边区，号称“西北王”。
1943年7月，胡宗南曾密谋突袭延安，被胡宗南的机要秘书、地下党员熊向晖暴露而作罢。1945年1月12日就任第1战区代理司令长官，辖45万人；5月当选为国民党第六届中央执行委员；7月31日被正式任命为第1战区司令长官，成为黄埔系学生中唯一的战区司令长官。10月3日特加陆军上将衔，此时第1战区指挥的部队总兵力达50万人，势力分布到陕西、甘肃、宁夏、河南、晋东南地区。
1946年1月1日，胡宗南被任命为郑州绥靖公署副主任，1947年3月4日被任命为西安绥靖公署主任。3月11日，胡宗南在洛川召开军事会议，决定采取钳型攻势，企图包围歼灭陕北解放军，占领延安以及整个边区。3月13日指挥15个旅（14万人）进犯延安，3月19日令整编第1师第1旅进入延安空城，胡宗南组织作战参谋捏造战报，大吹大擂“俘虏敌5万”的“重大胜利”。
1947年5月28日，52岁的胡宗南结婚了，娶了比自己小18岁的娇妻叶霞翟。
1947年3月25日，第31旅在青化砭大部被歼，4月16日第135旅在羊马河被全部歼灭，5月7日第167旅在蟠龙被全歼。8月22日整编第36师在沙家店全军覆没，至12月，陕甘宁边区大部分被解放军收复。1948年3月1日，整编第29军全部被歼灭，胡宗南向南京请罪，被撤职留任。4月21日延安解放。12月25日，新华社公布43名战犯名单，胡宗南列第30位。
1949年5月20日西安解放，7月14日宝鸡解放，胡宗南集团遭到毁灭性打击，胡宗南窜逃汉中。9月8日兼任川陕甘边区绥靖公署主任，12月7日任西南军政长官公署（军政长官顾祝同）副长官兼参谋长，代行军政长官职权，20日胡宗南决定将军政长官部迁西昌，23日私自飞往海南三亚，28日在顾祝同劝说下飞到西昌。
1950年3月26日胡宗南自己悄悄飞逃台湾，5月台湾45名“监察委员”气势汹汹地联名弹劾胡宗南，胡宗南“应负重大之罪责”。1955年9月胡宗南就任“澎湖防守司令部”司令官，晋任陆军二级上将。1959年，胡宗南在澎湖任期四年后正式退休，结束了长达三十五年的军旅生活。
1960年9月任“防务研究院”毕业同学会会长、“防务研究院”院务委员，深居简出，郁郁寡欢。1962年2月6日胡宗南病情恶化，7日蒋经国奉父命探望，10日蒋介石亲自探望，胡宗南激动万分，涕泪交流，14日凌晨因心脏病突发去世，病逝于台北荣民总医院，终年67岁。台湾成立以何应钦、顾祝同为正副主任的治丧委员会，17日公祭，蒋介石亲自参加祭奠，发表纪念讲话，挽“功着旗常”，6月9日安葬于台北阳明山纱帽山麓。
