本競走は、1934年当時の中山競馬倶楽部理事長であった肥田金一郎氏が、東京競馬場の東京優駿（日本ダービー）に匹敵する中山競馬場の名物レースとする目的で創設した障害競走である。第１回は同年秋に『大障害特別』の名称で行われ、翌1935年から春と秋の年２回開催に拡大された（1971年秋は、馬インフルエンザの影響により競走取り止め）。その後、度重なる名称変更を経て、1948年秋に現在の名称である『中山大障害』として定着している。
創設時の障害の規模は、中山競馬場・4100ｍに大土塁障害（通称赤レンガ）が高さ1.4ｍ、幅2.2ｍ、大竹柵障害が高さ1.6ｍ、いけ垣障害が高さ1.5ｍ、幅2.7ｍで現在の障害より大きく、合計10回の飛越と坂路（谷もしくは「バンケット」と呼ばれることもある）を６回上り下りするという過酷なものであった。その後、何度かの距離変更を経て1972年秋からは創設時の4100ｍに戻され、障害レースのスピード化に伴う事故防止のため障害の規模を多少縮小したものの、我が国では最も難度の高いレースで、『華の大障害』と呼ばれ親しまれており、障害を飛越する馬の迫力は平地競走とはまた違う醍醐味を感じさせる。
1957年から４歳（現３歳）馬の出走が秋のみ認められ、外国産馬は1989年から春、1993年から秋のレースにそれぞれ出走可能となっている。さらに、2011年からは国際競走に指定され、８頭までの外国馬に出走資格が与えられている。
1999年に障害競走の改革に伴うグレード制導入により、本競走は最高峰のJ・GI に格付けのうえ、負担重量も別定から定量に変更された。また、同年から春季は『中山グランドジャンプ』としてリニューアルされたため、『中山大障害』は秋季のみの開催となったが、暮れの中山競馬を彩る障害のビッグレースとして、多くのファンに親しまれている。
なお、2002年に短期免許を取得してニュージーランドから来日したロシェル・ロケット騎手が、ギルデッドエージに騎乗して大差で快勝、ＪＲＡ史上初の女性騎手による重賞制覇を成し遂げている。