El Ferrocarril Central de Nueva York se estableció a partir de varias líneas ferroviarias diferentes que se unieron para consolidar las líneas ferroviarias en todo el estado de Nueva York. George W. Featherstonhaugh solicitó a la legislatura del estado de Nueva York la incorporación de Mohawk & Hudson Railroad Company (M&H) el 28 de diciembre de 1825. Cuatro meses después, el 17 de abril de 1826, Featherstonhaugh nombró a Stephen Van Rensselaer III como el primer presidente de M&H . Otros actores clave en el inicio de la línea ferroviaria fueron Lynde Catlin (presidenta del Merchant's Bank de la ciudad de Nueva York), James Renwick (profesor de matemáticas en la Universidad de Columbia) y John Jacob Astor (comerciante de pieles y comerciante).
Curiosamente, M&H permaneció esencialmente inactivo hasta enero de 1829, cuando comenzó la construcción de una línea que iba de Albany a Schenectady, Nueva York, para aumentar el floreciente negocio de carga realizado en el Canal Erie. El ingeniero Peter Fleming fue contratado para construir este tramo de vía de 16 millas. Fleming, sin embargo, renunció a esta posición en 1830 y fue reemplazado por John B. Jervis. El ferrocarril finalmente abrió sus puertas en agosto de 1831, al doble del costo estimado. Tanto los caballos como la única locomotora de la línea se utilizaron para tirar de los coches durante su fase de funcionamiento inicial, aunque poco después se compraron más locomotoras.
El siguiente eslabón de la línea, que conecta Utica y Schenectady, comenzó a funcionar en 1836. Sin embargo, dado que estas vías eran paralelas al canal Erie cargado de carga, la legislatura estatal proclamó que era ilegal transportar carga hasta 1844. Incluso entonces, la carga solo podía enviarse por este ferrocarril durante los meses de invierno.
Durante este tiempo, otros ferrocarriles se expandieron por el estado de Nueva York. Las líneas entre estados prosperaron, aunque el río Hudson resultó ser una barrera importante debido a la alta velocidad y el costo relativamente bajo a los que se podía utilizar para transportar carga. En 1849, este obstáculo fue superado por la construcción de una línea que iba de Poughkeepsie a Nueva York. Esta pista se alargó hasta East Greenbush, y pronto se hizo evidente que era necesaria una consolidación de las líneas entre estados. Las vías se unieron finalmente en 1853 y se formó el Ferrocarril Central de Nueva York (NYC).
El famoso magnate de los ferrocarriles Cornelius Vanderbilt (1794–1877) obtuvo el control del New York Central en 1868 y lo combinó con el Hudson River Railroad. Actuando como presidente de ambas líneas, Vanderbilt se propuso expandir el alcance de estos ferrocarriles a Chicago, Illinois. Comenzó una serie de adquisiciones, comenzando con la compra de Lake Shore & Michigan Southern. El hijo de Vanderbilt, William, continuó expandiendo el imperio mediante la adquisición de Nickel Plate Road (1883) y West Shore (1885). La influencia de Vanderbilt continuó dominando incluso después de la muerte de William H. Vanderbilt en 1885. Se adquirieron más ferrocarriles bajo el liderazgo de Chauncey Depew, y pronto la línea llegó tan al oeste como el río Mississippi. En 1900, la compañía arrendó la línea Boston & Albany, creando una de las corporaciones más poderosas de los Estados Unidos y un ferrocarril de largo alcance que se extendía hacia el norte desde Nueva York hasta Canadá y hacia el oeste desde Boston, pasando por Chicago hasta St. Louis, Missouri.
El Ferrocarril Central de Nueva York hizo muchas contribuciones a la industria ferroviaria. Estos incluyeron la máquina de vapor de tipo estadounidense No. 999, la invención del dinamómetro (un aparato utilizado para medir la fuerza ejercida por las locomotoras al transportar trenes) y la apertura de la primera escuela de aprendices de ferrocarril. El New York Central también fue la primera línea en adoptar el uso de frenos de alta potencia diseñados específicamente para equipos de pasajeros de acero pesado.
Desafortunadamente, se avecinan tiempos difíciles. En 1954, Robert R. Young obtuvo el control de New York Central. Alfred E. Perlman fue nombrado presidente del ferrocarril, la última persona en tener este título. Los viajes en automóviles y aerolíneas habían comenzado a alejar a los pasajeros de los rieles. En 1962, los directores de New York Central y Pennsylvania Central decidieron fusionar ambos sistemas en un esfuerzo por eliminar las instalaciones ferroviarias superpuestas y desarrollar un único y poderoso ferrocarril. Varias cuestiones legales retrasaron la fusión hasta 1968, pero para entonces ya era demasiado tarde. Los ferrocarriles combinados, denominados New Penn Central, quebraron en 1970. Lo que comenzó en 1825 como Mohawk & Hudson Railroad Company y prosperó durante años como New York Central, se convirtió en una parte de Consolidated Rail Corporation (ConRail), operada por el gobierno. en 1976.