En febrero de 1827, un grupo de empresarios de Baltimore designó a Baltimore y Ohio como la primera compañía de ferrocarriles en los Estados Unidos de América. Su establecimiento fue una respuesta a una rivalidad comercial emergente y a una compleja serie de cambios sociales, económicos y tecnológicos que estaban transformando al país en la primera mitad del siglo XIX. El asentamiento del valle de Ohio, rico en agricultura, y la rápida expansión de la población en la costa este, que generó una escasez crónica de alimentos, exigió que se encontrara un medio de transporte rápido para enviar productos desde el Medio Oeste a la costa. La construcción del Canal Erie en 1825 le dio a la ciudad de Nueva York una puerta de entrada al interior y una ventaja decidida sobre Baltimore en su lucha por la supremacía económica de Estados Unidos. En la década de 1820, Baltimore era un próspero centro comercial de unas 80,00 personas con la aspiración de convertirse en el principal emporio de la nación. Hasta entonces había dependido de la Carretera Nacional para acceder a los mercados, pero las autopistas de peaje eran lentas y caras en comparación con las rutas fluviales.
En 1826, dos hermanos, Evan y Philip Thomas, que eran miembros importantes de la sociedad de Baltimore, comenzaron a solicitar apoyo para el establecimiento de un ferrocarril. En 1827 consiguieron convencer a varios importantes empresarios de que "construyeran un ferrocarril entre la ciudad de Baltimore y alguna ciudad adecuada sobre el río Ohio". La legislatura de Maryland aprobó la incorporación de esta empresa el 21 de febrero de 1827. Los $ 3 millones necesarios para respaldar la empresa se recaudarían mediante la venta de 15,000 acciones a $ 100.00 la acción. Diez mil serían ofrecidos por el estado de Maryland y 5,000 por la ciudad de Baltimore. La suscripción completa se agotó en 12 días y casi todas las familias de Maryland trajeron acciones de la empresa. Philip Thomas fue su primer presidente.
Originalmente se imaginó que los caballos o el viento proporcionarían la energía para el tren. El 7 de enero de 1830, cuando Baltimore y Ohio hicieron su primera carrera, equipos de caballos tiraron de los autos, que corrían por una pista de vía estrecha, del ancho de un carruaje inglés. Sin embargo, Evan Thomas se había inspirado para construir un ferrocarril con el éxito de Stockton and Darlington, una empresa inglesa que en 1825 se convirtió en la primera en utilizar una locomotora a vapor para transportar mercancías. Su actuación lo impresionó en un viaje al extranjero. Así que Baltimore y Ohio comenzaron a experimentar con máquinas de vapor casi desde sus inicios. Peter Cooper construyó la primera locomotora de vapor construida en Estados Unidos, el Tom Thumb, en las tiendas del B & O, y en agosto de 1830 demostró su invento en las vías de la empresa. La energía de vapor pronto se convirtió en el medio estándar de propulsión y, a medida que las máquinas de vapor mejoraron rápidamente en las décadas de 1840 y 1850, el costo del transporte de mercancías se redujo significativamente.
A pesar de su voluntad de innovar, Baltimore y Ohio tuvieron un comienzo bastante lento debido a problemas políticos y dificultades para establecer el rumbo. Planeó una ruta de 380 millas que cruzaría las montañas Allegheny y conectaría Baltimore con Wheeling, West Virginia, una ciudad en el río Ohio. Aunque se contrataron expertos para ayudar con este difícil proyecto de ingeniería, hubo muchos retrasos. En agosto de 1830, la línea se extendía solo 13 millas hasta Elliot Mills, y no se llegó a Washington DC hasta 1835. La línea no llegó a Wheeling hasta 1852.
La línea ferroviaria creció rápidamente en la segunda mitad del siglo XIX. Su extensión a Parkersburg, West Virginia en 1857 permitió que el ferrocarril se conectara con las líneas locales y obtuviera acceso a Columbus, Cincinnati y St. Louis. El carbón de Ohio y Virginia Occidental ahora se convirtió en un cargamento importante, cuyo transporte era responsable de un tercio de los ingresos de la compañía en 1860. El Baltimore y Ohio sirvieron bien a la Unión durante la Guerra Civil (1861-65), y aunque sostuvo daño, se recuperó rápidamente y continuó expandiéndose después de la guerra. Las 521 millas de vías que existían en 1865 crecieron a 1,700 en 1885. El B & O resultó herido en el pánico de 1893 y se declaró en quiebra en 1896. Pero, el Ferrocarril de Pennsylvania compró la mayoría de sus acciones y pudo reorganizarse con éxito . Recuperó su independencia en 1906, cuando el Ferrocarril de Pensilvania, temiendo una acción antimonopolio por parte del gobierno, vendió su participación mayoritaria. Daniel Willard, quien fue presidente de la compañía desde 1910 hasta 1941, mejoró el equipo y el servicio, y en 1935 el B & O poseía aproximadamente 6,350 millas de vías, su marca de agua máxima.
Sin embargo, desde la década de 1930 hasta la de 1970, Baltimore y Ohio, como muchos ferrocarriles, pasaron por momentos difíciles. La Depresión, la popularidad del automóvil y el auge de la industria del transporte por carretera contribuyeron a su desaparición. Excepto por un breve período de prosperidad durante la Segunda Guerra Mundial (1939-45), el kilometraje de la pista y las ganancias disminuyeron, mientras que la inflación y las demandas de sindicatos fuertes aumentaron los costos laborales. Entre 1932 y 1952 no se pagaron dividendos sobre sus acciones ordinarias. A mediados de la década de 1950 Baltimore y Ohio solicitaron a las comisiones de servicio público de Nueva York y Maryland que suspendieran su servicio entre Baltimore y Nueva York debido a los "enormes déficits" que estaba generando esta ruta.
A medida que Baltimore y Ohio siguieron perdiendo dinero, comenzaron a buscar una empresa financieramente sólida con la que fusionarse. Después de haber recibido previamente permiso de la Comisión de Comercio Interestatal, otro ferrocarril con raíces profundas en la historia estadounidense, Chesapeake y Ohio tomaron formalmente el control de la compañía el 4 de febrero de 1963. Los ferrocarriles combinados se convirtieron en el Sistema Chessie en 1972.
A pesar de los reveses que afligieron a la industria en la primera mitad de este siglo, los ferrocarriles estadounidenses estaban lejos de morir. Dado que una sola línea ferroviaria puede ser tan productiva como una autopista de diez carriles, los trenes siguen siendo una forma eficiente de transportar grandes cantidades de productos a granel, como minerales, carbón o granos. El uso de contenedores grandes para contener productos terminados y vagones planos que pueden transportar remolques de camiones a cuestas ayudó a los ferrocarriles a competir con otros medios de transporte. La atmósfera financiera mejoró y el sistema Chessie alcanzó ingresos de $ 1.5 mil millones en 1978. Con el fin de obtener acceso al sudeste de los Estados Unidos en auge, se fusionó en 1982 con Seaboard Coastline Industries, Inc., que entonces era el octavo ferrocarril más grande en el Estados Unidos, y un componente del cual, el Petersburgo Railroad, se trazó en 1830. Chessie System y Seaboard formaron CSX Corporation, una sociedad de cartera que controlaba uno de los sistemas ferroviarios más grandes del país. Casualmente, como el B & O en 1860, CSX Corporation obtuvo un tercio de sus ingresos en 1990 transportando carbón.