上海铁路博物馆的整体布局有比较浓重的铁路往事般的历史氛围，室外的广场展区营造了一个早期铁路火车站的场景，笨重的蒸汽机车和木结构的月台雨棚显得饱经岁月沧桑。于2004年8月上海铁路局建局55周年之际建成开放，现为上海市科普教育基地。整个博物馆包括占地约1300平方米的室外广场展区和拥有3000余平方米建筑面积的博物馆主楼。博物馆的4层主楼以80%的比例按照1909年建成的沪宁铁路上海站原样建设，再现了当年上海站的英式古典风格风貌。
上海铁路博物馆以科学发展观为指导，以史料和实物为主要载体，展示从十九世纪六、七十年代铁路进入中国后，上海及华东铁路一百多年来所走过的历程，突出反映铁路生产力的变化、发展。馆内分6个部分，有50余个展项，近千件展品。内有珍贵的铁路老设备、老器材和历史图片，还有融知识性、趣味性为一体的可让观众参与的科普项目。让更多人了解历史。
展馆是复古式样的建筑，里面的构造和装饰很有年代感，但展馆内不大，只有一层。馆内有丰富的图字资料以及各个年代的铁路刊物、徽章，介绍了上海及华东铁路一百多年来所走过的历程。
一走进铁路博物馆大门，便是一处宽敞的广场，广场左侧的月台旁威风凛凛的火车头和老式车厢仿佛整装待发。左边这个100多吨重的火车头叫kd7型641号蒸汽机车，kd7-641蒸汽机车：1946年美国制造。机车及煤水车空重110.95吨，全长20370毫米，动轮直径1520毫米，车轴排列1-4-0式。该型号机车于1947年由联合国救济总署为中国二战后恢复经济而无偿援助，曾配属广州、上海等铁路局。现存世量稀少。它是上世纪40年代美国机车工厂制造的，1947年由联合国救济总署捐助给中国。
水鹤：给蒸汽机车上水的专用设备，貌似立鹤，一般设在机务（折返）段和区段站等车站。
走进馆区，首先看到的就是两辆老式火车头实物，还有一节经典的绿皮车厢，而一旁是火车站月台，是拍照留念的好场景。
二十世纪三十年代由国民政府（南京）从美国定做进口，为国民政府要员专用。车体长23100毫米，宽3200毫米，重55.8吨。中华人民共和国成立后，曾配属铁四局用作工程指挥车。
sn26机车：1928年美国制造。为轨距600毫米的窄轨机车，总空重31.65吨，全长14850毫米，宽2400毫米，动轮直径711毫米，车轴排列为0-5-0式。曾配属云南鸡个铁路（鸡街-个旧），2000年12月运来上海，现存世量仅3台。
在站台最后的小机车是sn型26号窄轨蒸汽机车，它的轨距连一般火车的一半还不到。别看个头小，它的最高时速可达45公里，一次可以拉动200余吨货物。小个子转弯也非常灵活，曾经在崎岖的云南山区大显身手。而车头旁竖立着的那个貌似站立的仙鹤的铁家伙叫做水鹤，是用来给蒸汽机车上水的。
室内展馆：铁路建设：从晚清、民国、中华人民共和国成立后三个阶段，介绍上海铁路局管内基础设施，包括线路、桥梁等建设、发展的情况。
晚清时期建设的铁路：包括吴淞铁路、淞沪铁路、沪宁铁路、沪杭甬铁路、津浦铁路等。
进入博物馆大厅，左侧有两个展区，分别是铁路建设部分和铁路运输部分。进入铁路建设展区，映入眼帘的是馆中极具特色的展品，一台按照原比例复原的“先导号”火车头模型。它是1876年在中国大地上出现的第一条营业铁路－－吴淞铁路上使用的第一台机车。陈列在火车头右边橱窗内的那段钢轨，是从淞沪铁路上拆来的旧钢轨，“工龄”已达百年以上。
先导号（pioneer）蒸汽机车（１:１复制）：该机车由英国romdom工厂与1874年制造，车轴排列为0-2-0式，总重1.32吨，轨距762毫米，时速24至32公里。这是吴淞铁路的第一台机车，主要用于运送筑路材料。
中国第一条营业铁路吴淞铁路建在上海。全长14.5公里的吴淞铁路，从1874年12月开工，1876年12月全线建成，投入运营。
淞沪铁路的前身是吴淞铁路，1897年2月27日动工，1898年8月5日竣工，1997年4月拆除。
沪宁铁路是清政府在英国迫使下贷款修建的。该铁路自上海至南京，长311公里，1905年4月开工，1908年4月全线通车，1927年11月改称京沪铁路，日伪时期称海南线，解放后称沪宁线。
沪杭甬铁路自上海经杭州至宁波，长357.03公里。其中沪杭段1906年10月开工，1909年8月通车；杭甬段1910年2月开工，1914年1月部分竣工； 1953年7月重建，1959年10月1日全线通车。萧山至宁波称萧甬线，沪杭段日伪时期曾改称海杭线。
津浦铁路是清政府迫于英、德两国压力而借贷修筑的。该铁路自天津至浦口，全长1009.48公里，分南北两段，分别于1908年7月和1909年1月开工，1911年9月接轨。
民国时期建设的铁路：华东地区包括杭江铁路、江南铁路、淮南铁路、苏嘉铁路等。
在展厅内游客还能看到晚清的列车时刻表，近百年前的铁路界碑，孙中山先生绘制的《实业计划图》，还有我国第一座公路铁路特大型两用双层桥—钱塘江大桥的历史照片等珍贵的展品。
这里有晚清修建沪杭铁路时竖立的界碑，19世纪90年代制造的钢轨、早期的火车时刻表、信号灯、上世纪20年代和40年代建造的老式蒸汽机、民国时期的铁路包厢等，还有可让参观者参与的声光电互动的火车轮渡作业、列车编组等多媒体演示台。
另外一组展品反映了新中国成立后的铁路建设成就。其中有一个黄铜头盔，是工人潜入长江建造南京长江大桥时使用过的。紧接着这组展品的是一个轮渡作业多媒体演示台，游客能在屏幕上亲手操控渡轮运送火车过江。
蒸汽机车动轮工作原理：蒸汽经过汽口进入汽缸，推动汽缸内的活塞（俗称鞲鞴gōu bèi）作往复运动，通过活塞杆、十字头、摇杆、连杆和主曲拐销等组成的传动机构，将活塞的往复运动变成动轮的圆周运动。
在铁路运输展区里安放着一台大型机车动轮模型，它可以告诉你蒸汽机车飞驰的奥秘。除了动轮模型，展区里还陈列着蒸汽机车的有关部件和检修工具。尤其推荐你关注一下大厅中央的两座铜钟，它的外形酷似庙宇里的钟，挂在蒸汽机车上，火车在站内行驶时敲响它可警示旅客避让。
由于列车不间断的运行，以及自然界和人为的因素，往往使线路发生各种变形和损坏，为此，必须对线路进行日常养护和维修，以保证线路设备始终处于完好状态。
旅客和货物的运送过程，就是铁路运输的生产过程。合理的运用技术设备，安全、准确、迅速、便利、经济的把旅客和货物位移至目的地，是铁路运输组织工作的基本任务。
在这里可以看到实物的火车头以及各种火车零件设备与仿真模型，还可以亲手操作控制台，体验当一回动车组的驾驶员。
在铁路天地展区，能看到不同时期的铁路制服。不过最有趣的还要数一辆标着“跨越”字样的机车模拟驾驶室了。它和真机车的操纵台设置几乎一样。机车车内主副驾驶座位、操纵杆、制动手柄、仪表等一应俱全。登上火车可以亲身体验一下火车风驰电掣的感觉。
展厅内还能看到各种铁路养护工具，信号通讯设备，还有上海铁路局的品牌列车“东方号”的相关展品，“东方号”列车是往返于上海和北京之间的一列客运列车，车名是2002年-同志亲笔题写的。展厅的尽头有一间50年代火车小站的行车室。木桌、电话、热水瓶和铁路行车的专用设备都是当时的实物。墙上的老式温度表至今还能准确显示温度。
在铁路博物馆内可以看到很多与火车及铁轨有关的设备器材，还有各种列车车厢上使用的方向牌和各个年代车厢里的日常物品，不过最吸引小朋友们的可能要属各种仿真微缩火车头模型了。此外，馆内还设有模拟的动车驾驶室，你可以尝试当一回驾驶员，驾驶列车驰向远方。