El segundo secretario era el puesto número dos en todos los niveles, de arriba a abajo, del aparato administrativo (secretaría) del Partido Comunista de la Unión Soviética (PCUS). Desde la sede del Comité Central ("el Centro") en Moscú en la parte superior hasta las repúblicas, provincias y ciudades debajo, las secretarías eran los órganos ejecutivos prácticos del Partido. Controlaron el trabajo de más de 200,000 funcionarios y empleados a tiempo completo, conocidos colectivamente como la nomenklatura. Los segundos secretarios fueron figuras clave porque en todos los niveles de autoridad controlaban el nombramiento de los funcionarios del Partido y del gobierno.
El secretario de mayor jerarquía en Moscú era el secretario general o, en ocasiones, se le llamaba primer secretario. El último término también se aplicó a los secretarios locales número uno en los escalones medio e inferior de la jerarquía del Partido. El segundo al mando de estas secretarías era el segundo secretario. Su función era administrar asuntos de personal cruciales en toda la región político-administrativa o local de la URSS. En repúblicas u otras unidades donde el primer secretario provenía de un grupo étnico titular, el segundo secretario era siempre un ruso para la supervisión.
El segundo secretario tenía autoridad para nombrar y destituir a nomenklaturistas en los distintos niveles del gobierno del Partido y del gobierno. Cualquier número de funcionarios del Partido que luego fueron promovidos desde abajo al Centro de Moscú se ganaron su estatus al haber servido como segundos secretarios.
En la época de Josef Stalin, uno de los funcionarios más poderosos de este tipo era Georgy Malenkov, quien funcionó en gran medida como el segundo hombre a cargo de personal de Stalin, o de facto Segunda secretaria. Como otros segundos secretarios, de arriba abajo, Malenkov también era miembro del órgano político más importante del Partido, el Politburó, que en los niveles locales se llamaba "Buró". Después de la muerte de Stalin en marzo de 1953, Malenkov funcionó brevemente como primer secretario y luego fue transferido a la oficina de primer ministro de la URSS.
No era inusual que ex secretarios, especialmente segundos secretarios, asumieran altos cargos gubernamentales en algún nivel de la administración del Partido o del Estado. Numerosos funcionarios importantes del Partido y miembros del Politburó central fueron primeros secretarios en un momento u otro, y muchos fueron también segundos secretarios en los escalones inferiores de la jerarquía del Partido.
En el período final del gobierno soviético (después de 1985), Yegor Ligachev fue quizás el segundo secretario más conocido. Después de desempeñarse como segundo secretario en varias administraciones provinciales, fue trasladado a Moscú en 1983. Allí, debido a que estaba a cargo de los asuntos de personal en la cúspide, Ligachev se convirtió en la segunda figura más poderosa del partido cuando Mikhail Gorbachev se convirtió en secretario general en 1985. Ligachev pronto se vio envuelto en disputas políticas y de personal tanto con Gorbachov como con el entonces primer secretario del aparato del Partido de Moscú, Boris Yeltsin. Como segundo secretario, Ligachev siguió siendo una figura clave en el régimen hasta la desaparición del régimen comunista y soviético en Rusia a fines de 1991.