Vychinski a été le procureur, en particulier, des trois grands procès de Moscou d’août 1936, janvier 1937 et mars 1938 contre les anciens dirigeants bolcheviks. Il est chargé à l’époque d’organiser la forme judiciaire extérieure de la répression dont le rouage essentiel, en dehors des rares grands procès-spectacle, est en réalité l’organisme dit Conférence spéciale du NKVD. Celle-ci, en règle générale, une fois les aveux extirpés à la victime par les enquêteurs du NKVD, qui utilisent tous les moyens psychologiques et physiques possibles, juge un inculpé en un quart d’heure et, au bout du quart d’heure, le condamne en général à être fusillé. Mais le nombre d’individus qui doivent être condamnés à mort fait exploser ce cadre horaire pourtant bien étroit. Ainsi, le 31 mars 1939, Vychinski adresse au commissaire du peuple à l’intérieur (NKVD), Lavrenti Beria, la note suivante :
« Ces derniers temps chaque réunion de la conférence spéciale a examiné de 200 à 300 affaires. Ainsi elle consacre une minute à l’examen de chaque affaire. Incontestablement cela ne nous garantit pas contre les erreurs lors de l’examen des affaires même si ces affaires ont été préalablement examinées par le secrétariat de la conférence spéciale et par le procureur.
Je juge indispensable de vous demander de faire convoquer plus souvent la conférence spéciale en examinant un nombre plus réduit d’affaires à chaque réunion et en augmentant le nombre d’heures consacrées à chaque réunion ».
(Source : Istoria stalinskogo goulaga, tome un : massovie repressii v SSR page 334)