Pues creo que el metodo que estas usando es el ideal en cuanto a calidad vs dificultad. La gran limitacion esta en el VHS en si, y no en los programas que usas. Una alternativa para trabajar mas la calidad del video podria ser capturarlo en maxima calidad posible en MPEG-2 o incluso usando alguna compresion lossless, y luego editarlo con Avisynth, pero por supuesto esto es algo mas engorroso, mas que nada hasta que des con alguna combinacion de filtros que mejore la imagen del VHS. Te aseguro que Avisynth es de hacer milagros, asi que si pensas que vale la pena tomarse la molestia podes ir revisando lo que se discute en estos hilos de
aqui
Ah y casi me olvido por supuesto requeris de aprender a usar Avisynth tambien jeje, podes encontrar un manual super basico
aca