Tanto el VirtualDub, VirtualDubMod o AviDemux son muy utiles, incluyen un puñado de filtros y permiten transcodificacion ademas de otras capacidades de edicion mas que interesantes, el VirtualDubMod con ciertas limitaciones importantes respecto a formatos soportados, y el VirtualDub aun peor dado que solo soporta AVI a la salida.
Lo mejor que vas a encontrar para edicion del tipo que buscas es AviSynth ->
http://avisynth.org/, en contrapartida no es lo mas sencillo de usar al principio y requiere de otros programas para funcionar, como ser algo que decodifique y otro algo que comprima, dado que solo se ocupa del filtrado, pero una vez le agarras la mano no hay nada mejor.