Už tu máš odpověď, prvotní chyba je typ zdrojového videa AVI není vhodné / nedoporučuje se nad 2GB, ostatní soft, kromě capturovacího s tím nebude umět. Buď ho nejprve rozděl, např. po 1GB (VirtualDub / Avidemux bez rekomprese) a výsledný sluč. Nebo jako vstup AVI nepoužívej vůbec.