Learning graph topology online with dynamic dependencies is a challenging problem.  Most existing techniques usually assume the generative model to be a diffusion process instigated by a graph shift operator (GSO) and that a first-order method,  such as proximal gradient or least-mean-square (LMS), are used to track the graph topology.  However, they are often susceptible to noisy observations and does not perform well against second-order methods.  This work proposed two forward-backward splitting algorithms called the proximal Newton-iterated extended Kalman filter (PN-IEKF) and PN-IEKF-vector autoregressive (PN-IEKF-VAR) algorithms to track non-causal and causal graph topology with dynamic dependencies, respectively.  The proposed methods directly maximize the posterior probability distribution of the observable graph signal and graph matrix, which make our PN-IEKF framework to be more robust toward additive white Gaussian noise.  The two methods can directly handle streaming data which process them as they become available.  Effectiveness of the proposed methods can be further improved by including a $T$-squared detector in the tracking procedure, which helps to inject proper perturbation to the latent dynamic model such that the time-varying nonstationary graph can be reacquired faster amid abrupt changes in the underlying system. Results on relative error and normalized mean square error using synthetic data on Erd\fH{o}s-R\'enyi graph establish the efficacy of the proposed approach. Simulation results using data from the Dataset for Emotion Analysis Using EEG, Physiological and Video Signals (DEAP) and National Oceanic and Atmospheric Administration (NOAA) are encouraging. Computational and time complexity analysis of the proposed algorithm are given and compared with other algorithms.