解:$(1)$设点$P $对应的数为$x$
根据题意,得$x-(-6)=4(4-x)$,解得$x=2$
∴点$P $对应的数为$2$
$(2)$设运动时间为$t $秒,则点$A$表示的数为$-6+3t$,点$B $表示的数为$4+2t$
$①$若点$O$为线段$AB$的中点,则$0-(-6+3t)=4+2t-0$,解得$t=\frac {2}{5}$
$②$若点$A$为线段$OB$的中点,则$-6+3t-0=4+2t-(-6+3t)$,解得$t=4$
$③$若点$B$为线段$OA$的中点,则$4+2t-0=-6+3t-(4+2t)$,解得$t=-14($不合题意,舍去)
答:$\frac {2}{5}$秒或$4$秒时,$A$,$B$,$O$其中一点是连接另外两点的线段的中点$.$