解:
对于点$A(0,2)$,其横坐标$x = 0$,纵坐标$y=2\gt0$,所以点$A$在$y$轴正半轴上。
对于点$B(-1,0)$,其横坐标$x=-1\lt0$,纵坐标$y = 0$,所以点$B$在$x$轴负半轴上。
对于点$C(5,0)$,其横坐标$x = 5\gt0$,纵坐标$y = 0$,所以点$C$在$x$轴正半轴上。
对于点$D(3,4)$,其横坐标$x = 3\gt0$,纵坐标$y=4\gt0$,根据象限的定义(第一象限$x\gt0,y\gt0$;第二象限$x\lt0,y\gt0$;第三象限$x\lt0,y\lt0$;第四象限$x\gt0,y\lt0$),所以点$D$在第一象限。
综上,$A$在$y$轴正半轴,$B$在$x$轴负半轴,$C$在$x$轴正半轴,$D$在第一象限。