解:$(1)$由条形图可知,第$10$个数据是$3$分,第$11$个数据是$4$分,
∴中位数为$3.5$分,
由统计图可得平均数为$\frac {1×1+3×2+6×3+5×4+5×5}{20}=3.5$分,
∴客户所评分数的平均数或中位数都不低于$3.5$分,
∴该部门不需要整改.
$(2)$监督人员抽取的问卷所评分数为$x$分,则有
$\frac {3.5×20+x}{20+1}>3.55,$
解得$x>4.55,$
∵满意度从低到高为$1$分,$2$分,$3$分,$4$分,$5$分,共$5$档.
∴监督人员抽取的问卷所评分数为$5$分,
$∵4<5,$
∴加入这个数据,客户所评分数按从小到大排列后,第$11$个数据不变还是$4$分,
即加入这个数据后,中位数是$4$分,
∴与$(1)$相比,中位数是发生了变化,由$3.5$分变成$4$分.