永靖人不说自己是临夏人的原因主要有以下几点：
1. 地理因素：永靖县与临夏市地理位置相对较近，但两地的文化和语言有所不同。永靖人的祖辈说的不是汉语，而是回族语言，虽然他们如今会说汉语，但他们的语言仍是回族语言，这使得他们更愿意以"永靖回族人"的身份认同来区分。
2. 历史和政策因素：临夏是一个多民族聚居的地方，其中回族人口分布广泛。历史上，永靖和临夏的政策有所不同，这可能使得两地对彼此的认知和自我认同产生了些许差异。
3. 现代社会影响：随着现代社会的发展，政策制定和认知上对永靖和临夏的影响也产生了一定的影响，进一步塑造了永靖人的身份认同。
总的来说，尽管永靖和临夏地理位置相近，但在文化和身份认同上存在着一些差异，这使得永靖人更倾向于以"永靖回族人"的身份认同来定义自己，而不是临夏人。