Skip to content

Commit 10844fb

Browse files
alexey-bataevalexey-bataev
committed
[SLP]Fix attempt to build the reorder mask for non-adjusted reuse mask
When building the reorder for non-single use reuse mask, need to check if the size of the mask is multiple of the number of unique scalars. Otherwise, the compiler may crash when trying to reorder nodes. Fixes #126304
1 parent fcbf04e commit 10844fb

File tree

2 files changed

+158
-1
lines changed

2 files changed

+158
-1
lines changed

‎llvm/lib/Transforms/Vectorize/SLPVectorizer.cpp

Lines changed: 3 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -5596,6 +5596,8 @@ BoUpSLP::getReorderingData(const TreeEntry &TE, bool TopToBottom) {
55965596
::getNumberOfParts(*TTI, getWidenedType(TE.Scalars.front()->getType(),
55975597
2 * TE.getVectorFactor())) == 1)
55985598
return std::nullopt;
5599+
if (TE.ReuseShuffleIndices.size() % Sz != 0)
5600+
return std::nullopt;
55995601
if (!ShuffleVectorInst::isOneUseSingleSourceMask(TE.ReuseShuffleIndices,
56005602
Sz)) {
56015603
SmallVector<int> ReorderMask(Sz, PoisonMaskElem);
@@ -5626,7 +5628,7 @@ BoUpSLP::getReorderingData(const TreeEntry &TE, bool TopToBottom) {
56265628
UsedVals.set(Val);
56275629
for (unsigned K = 0; K < NumParts; ++K) {
56285630
unsigned Idx = Val + Sz * K;
5629-
if (Idx < VF)
5631+
if (Idx < VF && I + K < VF)
56305632
ResOrder[Idx] = I + K;
56315633
}
56325634
}

‎llvm/test/Transforms/SLPVectorizer/SystemZ/reuse-non-power-of-2-reorder.ll

Lines changed: 155 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,155 @@
1+
; NOTE: Assertions have been autogenerated by utils/update_test_checks.py UTC_ARGS: --version 5
2+
; RUN: opt -S --passes=slp-vectorizer -mtriple=systemz -mcpu=z15 < %s -slp-threshold=-100 | FileCheck %s
3+
4+
define void @test(i32 %0, i64 %1, i32 %2, i32 %3, ptr %4) {
5+
; CHECK-LABEL: define void @test(
6+
; CHECK-SAME: i32 [[TMP0:%.*]], i64 [[TMP1:%.*]], i32 [[TMP2:%.*]], i32 [[TMP3:%.*]], ptr [[TMP4:%.*]]) #[[ATTR0:[0-9]+]] {
7+
; CHECK-NEXT: [[TMP56:%.*]] = trunc i64 [[TMP1]] to i32
8+
; CHECK-NEXT: [[TMP7:%.*]] = insertelement <2 x i32> poison, i32 [[TMP56]], i32 0
9+
; CHECK-NEXT: [[TMP8:%.*]] = shufflevector <2 x i32> [[TMP7]], <2 x i32> poison, <2 x i32> zeroinitializer
10+
; CHECK-NEXT: [[TMP73:%.*]] = trunc i64 [[TMP1]] to i32
11+
; CHECK-NEXT: [[TMP98:%.*]] = trunc i64 [[TMP1]] to i32
12+
; CHECK-NEXT: [[TMP11:%.*]] = insertelement <60 x i32> <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 poison, i32 poison, i32 poison, i32 poison, i32 poison>, i32 [[TMP0]], i32 7
13+
; CHECK-NEXT: [[TMP12:%.*]] = shufflevector <60 x i32> [[TMP11]], <60 x i32> poison, <60 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 7, i32 16, i32 17, i32 18, i32 19, i32 20, i32 21, i32 22, i32 23, i32 24, i32 25, i32 26, i32 27, i32 28, i32 29, i32 30, i32 31, i32 32, i32 33, i32 34, i32 35, i32 36, i32 37, i32 38, i32 39, i32 40, i32 41, i32 42, i32 43, i32 44, i32 45, i32 46, i32 47, i32 48, i32 49, i32 50, i32 51, i32 52, i32 53, i32 54, i32 7, i32 7, i32 7, i32 7, i32 7>
14+
; CHECK-NEXT: [[TMP13:%.*]] = insertelement <60 x i32> poison, i32 [[TMP3]], i32 1
15+
; CHECK-NEXT: [[TMP14:%.*]] = insertelement <60 x i32> [[TMP13]], i32 [[TMP2]], i32 7
16+
; CHECK-NEXT: [[TMP15:%.*]] = insertelement <60 x i32> [[TMP14]], i32 [[TMP98]], i32 0
17+
; CHECK-NEXT: [[TMP16:%.*]] = insertelement <60 x i32> [[TMP15]], i32 [[TMP73]], i32 6
18+
; CHECK-NEXT: [[TMP17:%.*]] = shufflevector <60 x i32> [[TMP16]], <60 x i32> poison, <8 x i32> <i32 0, i32 1, i32 poison, i32 poison, i32 poison, i32 poison, i32 6, i32 7>
19+
; CHECK-NEXT: [[TMP18:%.*]] = call <8 x i32> @llvm.vector.insert.v8i32.v2i32(<8 x i32> [[TMP17]], <2 x i32> [[TMP8]], i64 2)
20+
; CHECK-NEXT: [[TMP19:%.*]] = call <8 x i32> @llvm.vector.insert.v8i32.v2i32(<8 x i32> [[TMP18]], <2 x i32> [[TMP8]], i64 4)
21+
; CHECK-NEXT: [[TMP20:%.*]] = shufflevector <8 x i32> [[TMP19]], <8 x i32> poison, <60 x i32> <i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 2, i32 2, i32 2, i32 2, i32 2, i32 2, i32 2, i32 2, i32 3, i32 3, i32 3, i32 3, i32 3, i32 3, i32 3, i32 3, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 5, i32 5, i32 5, i32 5, i32 5, i32 5, i32 5, i32 5, i32 6, i32 6, i32 6, i32 6, i32 6, i32 6, i32 6, i32 6, i32 7, i32 7, i32 7, i32 7>
22+
; CHECK-NEXT: [[TMP21:%.*]] = xor <60 x i32> [[TMP12]], [[TMP20]]
23+
; CHECK-NEXT: [[TMP130:%.*]] = call i32 @llvm.vector.reduce.or.v60i32(<60 x i32> [[TMP21]])
24+
; CHECK-NEXT: store i32 [[TMP130]], ptr [[TMP4]], align 4
25+
; CHECK-NEXT: ret void
26+
;
27+
%6 = trunc i64 %1 to i32
28+
%7 = xor i32 %6, 1
29+
%8 = xor i32 %6, 1
30+
%9 = or i32 %7, %8
31+
%10 = xor i32 %6, 1
32+
%11 = or i32 %9, %10
33+
%12 = xor i32 %6, 1
34+
%13 = or i32 %11, %12
35+
%14 = xor i32 %6, 1
36+
%15 = or i32 %13, %14
37+
%16 = xor i32 %6, 1
38+
%17 = or i32 %15, %16
39+
%18 = xor i32 %6, 1
40+
%19 = or i32 %17, %18
41+
%20 = xor i32 %6, 1
42+
%21 = or i32 %19, %20
43+
%22 = trunc i64 %1 to i32
44+
%23 = xor i32 %22, 1
45+
%24 = or i32 %23, %21
46+
%25 = xor i32 %22, 1
47+
%26 = or i32 %24, %25
48+
%27 = xor i32 %22, 1
49+
%28 = or i32 %26, %27
50+
%29 = xor i32 %22, 1
51+
%30 = or i32 %28, %29
52+
%31 = xor i32 %22, 1
53+
%32 = or i32 %30, %31
54+
%33 = xor i32 %22, 1
55+
%34 = or i32 %32, %33
56+
%35 = xor i32 %22, 1
57+
%36 = or i32 %34, %35
58+
%37 = xor i32 %22, 1
59+
%38 = or i32 %36, %37
60+
%39 = trunc i64 %1 to i32
61+
%40 = xor i32 %39, 1
62+
%41 = or i32 %40, %38
63+
%42 = xor i32 %39, 1
64+
%43 = or i32 %41, %42
65+
%44 = xor i32 %39, 1
66+
%45 = or i32 %43, %44
67+
%46 = xor i32 %39, 1
68+
%47 = or i32 %45, %46
69+
%48 = xor i32 %39, 1
70+
%49 = or i32 %47, %48
71+
%50 = xor i32 %39, 1
72+
%51 = or i32 %49, %50
73+
%52 = xor i32 %39, 1
74+
%53 = or i32 %51, %52
75+
%54 = xor i32 %39, 1
76+
%55 = or i32 %53, %54
77+
%56 = trunc i64 %1 to i32
78+
%57 = xor i32 %56, 1
79+
%58 = or i32 %57, %55
80+
%59 = xor i32 %56, 1
81+
%60 = or i32 %58, %59
82+
%61 = xor i32 %56, 1
83+
%62 = or i32 %60, %61
84+
%63 = xor i32 %56, 1
85+
%64 = or i32 %62, %63
86+
%65 = xor i32 %56, 1
87+
%66 = or i32 %64, %65
88+
%67 = xor i32 %56, 1
89+
%68 = or i32 %66, %67
90+
%69 = xor i32 %56, 1
91+
%70 = or i32 %68, %69
92+
%71 = xor i32 %56, 1
93+
%72 = or i32 %70, %71
94+
%73 = trunc i64 %1 to i32
95+
%74 = xor i32 %73, 1
96+
%75 = or i32 %74, %72
97+
%76 = xor i32 %73, 1
98+
%77 = or i32 %75, %76
99+
%78 = xor i32 %73, 1
100+
%79 = or i32 %77, %78
101+
%80 = xor i32 %73, 1
102+
%81 = or i32 %79, %80
103+
%82 = xor i32 %73, 1
104+
%83 = or i32 %81, %82
105+
%84 = xor i32 %73, 1
106+
%85 = or i32 %83, %84
107+
%86 = xor i32 %73, 1
108+
%87 = or i32 %85, %86
109+
%88 = xor i32 %0, %73
110+
%89 = or i32 %87, %88
111+
%90 = xor i32 %0, %2
112+
%91 = or i32 %90, %89
113+
%92 = xor i32 %0, %2
114+
%93 = or i32 %91, %92
115+
%94 = xor i32 %0, %2
116+
%95 = or i32 %93, %94
117+
%96 = xor i32 %0, %2
118+
%97 = or i32 %95, %96
119+
%98 = trunc i64 %1 to i32
120+
%99 = xor i32 %98, 1
121+
%100 = xor i32 %98, 1
122+
%101 = or i32 %99, %100
123+
%102 = xor i32 %98, 1
124+
%103 = or i32 %101, %102
125+
%104 = xor i32 %98, 1
126+
%105 = or i32 %103, %104
127+
%106 = xor i32 %98, 1
128+
%107 = or i32 %105, %106
129+
%108 = xor i32 %98, 1
130+
%109 = or i32 %107, %108
131+
%110 = xor i32 %98, 1
132+
%111 = or i32 %109, %110
133+
%112 = xor i32 %0, %98
134+
%113 = or i32 %111, %112
135+
%114 = xor i32 %0, %3
136+
%115 = or i32 %113, %114
137+
%116 = xor i32 %0, %3
138+
%117 = or i32 %115, %116
139+
%118 = xor i32 %0, %3
140+
%119 = or i32 %117, %118
141+
%120 = xor i32 %0, %3
142+
%121 = or i32 %119, %120
143+
%122 = xor i32 %0, %3
144+
%123 = or i32 %121, %122
145+
%124 = xor i32 %0, %3
146+
%125 = or i32 %123, %124
147+
%126 = xor i32 %0, %3
148+
%127 = or i32 %125, %126
149+
%128 = xor i32 %0, %3
150+
%129 = or i32 %127, %128
151+
%130 = or i32 %129, %97
152+
store i32 %130, ptr %4, align 4
153+
ret void
154+
}
155+

0 commit comments

Comments
 (0)