| ================================================================================================================================================= | |
| Layer (type:depth-idx) Input Shape Output Shape Param # | |
| ================================================================================================================================================= | |
| Model -- [1, 7440, 300] -- | |
| ├─ViViTCore: 1-1 -- [1, 112, 300, 18, 32] -- | |
| │ └─Tokenizer: 2-1 [1, 1, 300, 36, 64] [1, 300, 576, 112] -- | |
| │ │ └─ConcatBehaviors: 3-1 [1, 1, 300, 36, 64] [1, 5, 300, 36, 64] -- | |
| │ │ └─ZeroPad3d: 3-2 [1, 5, 300, 36, 64] [1, 5, 312, 41, 69] -- | |
| │ │ └─Unfold3d: 3-3 [1, 5, 312, 41, 69] [1, 300, 576, 112] -- | |
| │ │ │ └─Rearrange: 4-1 [1, 5, 300, 18, 32, 13, 7, 7] [1, 300, 576, 3185] -- | |
| │ │ │ └─LayerNorm: 4-2 [1, 300, 576, 3185] [1, 300, 576, 3185] 6,370 | |
| │ │ │ └─Linear: 4-3 [1, 300, 576, 3185] [1, 300, 576, 112] 356,832 | |
| │ │ └─LayerNorm: 3-4 [1, 300, 576, 112] [1, 300, 576, 112] 224 | |
| │ │ └─DropPatch: 3-5 [1, 300, 576, 112] [1, 300, 576, 112] -- | |
| │ └─ViViT: 2-2 [1, 300, 576, 112] [1, 300, 576, 112] 5,376 | |
| │ │ └─Transformer: 3-6 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ └─ModuleList: 4-4 -- -- -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-1 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-1 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-2 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-3 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-4 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-5 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-6 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-1 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-2 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-3 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-7 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-2 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-8 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-9 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-10 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-11 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-12 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-13 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-4 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-5 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-6 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-14 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-3 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-15 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-16 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-17 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-18 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-19 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-20 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-7 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-8 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-9 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-21 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-4 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-22 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-23 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-24 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-25 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-26 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-27 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-10 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-11 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-12 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-28 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-5 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-29 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-30 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-31 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-32 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-33 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-34 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-13 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-14 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-15 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-35 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-6 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-36 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-37 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-38 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-39 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-40 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-41 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-16 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-17 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-18 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-42 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-7 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-43 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-44 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-45 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-46 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-47 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-48 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-19 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-20 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-21 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-49 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-8 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-50 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-51 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-52 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-53 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-54 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-55 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-22 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-23 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-24 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-56 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-9 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-57 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-58 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-59 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-60 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-61 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-62 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-25 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-26 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-27 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-63 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-10 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-64 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-65 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-66 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-67 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-68 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-69 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-28 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-29 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-30 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-70 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-11 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-71 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-72 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-73 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-74 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-75 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-76 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-31 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-32 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-33 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-77 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-12 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-78 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-79 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-80 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-81 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-82 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-83 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-34 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-35 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-36 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-84 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-13 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-85 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-86 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-87 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-88 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-89 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-90 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-37 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-38 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-39 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-91 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-14 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-92 [300, 600, 112] [300, 600, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-93 [300, 600, 112] [300, 600, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-94 -- [300, 2, 600, 80] -- | |
| │ │ │ │ │ └─Linear: 6-95 [300, 600, 160] [300, 600, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-96 [300, 600, 112] [300, 600, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-97 [300, 600, 224] [300, 600, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-40 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-41 [300, 600, 224] [300, 600, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-42 [300, 600, 224] [300, 600, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-98 [300, 600, 112] [300, 600, 112] -- | |
| │ │ └─Transformer: 3-7 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ └─ModuleList: 4-5 -- -- -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-15 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-99 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-100 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-101 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-102 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-103 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-104 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-43 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-44 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-45 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-105 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-16 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-106 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-107 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-108 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-109 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-110 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-111 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-46 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-47 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-48 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-112 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-17 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-113 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-114 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-115 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-116 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-117 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-118 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-49 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-50 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-51 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-119 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-18 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-120 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-121 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-122 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-123 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-124 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-125 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-52 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-53 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-54 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-126 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-19 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-127 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-128 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-129 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-130 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-131 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-132 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-55 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-56 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-57 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-133 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-20 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-134 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-135 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-136 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-137 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-138 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-139 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-58 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-59 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-60 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-140 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-21 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-141 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-142 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-143 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-144 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-145 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-146 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-61 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-62 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-63 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-147 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-22 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-148 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-149 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-150 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-151 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-152 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-153 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-64 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-65 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-66 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-154 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-23 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-155 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-156 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-157 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-158 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-159 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-160 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-67 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-68 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-69 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-161 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-24 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-162 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-163 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-164 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-165 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-166 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-167 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-70 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-71 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-72 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-168 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-25 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-169 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-170 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-171 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-172 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-173 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-174 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-73 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-74 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-75 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-175 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-26 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-176 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-177 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-178 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-179 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-180 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-181 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-76 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-77 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-78 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-182 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-27 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-183 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-184 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-185 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-186 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-187 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-188 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-79 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-80 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-81 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-189 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ └─ParallelAttentionBlock: 5-28 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─LayerNorm: 6-190 [576, 324, 112] [576, 324, 112] 224 | |
| │ │ │ │ │ └─Linear: 6-191 [576, 324, 112] [576, 324, 704] 78,848 | |
| │ │ │ │ │ └─RotaryPosEmb: 6-192 -- [576, 2, 324, 80] -- | |
| │ │ │ │ │ └─Linear: 6-193 [576, 324, 160] [576, 324, 112] 17,920 | |
| │ │ │ │ │ └─DropPath: 6-194 [576, 324, 112] [576, 324, 112] -- | |
| │ │ │ │ │ └─Sequential: 6-195 [576, 324, 224] [576, 324, 112] -- | |
| │ │ │ │ │ │ └─ReLU: 7-82 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Dropout: 7-83 [576, 324, 224] [576, 324, 224] -- | |
| │ │ │ │ │ │ └─Linear: 7-84 [576, 324, 224] [576, 324, 112] 25,088 | |
| │ │ │ │ │ └─DropPath: 6-196 [576, 324, 112] [576, 324, 112] -- | |
| │ └─Rearrange: 2-3 [1, 300, 576, 112] [1, 112, 300, 18, 32] -- | |
| │ └─Identity: 2-4 [1, 112, 300, 18, 32] [1, 112, 300, 18, 32] -- | |
| ├─MLPShifters: 1-2 -- [1, 2, 300] 513 | |
| │ └─MLPShifter: 2-5 [300, 2] [300, 2] -- | |
| │ │ └─Sequential: 3-8 [300, 2] [300, 2] -- | |
| │ │ │ └─Linear: 4-6 [300, 2] [300, 5] 15 | |
| │ │ │ └─Tanh: 4-7 [300, 5] [300, 5] -- | |
| │ │ │ └─Linear: 4-8 [300, 5] [300, 5] 30 | |
| │ │ │ └─Tanh: 4-9 [300, 5] [300, 5] -- | |
| │ │ │ └─Linear: 4-10 [300, 5] [300, 2] 12 | |
| │ │ │ └─Tanh: 4-11 [300, 2] [300, 2] -- | |
| ├─GaussianReadouts: 1-3 [1, 112, 300, 18, 32] [1, 7440, 300] 8,356,689 | |
| │ └─GaussianReadout: 2-6 [1, 112, 300, 18, 32] [1, 7440, 300] 870,480 | |
| │ │ └─Sequential: 3-9 [7440, 2] [7440, 2] -- | |
| │ │ │ └─Linear: 4-12 [7440, 2] [7440, 30] 90 | |
| │ │ │ └─ELU: 4-13 [7440, 30] [7440, 30] -- | |
| │ │ │ └─Linear: 4-14 [7440, 30] [7440, 2] 62 | |
| │ │ │ └─Tanh: 4-15 [7440, 2] [7440, 2] -- | |
| │ │ └─Sequential: 3-10 [7440, 2] [7440, 2] (recursive) | |
| │ │ │ └─Linear: 4-16 [7440, 2] [7440, 30] (recursive) | |
| │ │ │ └─ELU: 4-17 [7440, 30] [7440, 30] -- | |
| │ │ │ └─Linear: 4-18 [7440, 30] [7440, 2] (recursive) | |
| │ │ │ └─Tanh: 4-19 [7440, 2] [7440, 2] -- | |
| │ │ └─Sequential: 3-11 [7440, 2] [7440, 2] (recursive) | |
| │ │ │ └─Linear: 4-20 [7440, 2] [7440, 30] (recursive) | |
| │ │ │ └─ELU: 4-21 [7440, 30] [7440, 30] -- | |
| │ │ │ └─Linear: 4-22 [7440, 30] [7440, 2] (recursive) | |
| │ │ │ └─Tanh: 4-23 [7440, 2] [7440, 2] -- | |
| ├─OutputActivation: 1-4 [1, 7440, 300] [1, 7440, 300] -- | |
| │ └─ELU1: 2-7 [1, 7440, 300] [1, 7440, 300] -- | |
| ================================================================================================================================================= | |
| Total params: 13,014,933 | |
| Trainable params: 13,014,933 | |
| Non-trainable params: 0 | |
| Total mult-adds (Units.GIGABYTES): 1.50 | |
| ================================================================================================================================================= | |
| Input size (MB): 2.77 | |
| Forward/backward pass size (MB): 47422.71 | |
| Params size (MB): 15.13 | |
| Estimated Total Size (MB): 47440.61 | |
| ================================================================================================================================================= |