use streams/lambdas to automatically parallelize parse functions; report results

Parallellization gains are limited. Parse phases really need t

<a target="_blank" rel="noopener noreferrer nofollow" href="https://cloud.githubuserco

investigate parallelization gains about java-probabilistic-earley-parser HOT 2 CLOSED

digitalheir commented on June 4, 2024

investigate parallelization gains

from java-probabilistic-earley-parser.

Comments (2)

digitalheir commented on June 4, 2024

Parallellization gains are limited.

Parse phases really need to be processed sequentially, obviously, because complete depends on scan, and scan on predict
overall, no gains found really
code has been optimized in the process though, so this has not been pointless

Test data to follow

from java-probabilistic-earley-parser.

digitalheir commented on June 4, 2024

Pre-optimized	parallel scan	parallel predict	parallel complete	parallelnothing	parallel everything	Post-optimization
0	0	0	0	0	0	0
12	10	10	21	29	48	17
19	14	14	12	12	40	25
16	17	19	19	16	81	29
20	15	18	23	22	55	37
31	33	25	37	25	42	19
24	18	29	32	22	60	20
27	15	29	41	16	92	29
29	15	31	33	19	77	19
26	26	13	45	18	38	33
27	23	14	47	15	51	15
54	28	16	29	25	52	14
28	18	19	36	26	58	13
46	25	31	20	33	29	27
42	49	19	26	62	56	31
68	30	22	43	34	33	26
38	27	25	47	26	92	28
49	25	30	44	46	79	25
42	28	31	57	36	132	33
50	59	79	58	32	115	46
137	70	46	62	40	83	49
114	58	43	64	46	98	87
52	34	35	69	36	152	62
134	38	38	70	44	134	35
121	61	56	86	43	161	39
137	73	91	103	47	167	41
143	138	42	161	56	143	60
143	95	62	155	62	149	71
87	58	63	108	50	132	87
92	64	56	156	51	181	81
141	69	87	131	90	200	76
178	86	73	189	74	234	75
160	120	99	191	95	242	96
244	136	81	155	84	330	97
130	230	123	159	91	325	109
144	110	111	189	112	205	125
138	214	135	176	239	327	153
150	124	129	157	250	304	120
143	172	240	187	296	277	131
164	283	131	235	134	341	138
158	208	321	196	130	317	135
190	173	323	275	241	292	160
169	189	204	234	169	242	261
142	245	178	204	157	279	165
182	146	115	213	97	310	193
195	161	97	157	146	340	92
173	141	96	148	146	339	78
277	160	156	196	175	323	120
261	163	143	162	153	371	152
269	160	117	165	161	359	140
374	145	114	208	191	389	135
282	180	173	221	214	379	160
329	188	191	254	184	373	155
265	197	221	240	199	272	145
224	229	219	245	205	257	166
213	215	221	294	220	326	127
192	258	243	445	225	203	113
218	249	254	353	236	179	121
221	239	265	498	239	192	127
223	261	293	414	268	179	203
242	288	295	218	242	240	140
248	315	212	230	236	180	177
281	300	326	204	276	202	235
316	234	320	206	246	314	171
307	306	333	203	177	299	167
312	283	201	218	231	510	219
445	340	233	229	273	488	286
317	271	217	221	188	534	278
393	379	237	233	206	550	287
361	384	240	246	167	636	352
468	363	296	254	195	644	283
860	381	399	258	205	554	290
407	421	281	269	198	288	259
396	327	308	281	224	305	295
410	225	353	297	228	355	200
421	243	277	307	318	354	214
439	243	324	328	231	412	228
457	260	336	338	253	496	231
463	311	439	337	252	427	245
489	291	270	356	257	537	248
526	284	278	405	267	432	259
561	293	285	376	319	850	267
530	352	320	435	307	905	287
550	340	313	429	309	889	288
584	306	325	446	335	974	303
609	341	336	474	338	546	313
635	342	345	463	361	577	323
667	345	337	455	419	529	312
678	369	369	498	361	877	358
690	401	393	505	408	835	365
750	399	372	512	416	540	379
729	434	413	519	437	573	356
736	424	425	516	432	548	397
751	445	450	543	460	582	412
766	458	461	598	494	581	417
811	497	438	548	495	598	453
861	518	487	566	492	611	464
838	634	476	586	471	623	465
878	581	522	603	538	653	492
992	518	500	617	571	657	544
941	600	569	645	544	1462	489
948	602	541	720	633	821	569
1014	703	577	705	611	1308	629
1007	613	618	716	611	773	622
1092	685	579	756	601	901	635
1075	981	607	839	656	847	703
1152	734	666	823	633	801	710
1131	700	692	773	721	923	720
1183	766	656	868	700	1060	625
1168	714	755	924	833	1504	831
1321	809	718	839	734	880	816
1252	821	779	863	722	911	688
1351	947	744	911	815	1034	1105
1311	857	815	962	907	1035	855
1358	940	840	1009	776	1068	799
1460	931	786	960	878	1170	914
1400	1364	878	970	822	1060	820
1449	1026	913	1013	867	1026	870
1489	931	916	1067	926	1089	829
1560	1168	923	1109	877	1158	888
1587	1013	989	1128	896	1425	1076
1643	1036	1005	1105	944	1378	1190
1654	1337	1006	1112	1000	1612	946
1701	1188	1125	1136	1049	1320	998
1728	1127	1111	1259	1109	1237	1028
1804	1075	1054	1335	1127	1269	1037
1796	1099	1092	1390	1042	1309	1008
1839	1261	1188	1345	1108	1333	1042
1928	1312	1216	1369	1152	1353	1123
1931	1417	1157	1358	1235	1420	1141
2039	1247	1155	1395	1302	1376	1068
2014	1312	1203	1470	1299	1414	1149
2033	1654	1270	1553	1205	1407	1226
2062	1463	1338	1516	1283	1465	1252
2184	1449	1408	1468	1287	1587	1239
2161	1413	1447	1476	1348	1523	1243
2235	1380	1466	1546	1580	1530	1257
2284	1369	1492	1613	1465	1638	1314
2276	1395	1472	1590	1638	1708	1368
2354	1460	1517	1606	1655	1623	1421
2475	1550	1586	1686	1660	1720	1463
2433	1655	1673	1799	1603	1753	1521
2452	1574	1678	1755	1604	1879	1541
2592	1584	1636	1799	1619	1828	1569
2564	1609	1668	1780	1720	1832	1586
2672	1665	1660	1868	1763	1868	1656
2790	1762	1684	1934	1871	1898	1657
2751	1914	1764	1955	2057	1946	1642
2780	1776	2070	2149	1985	2037	1663
2812	1801	1858	2004	1990	2055	1830
2917	1842	1839	1984	1994	2062	2113
2936	1975	1878	2051	2042	2093	2177
2957	1922	2025	2132	2154	2129	2178
3094	2053	1926	2249	2083	2233	2119
3096	2087	2097	2187	2179	2250	1966
3166	2037	2120	2229	2096	2310	1863
3283	2083	2057	2247	2250	2283	1999
3263	2165	2164	2394	2205	2377	2124
3330	2147	2217	2341	2209	2391	1989
3406	2350	2193	2385	2268	2440	2126
3476	2239	2345	2566	2313	2543	2164
3493	2344	2317	2481	2472	2528	2141
3563	2292	2397	2546	2429	2642	2272
3708	2500	2483	2605	2970	2622	2223
3675	2436	2512	2771	2405	2741	2276
3744	2653	2494	2719	2521	2684	2272
3803	2558	2533	2725	2599	2746	2397
3901	2496	2863	2890	2523	2980	2380
3940	2658	2758	2785	3020	2865	2557
4011	2669	2843	2823	3045	2921	2489
4184	2687	2799	2847	2736	3044	2457
4138	2709	3014	2978	2820	3078	2580
4188	2804	2893	2972	3227	2996	2672
4269	2977	3079	3013	3046	3119	2645
4377	2950	3023	3092	3019	3293	2712
4379	2929	3083	3206	2980	3144	2960
4490	3047	3216	3180	3116	3293	2810
4675	3078	3147	3191	3057	3420	2830
4609	3062	3208	3410	3051	3273	2863
4654	3120	3427	3322	3363	3409	2997
4905	3294	3272	3370	3235	3541	2953
4958	3209	3505	3382	3417	3542	3041
4915	3384	3399	3543	3436	3567	3189
5077	3486	3403	3485	3355	3767	3072
5213	3377	3583	3552	3443	3624	3142
5148	3474	3425	3781	3522	3680	3258
5277	3684	3520	3659	3729	3690	3404
5799	3685	3812	3728	3638	3849	3303
5427	3646	3625	3783	3584	3840	3366
5552	3788	3686	3887	3785	3854	3415
5596	3672	3951	3872	3722	3950	3397
5771	3789	3767	3984	3833	4161	3419
5766	3932	3887	4031	4007	4067	3733
5996	3843	3883	4167	3942	4447	3567
7501	3924	4069	4132	3984	4328	3637
7308	4361	4113	4240	4154	4351	3724
6232	4142	4125	4320	4161	5004	3773
6625	4103	4294	4364	4193	4688	3815
7000	4485	4249	4315	4221	4405	3842
6716	4372	4283	4815	4329	4606	4001
6569	4289	4344	4668	4384	4535	3964
6555
6737
7455
7116
7277
7135
7743
7857
7566
7641
8058
8313
8526
8745
8635

from java-probabilistic-earley-parser.

investigate parallelization gains about java-probabilistic-earley-parser HOT 2 CLOSED

Comments (2)

Related Issues (13)

Recommend Projects

React

Vue.js

Typescript

TensorFlow

Django

Laravel

D3

Recommend Topics

javascript

web

server

Machine learning

Visualization

Game

Recommend Org

Facebook

Microsoft

Google

Alibaba

D3

Tencent