Reenabling the optimized kernels (main branch). (simdjson#1344)

lemire · web-flow · commit 9a404bdcdc4c · 2020-12-14T14:28:45.000-05:00
* Reenabling the optimized kernels (main branch).

* Defining SIMDJSON_CAN_ALWAYS_RUN_PPC64 and SIMDJSON_CAN_ALWAYS_RUN_ARM64

* Adding the bad UTF8 string from the fuzzer.

* Taking into account John's comments.

* Bumping the lib version.

* Update CMakeLists.txt
diff --git a/CMakeLists.txt b/CMakeLists.txt
@@ -7,10 +7,10 @@ project(simdjson
 
 set(PROJECT_VERSION_MAJOR 0)
 set(PROJECT_VERSION_MINOR 7)
-set(PROJECT_VERSION_PATCH 0)
-set(SIMDJSON_SEMANTIC_VERSION "0.7.0" CACHE STRING "simdjson semantic version")
-set(SIMDJSON_LIB_VERSION "5.0.0" CACHE STRING "simdjson library version")
-set(SIMDJSON_LIB_SOVERSION "5" CACHE STRING "simdjson library soversion")
+set(PROJECT_VERSION_PATCH 1)
+set(SIMDJSON_SEMANTIC_VERSION "0.7.1" CACHE STRING "simdjson semantic version")
+set(SIMDJSON_LIB_VERSION "6.0.0" CACHE STRING "simdjson library version")
+set(SIMDJSON_LIB_SOVERSION "6" CACHE STRING "simdjson library soversion")
 set(SIMDJSON_GITHUB_REPOSITORY https://github.com/simdjson/simdjson)
 
 include(GNUInstallDirs)
diff --git a/include/simdjson/arm64.h b/include/simdjson/arm64.h
@@ -7,6 +7,12 @@
 
 #include "simdjson/portability.h"
 
+#ifndef SIMDJSON_IMPLEMENTATION_ARM64
+#define SIMDJSON_IMPLEMENTATION_ARM64 (SIMDJSON_IS_ARM64)
+#endif
+#define SIMDJSON_CAN_ALWAYS_RUN_ARM64 SIMDJSON_IMPLEMENTATION_ARM64 && SIMDJSON_IS_ARM64
+
+
 #include "simdjson/internal/isadetection.h"
 #include "simdjson/internal/jsoncharutils_tables.h"
 #include "simdjson/internal/numberparsing_tables.h"
diff --git a/include/simdjson/ppc64.h b/include/simdjson/ppc64.h
@@ -7,6 +7,12 @@
 
 #include "simdjson/portability.h"
 
+#ifndef SIMDJSON_IMPLEMENTATION_PPC64
+#define SIMDJSON_IMPLEMENTATION_PPC64 (SIMDJSON_IS_PPC64)
+#endif
+#define SIMDJSON_CAN_ALWAYS_RUN_PPC64 SIMDJSON_IMPLEMENTATION_PPC64 && SIMDJSON_IS_PPC64
+
+
 #include "simdjson/internal/isadetection.h"
 #include "simdjson/internal/jsoncharutils_tables.h"
 #include "simdjson/internal/numberparsing_tables.h"
diff --git a/tests/unicode_tests.cpp b/tests/unicode_tests.cpp
@@ -222,7 +222,8 @@ void test() {
       "\xef\xbf",                                 // 6.14.7
       "\x80",
       "\x91\x85\x95\x9e",
-      "\x6c\x02\x8e\x18"};
+      "\x6c\x02\x8e\x18",
+      "[[[[[[[[[[[[[[[\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x000\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00"};
   for (size_t i = 0; i < 8; i++) {
     size_t len = std::strlen(goodsequences[i]);
     if (!simdjson::validate_utf8(goodsequences[i], len)) {
