AWS發表新開源專案Neo-AI，該專案源自於Amazon SageMaker機器學習服務中的ML模型自動優化功能「Amazon SageMaker Neo」，以協助處理器業者、裝置製造商、深度學習開發人員打造可支援各種硬體平台的機器學習模型。
AWS所提供的Amazon SageMaker服務，能協助開發人員或資料科學家快速建立、訓練與部署機器學習模型，而Amazon SageMaker Neo則是SageMaker服務的一項功能，只要訓練一次就能以最佳化效能在雲端或其它硬體平台上運作。
AWS解釋，平常要最佳化一個機器學習模型以讓它適用於不同的硬體平台並不容易，開發人員必須針對每一個硬體平台與軟體配置手動調整模型，對邊緣裝置而言則更具挑戰性，因為這類裝置不管是在運算能力或儲存空間上都有所限制，開發人員可能需要深入了解硬體，或者具備罕見的專業知識，就算兩者兼備，有鑑於好的工具並不容易取得，還必須經過大量測試才能達到良好效能。
而軟體上的差異更讓最佳化難上加難，假設裝置上的軟體與模型上的版本不同，模型與裝置將不相容，又再度限制了開發人員可進行最佳化的裝置。
AWS宣稱Neo-AI可減少調整機器學習模型以部署於不同平台的力氣，藉由自動最佳化TensorFlow、MXNet、PyTorch、ONNX與XGBoost等模型，在不喪失精確性的情況下，讓其執行速度達到原始模型的兩倍；此外，它還能將模型轉換為高效通用格式，以解決軟體相容性問題。
Neo-AI亦允許複雜的模型在資源有限的裝置上執行，能釋放自駕車、家庭安全或異常檢測等領域的創新能力，它目前支援來自英特爾、Nvidia與Arm的平台，並即將支援Xilinx、Cadence及Qualcomm。
Neo-AI的本質是個機器學習編譯器，處理器製造商可將程式碼整合到編譯器上以改善模型效能，裝置製造商則能根據裝置的軟/硬體配置客製化Neo-AI的運行環境，Neo-AI專案將汲取不同來源的創新，打造一個通用的編譯器與運行環境，以帶來各種模型的最佳效能。
AWS已藉由GitHub釋出Neo-AI專案，將採Apache軟體授權。
