通过共享库连接Python和Torch7(Lua)

我想在pythonlua之间传递数据(数组),我想使用Torch7框架来操作lua中的数据。 我认为这可以通过C来完成,因为python和lua与C接口。还有一些优点是不需要数据拷贝(只传递指针)并且速度很快。

我实现了两个程序,一个是将luaembedded到c中,另一个是python将数据传递给c的程序。 它们在编译为可执行的二进制文件时都工作。 但是,当c到lua程序被改为一个共享库时,事情就不起作用了。

细节:我使用的是64位ubuntu 14.04和12.04。 我使用luajit 2.0.2与lua 5.1安装在/ usr / local /依赖库在/ usr / local / lib和标头在/ usr / local / include我使用Python 2.7

c到lua程序的代码是:

tensor.lua

require 'torch' function hi_tensor(t) print('Hi from lua') torch.setdefaulttensortype('torch.FloatTensor') print(t) return t*2 end 

cluaf.h

 void multiply (float* array, int m, int n, float *result, int m1, int n1); 

cluaf.c

 #include <stdio.h> #include <string.h> #include "lua.h" #include "lauxlib.h" #include "lualib.h" #include "luaT.h" #include "TH/TH.h" void multiply (float* array, int m, int n, float *result, int m1, int n1) { lua_State *L = luaL_newstate(); luaL_openlibs( L ); // loading the lua file if (luaL_loadfile(L, "tensor.lua") || lua_pcall(L, 0, 0, 0)) { printf("error: %s \n", lua_tostring(L, -1)); } // convert the c array to Torch7 specific structure representing a tensor THFloatStorage* storage = THFloatStorage_newWithData(array, m*n); THFloatTensor* tensor = THFloatTensor_newWithStorage2d(storage, 0, m, n, n, 1); luaT_newmetatable(L, "torch.FloatTensor", NULL, NULL, NULL, NULL); // load the lua function hi_tensor lua_getglobal(L, "hi_tensor"); if(!lua_isfunction(L,-1)) { lua_pop(L,1); } //this pushes data to the stack to be used as a parameter //to the hi_tensor function call luaT_pushudata(L, (void *)tensor, "torch.FloatTensor"); // call the lua function hi_tensor if (lua_pcall(L, 1, 1, 0) != 0) { printf("error running function `hi_tensor': %s \n", lua_tostring(L, -1)); } // get results returned from the lua function hi_tensor THFloatTensor* z = luaT_toudata(L, -1, "torch.FloatTensor"); lua_pop(L, 1); THFloatStorage *storage_res = z->storage; result = storage_res->data; return ; } 

那么testing我呢:

 luajit -b tensor.lua tensor.o gcc -w -c -Wall -Wl,-E -fpic cluaf.c -lluajit -lluaT -lTH -lm -ldl -L /usr/local/lib gcc -shared cluaf.o tensor.o -L/usr/local/lib -lluajit -lluaT -lTH -lm -ldl -Wl,-E -o libcluaf.so gcc -L. -Wall -o test main.c -lcluaf ./test 

输出:

 Hi from lua 1.0000 0.2000 0.2000 5.3000 [torch.FloatTensor of dimension 2x2] c result 2.000000 c result 0.400000 c result 0.400000 c result 10.60000 

到现在为止还挺好。 但是,当我尝试在Python中使用共享库它打破了。

test.py

 from ctypes import byref, cdll, c_int import ctypes import numpy as np import cython l = cdll.LoadLibrary('absolute_path_to_so/libcluaf.so') a = np.arange(4, dtype=np.float64).reshape((2,2)) b = np.arange(4, dtype=np.float64).reshape((2,2)) l.multiply.argtypes = [ctypes.POINTER(ctypes.c_float), ctypes.c_int, ctypes.c_int, ctypes.POINTER(ctypes.c_float), ctypes.c_int, ctypes.c_int] a_list = [] b_list = [] for i in range(a.shape[0]): for j in range(a.shape[1]): a_list.append(a[i][j]) for i in range(b.shape[0]): for j in range(b.shape[1]): b_list.append(b[i][j]) arr_a = (ctypes.c_float * len(a_list))() arr_b = (ctypes.c_float * len(b_list))() l.multiply(arr_a, ctypes.c_int(2), ctypes.c_int(2), arr_b, ctypes.c_int(2), ctypes.c_int(2)) 

我运行:

 python test.py 

输出是:

 error: error loading module 'libpaths' from file '/usr/local/lib/lua/5.1/libpaths.so': /usr/local/lib/lua/5.1/libpaths.so: undefined symbol: lua_gettop 

我在网上search了这个错误,但是他们要么build议(1)包括-Wl,-E来导出符号,或者(2)在链接上添加依赖关系。 (1)我有-Wl,-E,但似乎没有做任何事情。 (2)我已经包含了依赖关系(-L / usr / local / lib -lluajit -lluaT -lTH -lm -ldl)

当共享库被导入时,但是当lua中的'require torch'被调用时,pythontesting失败。 在这种情况下,我发现的其他情况也是不同的。

luajit.so定义了符号lua_gettop(nm /usr/local/lib/luajit.so来查看)lua.h定义了LUA_API int(lua_gettop)(lua_State * L);

我猜想编译C到二进制的所有工作,因为它findlua.h中的所有符号,但使用共享库,它不会从luajit.so(我不知道为什么)selectlua_gettop。

www.luajit.org/running.html表示:“在大多数基于ELF的系统(例如Linux)中,当链接应用程序时,需要显式导出全局符号,例如:-Wl,-E require()尝试加载embedded来自导出符号的字节码数据(在Windows上的* .exe或lua51.dll中)以及在package.cpath中的共享库中。

package.cpath和package.path是:

 ./?.so;/usr/local/lib/lua/5.1/?.so;/usr/local/lib/lua/5.1/loadall.so ./?.lua;/usr/local/share/luajit-2.0.2/?.lua;/usr/local/share/lua/5.1/?.lua;/usr/local/share/lua/5.1/?/init.lua 

以下是nm libcluaf.so返回的内容:

 00000000002020a0 B __bss_start 00000000002020a0 b completed.6972 w __cxa_finalize@@GLIBC_2.2.5 0000000000000a50 t deregister_tm_clones 0000000000000ac0 t __do_global_dtors_aux 0000000000201dd8 t __do_global_dtors_aux_fini_array_entry 0000000000202098 d __dso_handle 0000000000201de8 d _DYNAMIC 00000000002020a0 D _edata 00000000002020a8 B _end 0000000000000d28 T _fini 0000000000000b00 t frame_dummy 0000000000201dd0 t __frame_dummy_init_array_entry 0000000000000ed0 r __FRAME_END__ 0000000000202000 d _GLOBAL_OFFSET_TABLE_ w __gmon_start__ 0000000000000918 T _init w _ITM_deregisterTMCloneTable w _ITM_registerTMCloneTable 0000000000201de0 d __JCR_END__ 0000000000201de0 d __JCR_LIST__ w _Jv_RegisterClasses U lua_getfield 0000000000000d99 R luaJIT_BC_tensor U luaL_loadfile U luaL_newstate U luaL_openlibs U lua_pcall U lua_settop U luaT_newmetatable U lua_tolstring U luaT_pushudata U luaT_toudata U lua_type 0000000000000b35 T multiply U printf@@GLIBC_2.2.5 0000000000000a80 t register_tm_clones U THFloatStorage_newWithData U THFloatTensor_newWithStorage2d 00000000002020a0 d __TMC_END__ 

提前致谢

Solutions Collecting From Web of "通过共享库连接Python和Torch7(Lua)"

在Linux上Lua模块不直接链接到Lua库,而是期望找到已经加载的Lua API函数。 这通常是通过使用-Wl,-E链接器标志从解释器中导出它们来完成的。 此标志仅适用于可执行文件中的符号,不适用于共享库。 对于共享库,存在类似的东西: dlopen函数的RTLD_GLOBAL标志。 默认情况下,编译器命令行上列出的所有共享库都是使用RTLD_LOCAL加载的,但幸运的是,Linux重用了已经打开的库句柄。 所以你可以:

自动加载之前 ,使用RTLD_GLOBAL预加载Lua(JIT)库(在加载libcluaf.so时发生):

 from ctypes import byref, cdll, c_int import ctypes lualib = ctypes.CDLL("libluajit-5.1.so", mode=ctypes.RTLD_GLOBAL) l = cdll.LoadLibrary('absolute_path_to_so/libcluaf.so') # ... 

或者在之后使用dlopenRTLD_NOLOAD标志更改Lua(JIT)库句柄的标志。 虽然这个标志不在POSIX中,你可能不得不用C来做。 看这里例如。

lua_gettop是在Lua.so中定义的函数,在你的情况下,它必须是luajit.so。 看起来像你链接你的库,这是好的,然后你链接到你的库,所以大概是C编译器找到luajit中的main使用的Lua函数。 到现在为止还挺好。

现在当你通过python中的ctypes加载你的lib时,luajit lib会自动加载吗? 你会期望它,但你应该确认,也许你必须告诉ctypes加载链接的库。 另一种可能是ctypes或lib loader没有找到luajit,也许是因为它看起来在luajit不在的地方。 为了确保你可能想尝试把所有的库放在你调用Python的同一个文件夹中。

如果这样做没有帮助,请尝试一下你尝试过的一个变种:不要在Python中加载你的模块,只需使用ctypes直接加载luajit,然后尝试调用它的一些方法。

为了在python / numpy和lua / torch之间交换数据,你可以尝试一个名为“ lutorpy ”的库。 它正是你正在做的,共享内存,只传递与“asNumpyArray()”方法的指针。

 import lutorpy as lua import numpy as np ## run lua code in python with minimal modification: replace ":" to "._" t = torch.DoubleTensor(10,3) print(t._size()) # the corresponding lua version is t:size() ## convert torch tensor to numpy array ### Note: the underlying object are sharing the same memory, so the conversion is instant arr = t.asNumpyArray() print(arr.shape) ## or, you can convert numpy array to torch tensor xn = np.random.randn(100) ## convert the numpy array into torch tensor xt = torch.fromNumpyArray(xn)