회원 및 비회원 모두 열람이 가능합니다. 최대 업로드 가능한 용량은 20MB 입니다.
해외 개발자들로부터 쿼드코어의 성능이 어떻냐는 질문이 정말 많이 들어왔습니다.
시각적으로 보여줄만한 것을 찾아보다, 역시 동영상 재생 능력을 보여주는 것이 좋겠다고 판단하였습니다.
물론 삼성 프로세서에는 MFC(Multi-Function-Codec)이라는 하드웨어 기반의 전용 동영상 가속기가 있습니다.
목표는 이 가속기를 전혀사용하지 않고, 4개의 ARM core와 NEON SIMD 연산장치만 이용해서 1080p Full HD 동영상을 재생해 보는 것입니다. 솔직히 무모한 도전이라는 생각을 해봤고, 설마 될까 했습니다.
FFMPEG
의 ARM build option을 보면 ARMv5,v6,v7 같은 Architecture를 선택할 수 있고, 추가로 NEON
SIMD를 사용할 수 있습니다. 거기에 Multi-Core까지 사용할 수 있는 옵션도 있습니다. 이 Multi-core 옵션
덕분에 4~5Ghz 급의 ARM core와 비슷한 성능을 보여줄 수 있습니다.
MX player라는 비디오 플레이
앱을 Android Market (Google Play)에서 찾을 수 있으며, 별도로 FFmpeg codec도 받았습니다. 무료
버전은 광고가 좀 나오지만, 크게 거슬리지는 않더군요. 그리고 FFmpeg 라이센스도 정확히 잘 지키는 개발자라는 생각이
들었습니다.
아래 동영상을 보세요. 3 종류의 1080p Full-HD 동영상 재생해 보았으며 모두 Software 만으로 돌려보았습니다.
테스트에 사용한 개발보드는 Exynos-4412 쿼드코어가 탑재된 ODROID-X 입니다.
물론 상업적으로는 크게 의미있는 일이 아닐수도 있습니다. 소비전력도 많고 CPU도 많이 뜨겁습니다.
그런데 소프트웨어 엔지니어링 측면에서 보면 좀 큰 의미가 있는 듯 합니다.
부가적으로 반도체 제조사에서 하드웨어 코데 API를 제공하지 않아도 제품 개발이 가능해 질 수도 있고 다양한 OS에도 적용이 가능하겠죠.
SW 코덱의 장점이 있지만 SW 코덱을 사용한다면 차라리 X86 계열이 더 좋을 듯 합니다.
그리고 1080P 동영상은 1GHz 급(하드웨어 스케일러 사용) 되면 어느 정도 돌아갑니다. 하지만 상용에서 사용할 수가 없을 듯 합니다.
메모리 점유율, CPU 점유율을 보면 답이 없으니깐요.
그래도 멋지긴 하네요. 동영상 재생 용이 아닌 다른 곳에 사용하면 좋을 듯 합니다.
4412 정도 되면 1080P 동영상 2개를 재생하면서 보여 주면 더욱 좋을 듯 합니다. MFC를 이용해서 ...
Bitrate 를 20Mbps 이상으로 하고 H.264, High profile Level 5.1 로 말이죠. ^^
제가 언제 받을지 모르지만 보드 받으면 보여 드리죠 ^^ 사실 V310 에서도 가능하지만...
맞습니다. CPU연산 성능은 차고 넘치는데 보통 멀티미디어 관련해서는 메모리 버스가 발목을 잡습니다.
CPU야 멀티코어라 한개 정도는 미디어에서 써도 상관 없다고는 해도 메모리 버스 잡아먹는 건 답이 없거든요.
포스트 프로세싱 , 디인터레이싱까지 걸면 답이 잘 안나오더군요.
HD처리 하려면 HW 써도 Zero copy로 잘 구현하지 않으면 메모리 복사 때문에 문제가 생기더군요.
4MB/frame이니까 30fps면 120MB/sec 복사가 이루어 지는데 코덱에서 한번 , 포스트 프로세싱때 2번(Read 1회 / Write 1회), 디 인터레이싱때 2번 , 그리면서 2번 정도 되니까 840MB/sec=6.7Gbit/sec 정도 bandwidth를 잡아 먹습니다.
x86에서와 마찬가지로 ARM에서도 의미는 좀 있지 않을까요?
잠시 사용해본 결과 코덱 조합 걱정덜하고 그럭저럭 잘 돌아가는 ARM기반의 시스템도 좋다고 생각했습니다.
1080p 두개를 동시에 디코딩해서 어떤 분야에 응용할지는 잘 모르겠습니다.
4412의 HDMI 스펙을 좀 읽어보면 3D에 대한 이야기가 한줄로 짤막하게 나오는데.... 오히려 이 쪽으로 도전해 보시는게 어떨까요? 디코더가 받쳐주고 HDMI가 120Hz까지 지원만해 준다면 3D TV에 연결해서 재미있는 결과를 만들어 보심이.... 저희는 요즘 시간도 없고 이쪽 전문가가 아니라 군침만 흘리고 있답니다. ㅎㅎㅎ
그리고 이런 형태의 플레이들을 좀 들여다 보니 Back-end는 OpenGL을 이용하는것 같더군요.
Color Space Converter나 Scaler는 OpenGL에도 API가 있으니 Memory Band width에 주는 영향을 최소한으로 만든것 같습니다. ^.^
예. 분명히 의미는 있습니다만 사용자 입장에서는 1080P 동영상 하나 돌리는데 많은 시스템 자원을 사용한다면 좋아하지 않을 듯 합니다. 제가 코덱 쪽을 하고 있지만 소비자나 업체에서 바라는 것이 워낙 많아서 힘듭니다. ㅜㅜ
1080P 2개를 말씀 드린 것은 단순히 성능 테스트 목적도 있지만 1080P 동영상 재생시 2배속 재생이 가능한가 테스트하기 위함이였습니다. V210으로는 720P급은 2배속 재생이 가능하지만 1080P는 2배속 재생이 불가능합니다. V310 과 4412에서는 가능할 듯 합니다. 그리고 1080P 가 2개 재생할 수 있다면 3D 영상을 구현이 가능할 듯 합니다. 3D 영상 중에 좌우 또는 상하로 영상이 붙어 있는 경우 또는 1080P 영상 2개로 되어 있는 경우에 3D로 재생이 가능하겠죠.
이 밖에도 응용할 수 있는 부분이 많이 있습니다. 블랙 박스 쪽에서도 이용이 가능하구요.
물론 LCD 또는 HDMI 가 120Hz 이상을 지원해야 겠지만... 4412의 HDMI 버전이 1.4A 아닌지요? 데이터 시트가 없어서 잘 모르겠습니다만...
오드로이드X를 빨리 받아야 할텐데 기다리기 힘드네요. ㅜㅜ
오! Diceplayer!!
멀티 자막에 AC3 오디오 트랙도 재생이 잘되는군요.
MFC를 사용하니1080p 포함해서 배속재생(200%까지)이 잘 돌아 갑니다.
혹시 배속 재생시 리샘플링도 하셨나요? 졸라맨 목소리가 덜 나서 여쭙습니다.
그런데 역시 소프트웨어 코덱에서는 일부 무거운 x.264나 WMV9는 약간 밀리는 현상이 있습니다.
720p는 문제가 없습니다만 1080p에서는 일부분 발견되었습니다.
i-frame이 미친듯이 밀려들어오는 이상한 테스트 영상들과 20mbps에 육박하는 경우에 그렇습니다.
추후에 멀티코어를 사용할 수 있게끔 고려해 주세요! 감사합니다.
SW쪽은 된다 수준으로 만들어 놔서 .. 조금 부족합니다. ffmpeg 구조가 Multi-thread쓰기에 적합하지 않아서요.
최적화를 해야하는데 밥벌어 먹고 살아야 할 다른 일들이 많아서..
배속 재생시 리샘플링 하고 있습니다. 졸라맨 목소리가 줄어들죠. 동영상 강의 쓰시는 분들이 많아서 배속 관련 기능에 피치 보정 기능을 넣었습니다. 대략 Exynos4xxx 들은 웬만한 PMP들은 저리 가라 할 정도 성능이 나옵니다.
그런데 Odroid에서는 ICS렌더러 쪽에 fimc쓸때 interlaced flag 정상적으로 주고 있나요?
갤S3는 1080i 영상 재생하면 de-interlacer가 안돌아서 가로로 줄이 가는 상황이더라구요. 원래 FIMC에 de-interlacer가 들어있는데 렌더러쪽에서 interlace flag를 안줘서 문제가 생기는 것 같더라구요.
Odroid를 하나 사서 renderer쪽 수정을 해야 하나.. 딜리버리가 꽤 걸려서 2차분 기다려서 살까 고민중입니다.
궁금한점이 있어 질문드립니다.
FIMC에 de-interlacer가 들어있다고 하셨는데 FIMC CISCCTRLn레지스터에 25번 bit를 의미하는 건지, 아니면 Vido Processor에 IPC를 말씀하신건지요?
글을 보고 테스트를 해보려고 SecFimc.cpp에 fimc_v4l2_set_fmt에 있는 3번째 파라메터를 V4L2_FIELD_INTERLACED_TB로 셋팅하여 테스트해보면 화면이 절반만 나옵니다.
int fimc_v4l2_set_fmt(int fd, enum v4l2_buf_type type, enum v4l2_field field, s5p_fimc_img_info *img_info, unsigned int addr)
원인은 MFC decoding -> de-interlace처리되지않은 prograssive 타입으로 저장 -> fimc에서 interlace flag를 주게 되면 한필드만 사용되어 반만 나오는 결과가 나오는 것이 아닌가 생각합니다.
어떻게 수정해야 되는지 알려주실수 있는지요?
HDMI출력의 경우, Video Processor에 IPC(Interlace to Progressive)에서 한라인씩 날려버리고 vertical x2로 펑튀기하여 De-interace처리되어 필드정보만 제대로 넘긴다면 줄가는 현상은 없어집니다. 다만 interlace와 progressive를 구분해야 되는데 구분할 만한 마땅한 정보가 없어 Colorformat을 보고 해야 될듯한데 수정해야 될부분이 조금 많네요.. ㅠㅠ;
실제로는 Full-HD 재생시 Renderer측 CPU 연산 ( 메모리 Bandwidth 소모 )가 큽니다.
렌더러(+YUV->RGB/Scaling)관련 부분만 Off-load시켜도 상당한 성능 향상이 있습니다.
720p 정도는 디코딩만 하면 1Ghz 싱글 코어로도 돌아갑니다.