Như nhiều làng quê khác trên đất nước Việt Nam, ngôi đình làng đã được nhân dân góp công góp của xây dựng lên. Theo lời kể của nhân dân địa phương thì sau khi xây dựng, các cụ tiên công ở đây đã về quê cũ tại Đồ Sơn xin chân hương để rước các vị thừnh hoàng ở đó là Khổng Lộ, Giác Hải, Nhân Minh, Huyền Quốc, Quảng Trạch. Đồng thời tôn hai vị thần là Ngọc Sơn (Thần Núi) và Bạch Điểu Tước (Thần Chim) lên làm thành hoàng của làng. Ở đình Trà Cổ ngoài các vị thành hoàng được nhân dân rước chân hương từ quê cũ về và hai vị thiên thần thì sáu vị tiên công có công đầu trong việc khai canh cũng được phối thờ ở hậu cung. Sáu vị tiên công này không chỉ có cứ liệu được phong thành hoàng. Nhưng việc lập bài vị thờ ở hậu cung của đình và hàng năm cứ đến mồng 1 tháng 6 nhân dân đã được coi họ là thành hoàng của làng.

Có thể nói đình Trà Cổ là một ngôi dình làng bề thế, tọa lạc giữa vùng giáp biên giới Việt Trung đã thể hiện như một cột mốc văn hóa của dân tộc Việt Nam nơi địa đầu tổ quốc. Có ý kiến cho rằng đình Trà Cổ được xây dựng vào năm 1550. Đối chiếu lịch sử hình thành làng Trà Cổ thì có vẻ hợp lý. Trong số các ngôi đình ở Bắc Bộ, đình Trà Cổ được đánh giá là một ngôi đình khá đồ sộ, mang thuần dấu ấn của nền văn hoá Việt. Đặc biệt, đình Trà Cổ từ lâu được coi như là cột mốc văn hoá quan trọng ở địa đầu biên cương Tổ quốc. Đình Trà Cổ được xây dựng trên một khu đất có tổng diện tích là 1078m2thoáng mát. Đình được đặt quay theo hướng Nam, theo tư thế cửa hướng ra biển Đông, đúng truyền thống đình làng người Việt, trước cửa đình có cổng, nghi môn ở giữa, hai cổng phụ ở hai bên, xung quanh có tường bao quanh cao 1,5m. Đình Trà Cổ có tổng chiều dài 29,8m, rộng 18,5m; bố cục kiến trúc theo kiểu chữ “Đinh”(J), gồm 5 gian 2 chái đường và 3 gian hậu cung. Phía trong đình có tất cả 48 cột lim to, sơn son thiếp vàng, cột lim đặt trên các tảng kê bằng đá xanh vững chắc. Trong đó có những cây cột cái cao tới gần 5m, chu vi 1,63m. Và còn có 20 cây cột quân. Các cột được giăng đan với nhau bởi những hàng dầm ngang dọc. Mái lợp ngói mũ hài diện tích ngói mái là 310m2 trên bờ nóc đóa lưỡng long chầu nguyệt, bốn góc mái dắp cầu đao, con guột uốn cong hình rồng tạo nét uyển chuyển mềm mại. Công trình được liên kết với nhau bởi ba hàng xà, hai hàng xà ngang là xà thượng làm nhiệm vụnối cột cái và xà trung làm nhiệm vụ nối cột quân, một hàng xà dọc làm động, hợp với nhau nơi bờ nóc. Hai mặt trái bên nhỏ hơn làm nhiệm vụ che kín hai bên gian hồi. Năm gian bái đường có trần, trong long bái đường có sàn, trừ gian giữa nối với hậu cung lát gạch các gian bên đều có sàn gỗ cao thấp khác nhau. Sàn có tác dụng giữ cho cột không bị xiêu vẹo, đồng thời có thể làm chỗ ngồi phân biệt ngôi thứ trong làng. Kết cấu vì kèo kiểu giá chiêng – chồng rường con nhị. Trên cùng là một con rường nhỏ, giữa cột có kê một một dép dọc đỡ thượng lương. Hai đầu rương ăn mộng qua lịa hai đầu cột trốn. Một đầu cột trốn được kê trên đầu vuông thóp đáy, đầu kia đỡ đôi hoành trên cùng. Đỡ hai hoành số 2 và số 3 là một đôi rường cụt được cấu tạo để tạo một đaauf vuông thóp đáy. Câu đầu đỡ đôni hoành thứ tư và nối hai đầu cột cái. Trên câu đầu kê bốn đầu vuông thóp đáy nhỏ. Một cây gỗ lớn được cấu tạo ăn mộng qua thân cột cái, một đầu cây gỗ tạo thành rường cụt đỡ tại hoành vì lách, đầu kia tạo thành một đầu dư chạm đầu rồng làm nhiệm vụ đỡ dạ câu đầu. Các bộ vì lách được cấu tạo như sau: Một chiếc xà lách lớn, một đầu ăn mộng vào thân cột cái, một đầu gác lê đầu cột quân qua đầu vuông thót đáy đỡ hoành mái. Các con rường này nhắn dần về phía trên theo chiều dốc về mái. Các con rường trên cùng là đuôi của đầu dư tại nóc. Khoảng trống giữa các con rường được ken những tấm ván bưng mỏng và trang trí nhiều đề tài khác nhau.

Tất cả các bức cuốn vì nách đã được các nghệ nhân thể hiện một cách khéo léo tinh sảo. Các nét chạm nổi, chạm lọng, kinh long… đề thể hiện được tài năng của các nghệ nhân Việt Nam trong điêu khắc gỗ, họ đã tạo ra cho mỗi bức chạm là một tcs phẩm là một nghệ thuật đặc sắc phóng khóang. Các con rồng đều có đặc điểm chung là mắt quỷ, miệng lang, sừng nhọn, tai thú, trán dô, mũi sư tử, cằm bạnh miệng rộng mang đậm dấu ấn đương thời. Tất cả các đầu dư đề chạn rồng với đặc điểm: Mắt tròn lồi, mũi to như mũi sư tử, trán do miệng rộng, sừng nhọn như sừng nai tai thú. Ngoài ra các đầu bảy cũng được trạm hình rồng với thân mập uốn khúc , miệng rộng mắt tròn. Toàn bộ râu rồng như những đao mác bay lượn ngược ra phía sau. Có con mình trơn, có con toàn thân phủ một lớp như vảy cá chép. Khúc duôi nhỏ dần thuôn đều, long đuôi xòe tròn như hình chiếc lá.

Trong đình còn có hàng chục bức chạm trổ sinh động, nhiều câu đối hoành phi sơn son thếp vàng, hình tứ linh còn có hình hươu sao cổ dài, có sừng, cộc đuôi, tư thế chạy hay đứng quay đầu, mồm ngậm hoa cúc. Hai đầu hồi là hai bức hoành phi sơn son thiếp vàng đối diện nhau “Nam sơn tịnh thọ (Nước Nam bền vững) – Địa cửu thiên trường (Đất vững trời dài)”. Phần Hậu cung có diện tích khoảng 72 m2. Tại đây có bức chạm bông sen ở giữa giải hoa vuông, trước hậu cung có tấm y môn bằng lụa điều thêu rồng phượng. Khác với tất cả các ngôi đình hiện có ở Quảng Ninh. Hiện nay, ở Việt Nam, ngoài đình Trà Cổ chỉ có đình Bảng (Bắc Ninh) là còn có kiến trúc kiểu ván sàn. Bên trong, phía trước các ban thờ đình Trà Cổ đều có những cửa võng, mỗi bức dài 3,4m, rộng 1,4m nối với các cột cái theo chiều dài của ngôi đình. Mỗi bộ cửa là một tác phẩm chạm trổ đầy giá trị nghệ thuật với hình nàng tiên cưỡi rồng bay trong mây. Phía trên các bức cửa võng là hình rồng chầu mặt trăng được chạm khắc mềm mại, tinh xảo. Trên hai bức cốn ở hai bên gian giữa có chạm hình một đàn rồng mẹ, rồng con đang múa lượn. Hai đầu hồi là hai bức hoành phi sơn son, thếp vàng đối diện nhau. Theo các dòng chữ Hán còn lưu lại trên bức hoành phi treo ở giữa đình thì đóng góp vào việc tu bổ, tôn tạo đình là kíp thợ mộc đến từ thôn Đạt Tài, huyện Hoằng Hoá (Thanh Hoá). Họ cư trú tại Trà Cổ, cùng nhau làm ăn, xây dựng quê hương.

Theo nhà sử học Đỗ Văn Ninh, người được biết đến với các công trình nghiên cứu về thương cảng cổ Vân Đồn thì đình Trà Cổ giá trị ở chỗ là chứng cứ cho công lao mở mang bờ cõi của tổ tiên; là chứng cứ cho mối quan hệ máu thịt giữa miền biên cảnh với các miền khác trong nước. Đình Trà Cổ còn đáng quý vì còn lưu giữ lại được nhiều chứng cứ thể hiện tinh thần dũng cảm chống phong kiến của ông cha ta nữa. Bức hoành phi treo phía đầu hồi phải khắc 4 chữ “Địa cửu thiên trường” có nghĩa là đất lâu, trời dài - ca ngợi sự bền vững của đất trời Việt Nam. Đáng chú ý là bức hoành phi bên trái đề “Dân đức quân hậu” có nghĩa là dân đức độ, vua nhân hậu. ý ngoài như vậy nhưng bên trong ẩn một ý phản phong tế nhị và sâu xa. Người Trà Cổ đã đảo lộn trật tự trời - đất, vua - dân. Xem thế đủ thấy việc khắc mấy chữ trên hai bức hoành phi kia là một việc làm dũng cảm, một sự dũng cảm cố ý chứ không vô tình. Trải qua thời gian, đình Trà Cổ vẫn đứng đó như biểu trưng cho sự trường tồn của văn hoá Việt. Ngôi đình đã trở thành nguồn cảm hứng cho nhiều văn nghệ sĩ sáng tác, trong đó, nổi bật nhất là ca khúc “Mái đình làng biển” của nhạc sĩ Nguyễn Cường, được nhiều ca sĩ thi giọng hát Sao Mai chọn, thể hiện.